Pesquisa expõe falhas que permitem manipular rankings de IA por votação

# Pesquisa expõe falhas que permitem manipular rankings de IA por votação

Um estudo de novembro de 2026 mostra que leaderboards de modelos de linguagem baseados em preferência de usuários podem ser manipulados de três formas diferentes, cada uma capaz de subir um modelo dezenas de posições.

Nota da redação: este artigo é baseado num preprint do arXiv (ainda sem revisão por pares) publicado por pesquisadores de instituições acadêmicas. Os números específicos citados (de 15 a 20 posições por ataque isolado, até 45 combinados) vêm diretamente do paper e não foram reproduzidos de forma independente por esta redação. O próprio resumo público do estudo não detalha quais são as defesas propostas contra cada ataque, apenas afirma que elas foram mapeadas; o leitor deve considerar isso ao avaliar o alcance prático das soluções mencionadas.

Quem escolhe modelo de linguagem para colocar em produção costuma dar uma espiada nos leaderboards de preferência antes de decidir. São aqueles rankings em que usuários anônimos comparam duas respostas lado a lado e votam na melhor, sem saber qual modelo gerou qual resposta. Um estudo publicado em 10 de novembro de 2026 por Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell e Dirk Hovy mostra que esse tipo de ranking é bem mais fácil de manipular do que parece.

O paper, disponível no arXiv sob o identificador 2611.14769, descreve três estratégias de ataque diferentes contra rankings desse tipo e testa os efeitos em dados públicos de leaderboard. O resultado: cada ataque, sozinho, pode subir um modelo entre 15 e 20 posições no ranking. Combinados, os três chegam a empurrar um modelo até 45 posições para cima.

Como funciona o ranking que está sendo atacado

Leaderboards no estilo arena funcionam assim: um usuário manda um prompt, recebe duas respostas de modelos anônimos e vota em qual prefere. Esses votos de "A venceu B" são agregados usando o modelo Bradley-Terry, uma técnica estatística clássica para transformar comparações par a par em uma força relativa de cada competidor.

Na prática, cada modelo recebe um parâmetro de força s_i, e a probabilidade estimada de ele vencer outro modelo j numa comparação é:

P(i vence j) = e^(s_i) / (e^(s_i) + e^(s_j))

O ranking final é a ordenação desses parâmetros s_i depois que o sistema processa milhares de votos. É o mesmo princípio usado em sistemas de pontuação de xadrez, adaptado para comparar respostas de LLM. O problema, segundo os autores, é que esse modelo assume que os votos são independentes e honestos. Quando alguém quebra essa premissa de propósito, a estimativa de força sai distorcida para todo o leaderboard, não só para o modelo atacado.

As três formas de furar o ranking

O paper separa os ataques em três categorias, cada uma explorando uma parte diferente do pipeline de coleta de votos:

• Votação estratégica: um agente mal-intencionado concentra votos que favorecem um modelo específico, inclusive votando em disputas que nem envolvem esse modelo diretamente. Como o Bradley-Terry estima todas as forças de forma conjunta, inflar artificialmente a derrota de modelos concorrentes entre si também move a posição do modelo-alvo, sem que o atacante precise sequer interagir com ele.
• Prompting estratégico: em vez de votar de forma óbvia, o atacante escolhe os prompts que manda para a arena. Se um provedor sabe que seu modelo é particularmente bom em determinado tipo de tarefa ou formato de resposta, ele pode inundar a arena com prompts desse tipo, aumentando artificialmente a taxa de vitória do seu modelo nas comparações que ele mesmo provoca.
• Nomeação estratégica: o atacante insere modelos irrelevantes, propositalmente fracos, no leaderboard. Esses modelos bodes-expiatórios perdem a maioria das comparações contra o modelo-alvo, o que infla a força estimada dele sem exigir nenhum voto fraudulento direto.

Os autores destacam que essas manipulações funcionam em praticamente qualquer modelo testado, não dependem de um caso isolado, e valem para qualquer avaliação baseada em preferência que use Bradley-Terry e permita submissão aberta de prompts, votos ou modelos. É esse último ponto que torna o achado relevante além de um leaderboard específico: a vulnerabilidade está no desenho do método estatístico, não em uma implementação pontual.

Por que isso importa para quem decide qual modelo usar

Para o time técnico, o leaderboard costuma funcionar como atalho: em vez de rodar uma bateria própria de avaliação, confia-se na posição do modelo num ranking público para decidir qual API testar primeiro, qual vale a pena integrar num produto ou qual citar numa proposta técnica. O estudo deixa claro que esse atalho tem um custo escondido.

Em resumo: se um provedor tiver incentivo comercial para parecer melhor do que é, as três estratégias descritas no paper dão a ele um caminho de baixo esforço para conseguir isso, sem precisar mexer uma linha de código do próprio modelo. Isso não significa que todo leaderboard esteja fraudado, mas significa que a posição isolada num ranking de preferência não é evidência suficiente de qualidade técnica real.

Na prática, isso empurra quem escolhe modelo para produção a tratar o leaderboard como um sinal entre vários, não como veredito. Rodar um pequeno conjunto de avaliação próprio, com os prompts reais do seu caso de uso, continua sendo mais confiável do que confiar cegamente numa posição que pode ter sido empurrada artificialmente por 15, 20 ou até 45 posições.

O que os pesquisadores propõem para blindar o sistema

O paper não só descreve os ataques, como também afirma ter mapeado abordagens para se proteger contra cada uma das estratégias identificadas. O resumo público do estudo não detalha, porém, quais são essas medidas específicas, apenas confirma que elas existem e foram pensadas uma a uma para cada tipo de ataque.

Nenhuma defesa, qualquer que seja seu desenho, elimina o problema de raiz, porque o próprio modelo Bradley-Terry parte do pressuposto de que os dados de entrada são honestos. Os autores são explícitos: isso vale para qualquer avaliação de preferência que permita entrada aberta, o que inclui boa parte dos leaderboards públicos usados hoje para comparar modelos de linguagem.

O que fica em aberto

O estudo mede o tamanho do problema, mas não resolve a pergunta mais prática: quanto desses ataques já aconteceu de fato em leaderboards reais, fora do ambiente controlado do experimento. Os autores demonstram o efeito usando dados públicos de leaderboard, o que mostra que a brecha é real e exploravel, mas não equivale a uma auditoria forense de manipulação já ocorrida.

Para quem constrói sobre LLMs, a lição prática é tratar ranking de preferência como um dado a mais na decisão, nunca como a decisão em si. Vale a pena complementar com benchmarks técnicos reproduzíveis, testes de regressão no próprio domínio da aplicação, e, sempre que possível, avaliação cega feita pela própria equipe com os prompts que o produto realmente vai usar em produção.

Fonte

Fleisig, E., Baumann, J., Hadfield-Menell, D., Hovy, D. "Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation". arXiv:2611.14769 [cs.AI], 10 de novembro de 2026. Disponível em: https://arxiv.org/abs/2611.14769.

Fonte: arXiv cs.AI