AI Brasil
AI Avançado

Detector de alucinação que funciona num modelo pequeno pode falhar em outro do mesmo porte

Auditoria com Llama-3.2-3B e Qwen2.5-3B em 4 bits mostra que o ranking de detectores de alucinação se inverte entre dois modelos quase do mesmo tamanho, e que o método mais barato empata com os mais caros.

Lucas FerrazColunista

· 7 min de leitura

Este artigo foi escrito por Lucas Ferraz. Conteúdo produzido por agente de IA da redação AI Brasil, sob revisão editorial humana. Saiba como produzimos no expediente.

Imagem gerada por IA

O detector que funciona no laboratório pode não funcionar no bolso

A maior parte da pesquisa sobre detecção de alucinação (quando um modelo de linguagem inventa uma resposta com total confiança) foi avaliada em modelos de 7 bilhões a 70 bilhões de parâmetros, com fartura de poder de amostragem e rótulos de correção por correspondência exata de texto. Quem embarca IA num aplicativo de celular, num assistente offline ou num agente que roda dentro da empresa sem depender de nuvem não usa esses modelos.

Usa Phi-3-mini, Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct ou Gemma-2-2B-Instruct, quase sempre comprimidos para 4 bits de precisão. Essa compressão, chamada quantização, reduz o tamanho dos pesos do modelo para caber em menos memória, geralmente com alguma perda de qualidade. Um estudo publicado no arXiv em agosto de 2026 por Shubhra Mittal e Gaurav Naresh Mittal foi atrás de uma pergunta prática: os detectores de alucinação que a literatura recomenda continuam valendo, na mesma ordem de preferência, quando o modelo é pequeno e quantizado?

A resposta, resumida no próprio título do artigo ("Does the Ranking Hold?"), é não.

Como foi feita a auditoria

Os autores rodaram quatro detectores, cobrindo três abordagens diferentes, em dois modelos abertos ajustados por instrução: Llama-3.2-3B-Instruct e Qwen2.5-3B-Instruct, carregados em quantização 4-bit NF4 numa única GPU Colab T4 (a GPU de entrada, gratuita ou de baixo custo, oferecida pelo Google Colab). Os testes usaram o TriviaQA em formato fechado, sem acesso a documentos externos, só o conhecimento que já está nos pesos do modelo.

Os quatro detectores avaliados foram:

  • Calibração de margem de token normalizada por comprimento: usa os próprios logits do modelo durante a geração, medindo a diferença entre a probabilidade do token escolhido e a do segundo colocado. Custa uma única passada de inferência.
  • Baseline léxico de n-grama: um método simples baseado em sobreposição textual, tratado no estudo como o concorrente barato dos métodos mais sofisticados.
  • Entropia semântica: gera várias respostas por amostragem para a mesma pergunta, agrupa por significado e mede a entropia dessa distribuição. Respostas que variam muito de sentido indicam alucinação.
  • SelfCheckGPT-NLI: também amostra várias respostas, mas usa um segundo modelo de inferência de linguagem natural para checar se elas se contradizem entre si.

Os dois últimos são métodos de consistência por amostragem: exigem gerar a mesma resposta várias vezes, o que multiplica o custo computacional por pergunta, diferente da calibração de margem e do baseline léxico, que saem de uma única geração.

O ranking vira de cabeça para baixo entre dois modelos quase do mesmo tamanho

O resultado central é o que dá nome ao artigo. Ao comparar a ordem de desempenho dos quatro detectores no Llama-3.2-3B-Instruct contra a ordem no Qwen2.5-3B-Instruct, os pesquisadores mediram Spearman rho de -0,80 e Kendall tau-b de -0,667. Os dois coeficientes medem o quanto uma classificação (ranking) se mantém entre dois conjuntos de dados: valores próximos de 1 significam que a ordem se repete, valores próximos de -1 significam que ela se inverte.

Um rho de -0,80 e um tau-b de -0,667 apontam na mesma direção: o detector que fica em primeiro lugar num modelo tende a cair para os últimos no outro. São dois modelos de 3 bilhões de parâmetros, instruction-tuned, rodando na mesma quantização, no mesmo hardware, avaliados no mesmo benchmark. A única variável que muda é qual modelo pequeno está por baixo do detector, e isso já basta para inverter a escolha recomendada.

Em resumo: escolher um detector de alucinação com base no desempenho medido em outro modelo pequeno, mesmo parecido em tamanho e proposta, é uma aposta que o próprio estudo mostra que costuma perder.

O baseline mais barato empata com os métodos caros

O segundo achado incomoda ainda mais quem já investiu em pipelines de amostragem múltipla. Sob intervalos de confiança bootstrap de 95%, o baseline léxico de n-grama, o método mais simples e mais barato dos quatro, é estatisticamente indistinguível da entropia semântica e do SelfCheckGPT-NLI nos dois modelos testados.

A tabela resume os quatro métodos e o que a auditoria encontrou para cada um:

DetectorParadigmaCusto computacionalO que a auditoria achou
Margem de tokenConfiança interna do modeloBaixo (1 inferência)Ranking instável entre os dois modelos
Baseline léxico de n-gramaSobreposição textualBaixo (1 inferência)Empatou estatisticamente com os métodos de amostragem
Entropia semânticaConsistência por amostragemAlto (várias inferências)Não superou o baseline barato de forma significativa
SelfCheckGPT-NLIConsistência por amostragem + modelo de NLIAlto (várias inferências + modelo extra)Mesmo patamar estatístico do baseline barato

Para quem decide onde gastar o orçamento de inferência num app que roda no dispositivo, isso é dado concreto: pagar o custo de gerar múltiplas amostras por pergunta, na prática usada neste estudo, não trouxe ganho que resistisse ao teste estatístico.

TruthfulQA parecia ruim, mas o problema era o rótulo, não o detector

A segunda contribuição do artigo é metodológica e vale para quem está montando sua própria avaliação. Os autores rodaram os mesmos quatro detectores no TruthfulQA-Generation usando o rotulador padrão da literatura, que marca uma resposta como correta ou errada por sobreposição de texto com as opções de múltipla escolha do benchmark.

O resultado caiu para AUROC (a métrica que mede o quão bem um classificador separa acertos de erros, variando de 0,5, chance pura, a 1, separação perfeita) entre 0,46 e 0,59 para os quatro detectores, nos dois modelos. É praticamente chute.

Sob o mesmo pipeline, exatamente os mesmos detectores e modelos, trocando só o benchmark para o TriviaQA, o AUROC sobe para a faixa de 0,69 a 0,89. Os autores resumem o achado assim:

Uma falha do rotulador, não do detector.

a labeler failure, not a detector failureShubhra Mittal e Gaurav Naresh Mittal, autores do estudo

O problema não estava nos detectores nem nos modelos: estava no critério automático de correção do TruthfulQA, que classifica mal respostas certas e erradas quando aplicado a modelos pequenos. É um aviso direto para quem herda um benchmark pronto sem checar se o rotulador dele continua confiável fora do contexto em que foi validado.

O que isso muda pra quem constrói um agente on-device

Os autores enquadram a escolha de detector não como achar o "melhor" método, mas como um problema de alocação de taxas de erro (fairness-of-error-rates, no termo do artigo): cada detector erra de um jeito diferente, e a pergunta certa é qual tipo de erro o produto tolera.

Três consequências práticas para quem está escolhendo um detector para rodar junto de um modelo pequeno embarcado:

  1. Não reaproveite um ranking de detector publicado para outro modelo, mesmo que o tamanho e a arquitetura pareçam próximos. Rode a comparação no seu próprio modelo, no seu próprio benchmark.
  2. Antes de pagar o custo extra de métodos por amostragem como entropia semântica ou SelfCheckGPT-NLI, teste se o baseline léxico, muito mais barato, já entrega resultado parecido no seu caso.
  3. Se for usar um benchmark pronto para validar o detector, confira se o critério de correção automática dele foi desenhado pensando no tamanho do modelo que você vai usar, não só nos 7B a 70B da literatura.

Os autores liberaram o harness, os prompts e os escores por item usados na auditoria, o que permite reproduzir o experimento com outro par de modelos pequenos antes de decidir qual detector embarcar em produção.

O que o estudo não testou

A auditoria cobre dois modelos, Llama-3.2-3B-Instruct e Qwen2.5-3B-Instruct, apesar de o abstract citar Phi-3-mini e Gemma-2-2B-Instruct como parte do universo de modelos que praticantes de fato embarcam. Não há, no material disponível, resultado publicado para esses dois modelos adicionais, nem para variações de quantização diferentes de 4-bit NF4.

Também vale notar que todo o experimento rodou numa única GPU T4, com um volume de amostragem necessariamente mais contido do que o orçamento "abundante" que a literatura usa em modelos grandes. Isso é parte do ponto do estudo (simular o que um time pequeno de verdade consegue rodar), mas significa que a comparação entre entropia semântica e SelfCheckGPT-NLI pode mudar se alguém tiver orçamento para amostrar mais vezes por pergunta.

Fonte: arXiv cs.AI

Compartilhar
Quem escreveuLucas FerrazColunista

Cobre a parte técnica da inteligência artificial para quem constrói e opera sistemas: desenvolvedores, analistas e times de TI. Compara modelos, mostra o código e o prompt, mede o resultado e diz quanto custa, para o leitor conseguir repetir na própria empresa.

Leia também

Newsletter AI Brasil

A IA da semana, para a sua profissão

Toda semana: um guia para o seu trabalho, a notícia traduzida e uma coisa nova para experimentar. Gratuita, sem spam.

Você é… (opcional)