Verificação passo a passo reduz erro de IA em até 46 pontos, mas corta resposta pela metade
Um estudo publicado em novembro de 2026 testa um pipeline que reescreve a resposta de um modelo em passos tipados e usa outro modelo como juiz para certificar ou recusar. O ganho de precisão é real, mas vem com uma fatia enorme de perguntas sem resposta.
· 8 min de leitura
Este artigo foi escrito por Lucas Ferraz. Conteúdo produzido por agente de IA da redação AI Brasil, sob revisão editorial humana. Saiba como produzimos no expediente.
Um estudo publicado em novembro de 2026 testa um pipeline que reescreve a resposta de um modelo em passos tipados e usa outro modelo como juiz para certificar ou recusar. O ganho de precisão é real, mas vem com uma fatia enorme de perguntas sem resposta.
Um estudo publicado em novembro de 2026 testa um pipeline que reescreve a resposta de um modelo em passos tipados e usa outro modelo como juiz para certificar ou recusar. O ganho de precisão é real, mas vem com uma fatia enorme de perguntas sem resposta.
O que significa a IA "certificar ou recusar" uma prova
Um artigo submetido ao arXiv em 10 de novembro de 2026 e aceito no 6º workshop MATH-AI da NeurIPS 2026 testa uma ideia simples de descrever e cara de implementar: em vez de deixar o modelo responder qualquer coisa, o pipeline reescreve a resposta em passos tipados (uma sequência estruturada de afirmações, cada uma com um papel definido na prova) e manda essa estrutura para outro modelo, que atua como juiz. O juiz tem duas saídas possíveis: certificar a resposta ou recusar. Quando recusa, o sistema simplesmente não entrega nada, em vez de arriscar uma resposta errada.
Os autores (Abhinav Gupta, Ben Slivinski, Yashica Patodia e Michael Saldivar) chamam esse esquema de "certify-or-decline" e o testam com modelos de peso aberto em três provas de raciocínio: GPQA (perguntas de nível de pós-graduação feitas para resistir a busca simples), AIME-2025 (a prova americana de matemática que seleciona para a olimpíada) e um subconjunto do MATH-500 (problemas de matemática de nível mais básico, onde os modelos já acertam quase tudo sem ajuda).
Em pseudocódigo, o fluxo é mais ou menos assim:
def certify_or_decline(question, solver, judge):
raw_answer = solver.solve(question)
steps = parse_to_typed_steps(raw_answer)
if steps is None:
return "decline (invalid proof construction)"
verdict = judge.certify(steps)
if verdict == "certify":
return raw_answer
return "decline"Os números: precisão sobe até 46 pontos, mas a cobertura despenca
O ganho de precisão (medida como acerto da chave de resposta, isto é, se a resposta final bate com o gabarito) é grande nas provas difíceis. Mas ele vem acompanhado de uma queda igualmente grande na cobertura, ou seja, na fração de perguntas para as quais o sistema de fato entrega uma resposta em vez de recusar.
| Prova | Ganho de precisão com verificação | Cobertura (% de perguntas respondidas) |
|---|---|---|
| GPQA (configuração forte) | +31 pontos percentuais | 35% |
| AIME-2025 | +46 pontos percentuais | 21% |
| MATH-500 (subconjunto) | até +5 pontos | perde de 13 a 27 pontos de cobertura |
Em AIME-2025, o maior ganho de precisão do estudo, o sistema só entrega uma resposta certificada em 21% das tentativas. Para os outros 79%, a saída é "recuso", o que na prática empurra o problema de volta para quem fez a pergunta, seja um humano, seja outro agente na cadeia.
Onde a verificação não vale o esforço
O MATH-500 é o caso que mais interessa a quem decide se vale a pena colocar esse pipeline em produção. Nesse conjunto, os modelos já acertam quase tudo sem ajuda (os autores chamam de "near-ceiling", ou seja, perto do teto possível de acerto). Aí o ganho de precisão da verificação cai para no máximo 5 pontos, enquanto a cobertura perde de 13 a 27 pontos.
Em resumo: a verificação por passos compensa quando a tarefa já é difícil o bastante para o modelo errar bastante sozinho. Em tarefas onde o modelo já acerta quase tudo, pagar o custo extra de reescrever a resposta em passos tipados e rodar um segundo modelo como juiz só devolve menos respostas, sem ganho de precisão que justifique.
Um baseline bem mais barato chega perto do resultado
Os autores compararam o pipeline de verificação com uma alternativa mais simples e mais barata: um seletor por autoconsistência (self-consistency), que gera múltiplas respostas do mesmo modelo e escolhe a mais frequente, ajustado para consumir a mesma quantidade de tokens de saída que o verificador.
Esse seletor mais simples chegou a 82,9% de precisão com 35% de cobertura, contra 87,6% de precisão agregada do verificador. A diferença pareada foi de 4,8 pontos, mas com intervalo de confiança de 95% indo de -8,2 a 18,5 pontos. Como o intervalo cruza o zero, o estudo não consegue afirmar com confiança que o verificador, mais caro porque exige rodar um segundo modelo como juiz, é de fato melhor que o baseline mais barato.
Isso é o tipo de número que muda a decisão de arquitetura: se o ganho do pipeline mais caro não é estatisticamente distinguível de uma técnica que só roda o mesmo modelo várias vezes e vota na maioria, o custo extra de manter um segundo modelo juiz em produção fica difícil de justificar.
A maior parte das falhas nem chega ao juiz
Uma amostra de diagnóstico do estudo revelou um modo de falha que passa longe da discussão sobre o juiz: de 88 problemas em que o modelo chegou a completar alguma resposta, 52 terminaram em "construção de prova inválida", ou seja, o passo de reescrever a resposta em passos tipados falhou antes mesmo de qualquer juiz avaliar o conteúdo.
No pseudocódigo acima, isso corresponde ao retorno em parse_to_typed_steps(raw_answer) sendo None. É um problema de formatação e estruturação, não de correção matemática, e ele consome mais da metade dos casos observados na amostra. Quem for medir a qualidade de um pipeline assim precisa separar esse tipo de falha de execução das falhas de julgamento propriamente ditas, porque são problemas diferentes com soluções diferentes.
Validadores discordam entre si, e "certificado" não é sinônimo de "correto"
O ponto mais incômodo do estudo é sobre o que "certificado" realmente significa. Quando os pesquisadores pegaram as cadeias de prova certificadas e renderizaram para um LLM externo avaliar de forma independente, a taxa de aceitação ficou entre 61,0% e 67,6%, bem abaixo dos 87,6% de acerto da chave de resposta.
Ou seja: o pipeline acerta a resposta final em 87,6% dos casos certificados, mas um avaliador independente, olhando o raciocínio inteiro, só concorda que a prova é válida em cerca de dois terços das vezes. A resposta pode estar certa por um caminho de raciocínio que não se sustenta.
Piorando o quadro, quando os autores colocaram pares de modelos de peso aberto para auditar as mesmas provas, a concordância corrigida pelo acaso (uma medida parecida com o coeficiente kappa, que descarta a parte da concordância que aconteceria só por sorte) ficou perto de zero. Isso mede consistência entre juízes, não acerto em relação à verdade da prova, e os autores são explícitos nessa diferença. Dois juízes de peso aberto, avaliando a mesma cadeia de raciocínio, concordam entre si pouco mais do que concordariam por puro acaso.
Estes resultados motivam reportar separadamente falhas de execução, precisão da resposta selecionada e validade da prova avaliada de forma independente.
These results motivate separate reporting of execution failures, selected-answer precision, and independently assessed proof validity.Abhinav Gupta, Ben Slivinski, Yashica Patodia e Michael Saldivar, autores do estudo
O que isso muda para quem constrói um agente de raciocínio
Para quem está pensando em colocar um esquema de certificar ou recusar na frente de um agente de raciocínio matemático ou lógico, o estudo deixa três lições operacionais:
- Meça o teto da tarefa antes de pagar o custo do verificador. Em tarefas onde o modelo já acerta quase tudo sozinho (como no MATH-500 do estudo), a verificação por passos tipados corta cobertura sem ganho de precisão que compense.
- Compare sempre com um baseline barato. O seletor por autoconsistência, que só roda o mesmo modelo várias vezes, chegou perto do resultado do verificador com intervalo de confiança que não descarta empate técnico, e custa uma fração do que custa manter um segundo modelo como juiz.
- Separe os três tipos de falha na sua métrica de produção. Falha de formatação da prova (que nem chega ao juiz), falha de precisão da resposta final e falha de validade do raciocínio são problemas distintos. Tratar todos como "o verificador errou" esconde onde está o gargalo real.
Em termos de custo de operação, o pipeline certify-or-decline implica no mínimo duas chamadas de LLM por pergunta (uma para resolver, outra para julgar). Dado o baixo acordo entre juízes de peso aberto que o estudo documenta, na prática isso sugere que uma implementação séria pode precisar considerar um terceiro modelo mais caro como desempate, ou auditoria humana para os casos certificados, antes de confiar neles em produção, uma leitura possível dos dados, não uma recomendação explícita dos autores.
Isso soma tokens e latência a cada chamada, exatamente no tipo de tarefa (raciocínio matemático longo) em que o custo por token já tende a ser mais alto por causa do tamanho das respostas.
O código usado nos experimentos está linkado no próprio artigo no arXiv, o que permite reproduzir a comparação com benchmarks próprios antes de decidir se o esquema certify-or-decline entra ou não num pipeline de produção.
Fonte
Gupta, A., Slivinski, B., Patodia, Y., & Saldivar, M. "When Is Proof-Step Verification Worth Its Cost? Operating Requirements of Certify-or-Decline Verification for Open-Weight Mathematical Reasoning." arXiv:2611.14794, submetido em 10 de novembro de 2026. Disponível em: https://arxiv.org/abs/2611.14794.
Fonte: arXiv cs.AI

Cobre a parte técnica da inteligência artificial para quem constrói e opera sistemas: desenvolvedores, analistas e times de TI. Compara modelos, mostra o código e o prompt, mede o resultado e diz quanto custa, para o leitor conseguir repetir na própria empresa.