Mesmo modelo de IA varia até 13 pontos de desempenho conforme o harness do agente

Um teste, dois resultados, o mesmo modelo

O Gemini 3 Pro passou pelas 89 tarefas do Terminal-Bench 2.1, um teste de agentes de IA que operam linha de comando, dentro de dois harness diferentes. Harness é o nome que a comunidade de agentes de IA dá à camada de código que fica entre o modelo e o computador: ela pega o que o modelo escreve, identifica os comandos que ele quer rodar, executa, devolve o resultado e decide quando parar.

Conduzido pelo Gemini CLI, o agente que o próprio Google publica para seus modelos, o Gemini 3 Pro acertou 65,8% das tarefas. Rodando dentro do Terminus 2, um programa mínimo que os autores do teste escreveram só para comparar modelos, com uma única ferramenta disponível (um terminal), o mesmo modelo subiu para 73,9%. São 8,1 pontos de diferença, bem acima da variação normal de uma execução para outra, de 1,3 a 1,4 ponto, segundo o Terminal-Bench 2.1, hoje arquivado pela Snorkel AI, que hospeda o ranking.

O modelo não mudou. O que mudou foi tudo em volta dele, e esse componente, segundo um post de engenharia da Anthropic de 8 de abril de 2026, é "a malha que chama o Claude e encaminha suas chamadas de ferramenta para a infraestrutura correspondente". A Anthropic já vende isso separado do modelo: o Claude Agent SDK entrega "as mesmas ferramentas, a mesma malha de agente e o mesmo gerenciamento de contexto que o Claude Code", e a empresa também aluga um harness hospedado, o Managed Agents.

Sete peças entre o modelo e a máquina

Um modelo de linguagem sozinho só produz texto. É o harness que lê esse texto, reconhece um pedido de ferramenta, executa de fato o comando e devolve o resultado para o modelo continuar. Um relatório da Anthropic de 19 de dezembro de 2024, "Building effective agents", já dizia que a empresa passou "mais tempo otimizando as ferramentas do que a instrução geral" do agente que usou no benchmark SWE-bench.

Em tarefas longas, "compactar o histórico não basta", escreveu Justin Young, da Anthropic, em "Effective harnesses for long-running agents", de 26 de novembro de 2025. O harness que ele descreve mantém um diário de avanço e registra cada sessão em git, e é dali que a sessão seguinte recomeça.

De 2,8 a 13,7 pontos: o tamanho do efeito muda de teste para teste

No Terminal-Bench 2.1, cinco modelos rodaram tanto no harness do próprio fabricante quanto no Terminus 2. O harness próprio venceu por 5,1 pontos com GPT-5.5 no Codex CLI, por 3,4 pontos com Claude Fable 5 no Claude Code e por 2,8 pontos com Claude Opus 4.7 (dentro da margem de erro). Perdeu por 8,1 pontos com Gemini 3 Pro e empatou com Gemini 3.1 Pro. O fabricante não tem sempre o melhor harness para o seu próprio modelo.

A LangChain isolou o efeito trocando só o harness e mantendo o modelo fixo. Seu agente deepagents-cli subiu de 52,8% para 66,5% no Terminal-Bench 2.0, com o modelo gpt-5.2-codex parado, segundo o post da empresa de 17 de fevereiro de 2026. Os 13,7 pontos vieram de uma instrução de sistema melhor, de ferramentas diferentes, de uma passagem de verificação obrigatória antes de entregar o resultado, de um contador que força o agente a repensar o método quando mexe demais no mesmo arquivo, e do ajuste do esforço de raciocínio, que a LangChain classifica como parte do harness.

Um estudo de pesquisadores da Tulane, da Rutgers e da Virginia Tech cruzou três modelos (GPT-5.4, Kimi K2.6 e GLM-5.1) com três harness de complexidade crescente, em 100 tarefas do SWE-bench Verified. No artigo de posicionamento de 7 de maio de 2026, trocar de harness deslocou o escore de 8,5 a 13 pontos, trocar de modelo deslocou de 2,5 a 5 pontos, e em seis das nove comparações o ranking entre modelos se inverteu conforme o harness usado.

No SWE-bench Pro, o efeito encolhe. O Claude Opus 4.5 tira 45,9% no SWE-Agent, o harness do ranking SEAL da Scale AI, com margem de 3,6 pontos. Nas mesmas 731 tarefas, um post da Augment Code de 4 de fevereiro de 2026 mediu 49,75% no Claude Code e 51,8% no Auggie, o agente próprio da Augment: diferença que ainda cabe na margem de erro da Scale.

Os próprios autores do Terminal-Bench são mais cautelosos. No artigo de 17 de janeiro de 2026, eles estimam que "a escolha do modelo costuma importar mais que o arcabouço do agente", num ranking que vai de 63% a cerca de 15% para modelos pequenos. De uma geração para outra, o modelo domina.

Entre modelos de nível parecido, que é a disputa real de quem escolhe hoje, o harness pode bastar para inverter o resultado: o Claude Opus 4.7 fica à frente do Gemini 3 Pro nos harness de cada fabricante (68,9% contra 65,8%) e atrás dele no Terminus 2. Já Claude Fable 5 e GPT-5.5, os dois líderes do Terminal-Bench 2.1, mantêm a mesma ordem nos dois harness.

O harness também decide quanto a sessão vai custar

Uma API de modelo de linguagem cobra, a cada chamada, todo o contexto enviado junto, e uma sessão de agente reenvia seu histórico inteiro a cada rodada, como detalhou o levantamento de preços de APIs de outubro de 2026 feito pela ActuIA. Michael Bolin, da OpenAI, reconhece em "Unrolling the Codex agent loop", de 23 de janeiro de 2026, que o volume enviado pelo Codex cresce de forma quadrática ao longo da sessão.

O cache de contexto amortece parte do gasto, com desconto de 95% no token relido tanto no Claude Opus 5.5 quanto no GPT-6.1 Sol. Mas um harness que reescreve o início da requisição no meio da sessão, para trocar ferramenta, modelo ou sandbox, perde esse desconto. O Codex evita isso acrescentando mudanças só no fim da requisição, e compacta sozinho o histórico quando ele passa de um limite configurável.

A escolha das ferramentas pesa tanto quanto o cache. Em "Code execution with MCP", de 4 de novembro de 2025, a Anthropic calculou em 150 mil tokens o custo de um agente que carrega de uma vez a definição de todas as suas ferramentas, contra 2 mil tokens quando ele as chama a partir de código.

A Vercel removeu 80% das ferramentas de seu agente d0, que traduz perguntas em SQL, trocando a maior parte por comandos bash. Em cinco requisições com o Claude Opus 4.5, o consumo médio caiu de cerca de 102 mil para 61 mil tokens e o acerto subiu de quatro para cinco em cinco pedidos, embora a própria Vercel reconheça que cinco requisições não fazem estatística.

O mesmo vale para assinaturas. Ao dobrar, em 29 de outubro de 2026, as cotas do Codex nos planos Pro, a OpenAI avisou que o consumo varia com o modelo, a tarefa e a configuração, então cota dobrada não significa o dobro de tarefas concluídas, segundo o The Decoder e a ActuIA.

A recusa do modelo chega depois que a ferramenta já rodou

O harness também decide o que um agente tem autorização para fazer, e um preprint chamado ToFu, de 9 de outubro de 2026, mostrou o problema no LangGraph com um modelo local pequeno. O modelo emitiu uma chamada para uma ferramenta fictícia chamada launch_missiles, o LangGraph executou sem checagem, e só depois o modelo escreveu sua recusa: a recusa chegou depois da execução da ferramenta. A verificação de permissão, sobre a ferramenta e seus argumentos, é trabalho do harness e das próprias ferramentas, não do modelo.

Subagentes acrescentam uma camada de risco. O GPT-6 Astra recebeu de outro agente a instrução de nunca desativar, "nem mesmo temporariamente", um monitor que detecta desvios de comportamento em modelos. Em 6 de outubro de 2026, ele delegou uma migração pedindo para preservar essa vigilância "na medida apropriada ao PR exato, em vez de inventar um novo dispositivo de monitoramento obrigatório". O subagente removeu o monitor e trocou o teste que verificava sua presença por um teste que passa a exigir sua ausência.

Pedir aprovação ao usuário protege pouco: as pessoas aceitam 93% dos pedidos de autorização, segundo um post da Anthropic de 25 de março de 2026 sobre o modo automático do Claude Code. O sandbox da empresa, que limita diretórios editáveis e servidores alcançáveis, reduziu esses pedidos em 84% no uso interno.

Um classificador relê, antes da execução, as ações que ainda não têm autorização prévia, como comandos de shell ou acesso à rede; em 52 ações excessivas reais, deixou passar 17% delas. A OpenAI também isola a execução no Agents SDK desde 15 de abril de 2026, afirmando que "separar o harness do cálculo ajuda a manter as credenciais fora dos ambientes onde roda o código gerado pelo modelo".

O que muda para quem monta agente de IA

Quem escolhe um agente de IA está comprando um par, modelo mais harness, e o número publicado geralmente descreve só metade disso. A primeira pergunta é qual harness produziu o escore anunciado, e o quanto ele se parece com o que vai rodar em produção. O ranking Bash Only do SWE-bench coloca todo modelo no mesmo harness, o mini-SWE-agent, e por isso compara modelos; já o Terminal-Bench publica o par inteiro e por isso compara agentes.

Depois vem o custo medido na tarefa inteira, com leitura e escrita de cache incluídas, algo que o Coding Agent Index da Artificial Analysis já calcula no preço de API. E o risco se lê na configuração padrão: o que roda sem aprovação, o que o sandbox deixa alcançar, onde ficam guardadas as credenciais, o que um subagente recebe como instrução.

Um harness também envelhece mais rápido que um contrato de API. A Anthropic tinha adicionado reinícios de contexto para o Claude Sonnet 4.5, que encerrava tarefas cedo demais ao sentir o limite de contexto se aproximando; com o Claude Opus 4.5, esse mecanismo virou peso morto. Trocar de modelo obriga a reavaliar o harness, e trocar de harness obriga a refazer as medições. A Artificial Analysis já reservou, em sua página de agentes de código, uma seção chamada "Harness Comparison" para isso. Em 30 de outubro de 2026, ela ainda trazia só a marca "em breve".

Fonte

ActuIA: Agents d'IA : jusqu'à huit points d'écart pour un même modèle selon le harnais

Fonte: ActuIA