AI Brasil
Comece aqui

IA melhora exponencialmente em código, mas ainda falha em tarefas que exigem julgamento, mostra relatório da METR

Atualização do gráfico de horizonte temporal da METR confirma que modelos dobram a capacidade em tarefas de código a cada quatro meses, mas continuam abaixo de humanos em avaliação de pesquisa e julgamento aberto.

Redação AI BrasilRedação

· 7 min de leitura

Este artigo foi escrito por Redação AI Brasil. Conteúdo produzido por agente de IA da redação AI Brasil, sob revisão editorial humana. Saiba como produzimos no expediente.

Imagem gerada por IA

A organização sem fins lucrativos METR, especializada em avaliar riscos e capacidades de modelos de IA, divulgou nesta semana uma atualização do seu gráfico de "horizonte temporal", um dos indicadores mais citados (e mais mal interpretados) do setor. A nova versão confirma a curva de crescimento exponencial em tarefas de código, mas expõe algo que o gráfico original não media: o quanto os modelos ainda ficam atrás de humanos quando a tarefa exige julgamento, e não apenas execução.

O que o gráfico original media, e por que tanta gente leu errado

O método da METR funciona assim: um conjunto grande de tarefas é cronometrado com testadores humanos, e cada tarefa recebe uma nota de dificuldade baseada em quanto tempo uma pessoa leva para concluí-la. Depois, os modelos de IA são avaliados pela duração das tarefas que conseguem completar com sucesso. O resultado mais divulgado foi que, a cada quatro meses, a duração das tarefas que os modelos de ponta conseguem resolver dobra.

Esse número virou meme e virou argumento de palco em discussões sobre quando a IA vai automatizar trabalho inteiro. O problema é que o gráfico original só incluía tarefas verificáveis, aquelas em que dá para checar automaticamente se a resposta está certa ou errada, como um teste que passa ou falha. A atualização agora soma tarefas mais longas e, principalmente, tarefas abertas, sem resposta certa óbvia.

Por que código evolui rápido e julgamento não

A técnica que fez os modelos ficarem tão bons em programação e matemática chama-se aprendizado por reforço (reinforcement learning, em inglês): o sistema tenta a mesma tarefa milhares de vezes, reforça os caminhos internos que levaram a acertos e enfraquece os que levaram a erros. Isso só funciona bem quando dá para verificar o resultado de forma automática, exatamente o caso de rodar um teste de software ou conferir uma equação.

Escolher uma linha de pesquisa promissora, decidir qual hipótese vale a pena testar ou avaliar um argumento filosófico não tem esse tipo de verificação rápida. É por isso que o gráfico original da METR simplesmente não incluía esse tipo de tarefa: não havia como medir direito. E é justamente esse tipo de tarefa que vai decidir se a IA consegue, ou não, automatizar sua própria pesquisa e desenvolvimento.

O teste que expôs o limite: pedir para a IA avaliar a própria IA

Para tentar capturar esse ponto cego, a METR criou uma tarefa em que os modelos precisam desenhar novas avaliações de IA, do tipo que a própria organização usaria em suas pesquisas. Funcionários da METR então julgam a qualidade do resultado. Nenhuma avaliação criada por modelo foi considerada boa o suficiente para uso real em pesquisa, mesmo com modelos que hoje superam quase qualquer humano em engenharia de software.

Numa segunda tarefa, os modelos precisaram pontuar argumentos filosóficos, um exercício pensado para medir julgamento puro. Os resultados também ficaram abaixo do desempenho humano. A própria METR reconhece, no relatório, que os funcionários discordam sobre o quanto essa tarefa específica representa de fato o trabalho de pesquisa em IA.

O contexto que deixou o setor em alerta

Essa atualização chega poucas semanas depois de outro relatório da METR, fortemente editado antes da publicação, que afirmava que a IA poderia estar acelerando o próprio progresso da IA dentro da Anthropic em até duas vezes. O relatório anterior, divulgado no início de novembro de 2026, alimentou um temor específico: que a empresa, que acabou de abrir capital numa oferta bilionária, estivesse próxima de alcançar a auto-melhoria recursiva completa, regime em que sistemas de IA projetam seus próprios sucessores sem intervenção humana.

A nova atualização do horizonte temporal não confirma nem derruba esse cenário. Ela só deixa mais claro onde está o gargalo: nas partes do trabalho de pesquisa que dependem de julgamento, e não de execução verificável, os modelos ainda não chegam ao nível humano.

Há sinal de melhora, mas pequeno e difícil de confirmar

Alguns dos modelos mais recentes, como o Opus 5.5, alcançaram o que a METR chama de desempenho "na fronteira, levemente acima da régua" na tarefa de desenhar avaliações, ainda não bom o suficiente para uso prático, mas um avanço sobre a situação de um ano atrás, quando todos os modelos ficavam "claramente abaixo da régua".

Vale a cautela na leitura desse número. A própria METR admite falhas de metodologia nessa rodada: como pagar testadores humanos para tarefas que levariam centenas de horas é caro e inviável, a maioria dos tempos de conclusão usados nessa nova leva é estimada, não medida. E na tarefa de argumentos filosóficos, uma única pessoa avaliou a maior parte das respostas, o que significa que o escore mede concordância com um indivíduo, não um consenso.

Sayash Kapoor, cientista da computação que vai assumir cargo de professor na UC Berkeley, diz que o resultado não o surpreendeu.

Estamos no ponto em que as avaliações de IA precisam ficar mais criativas. Tentar expandir o espaço de avaliações é uma mudança bem-vinda.

We're at the point where AI evaluations need to get more creative. Trying to push the envelope of the space of evaluations is a welcome change.Sayash Kapoor, cientista da computação e futuro professor na UC Berkeley

Em um preprint publicado em agosto de 2026, Kapoor e colaboradores já haviam mostrado que modelos de IA ainda não conseguem reproduzir, sozinhos, pesquisa de ciência da computação feita por humanos. Na quarta-feira, 18 de novembro, a própria OpenAI publicou um post em seu blog relatando que seus modelos têm desempenho pior nas tarefas reais atribuídas a funcionários do que nas tarefas mais fáceis e verificáveis do conjunto original da METR, um sinal na mesma direção vindo de dentro de um laboratório.

Najoung Kim, linguista e cientista da computação na Boston University, resume a cautela que domina a leitura do relatório:

A melhora que observamos, acho que isso nos diz algo sobre o momento atual. Ainda não sei exatamente como pensar sobre como isso vai se estender para o futuro.

The improvement we observe, I think that does tell us something for the current moment. I'm not sure just yet how to think about how it would extrapolate.Najoung Kim, linguista e cientista da computação na Boston University

Matt Putz, da equipe técnica da METR, é ainda mais direto sobre o limite do método:

Por natureza, tarefas difíceis de verificar ou carregadas de julgamento são muito mais difíceis de estudar, e especialmente de quantificar. No fim, não acho que vamos conseguir estabelecer tendências tão limpas e robustas quanto as das tarefas fáceis de especificar.

By their nature, hard-to-verify or judgment-laden tasks are much harder to study, and especially to quantify. Ultimately, I don't think we'll be able to establish trends as clean and robust as for the easy-to-specify tasks.Matt Putz, membro da equipe técnica da METR

O que muda para quem constrói e avalia agentes de IA

Para quem desenvolve software com apoio de IA ou monta pipelines de agentes, o relatório confirma uma intuição que já aparecia na prática: delegar tarefas de código com critério de sucesso claro (passar um teste, compilar, bater um benchmark) tende a funcionar cada vez melhor, e a curva de melhora nesse tipo de tarefa não dá sinal de desacelerar.

Já delegar decisões que exigem julgamento (qual arquitetura escolher, qual hipótese de produto testar primeiro, como desenhar uma avaliação nova para o próprio time) ainda pede revisão humana forte. O próprio teste da METR mostra isso de forma literal: nenhuma avaliação desenhada por um modelo foi boa o suficiente para uso real, nem com os modelos mais avançados disponíveis hoje.

Isso tem peso prático para quem monta benchmarks internos ou define critérios de aceite para agentes autônomos: o relatório da METR é mais um dado reforçando que medir desempenho em tarefas abertas continua sendo o ponto fraco da avaliação de IA como um todo, não só dos modelos. Antes de confiar cegamente num agente para decisões estratégicas, vale perguntar se a tarefa em questão tem um critério de sucesso verificável, ou se ela se parece mais com escolher uma direção de pesquisa do que com fazer um teste passar.

Fonte: MIT Technology Review — IA

Compartilhar
Quem escreveuRedação AI BrasilRedação

A redação de agentes da AI Brasil. Acompanha o que acontece em inteligência artificial no Brasil e no mundo e traduz para quem está trabalhando: o que foi anunciado, o que é só barulho e o que muda para você hoje.

Leia também

Mais de Redação AI Brasil

Newsletter AI Brasil

A IA da semana, para a sua profissão

Toda semana: um guia para o seu trabalho, a notícia traduzida e uma coisa nova para experimentar. Gratuita, sem spam.

Você é… (opcional)