Fable 5.2 da Anthropic conclui 41% dos trabalhos freelance reais, mostra benchmark

Um salto de 2,5% para 41,3% em um ano

O Fable 5.2, modelo da Anthropic, passou a completar 41,3% dos trabalhos avaliados pelo Remote Labor Index (RLI), um benchmark criado pela Scale Labs em parceria com o Center for AI Safety (CAIS). O índice mede algo diferente dos testes de raciocínio que costumam aparecer em lançamento de modelo: ele verifica se um agente de IA entrega um trabalho freelance real em qualidade boa o suficiente para um cliente pagante aceitar, sem revisão humana. O resultado foi reportado pelo site The Decoder em 10 de novembro de 2026 (fonte).

A curva de progresso chama atenção pela velocidade. Quando o RLI foi lançado, cerca de um ano atrás, o sistema líder na época, o Manus, completava só 2,5% das tarefas. Em julho de 2026, o Fable 5, modelo anterior da mesma família, assumiu a liderança com aproximadamente 16%, um salto que já tinha mais que quadruplicado a taxa de acerto em oito meses. Quatro meses depois, o Fable 5.2 chega a 41,3%, cerca de 2,5 vezes o resultado do Fable 5 em julho. O antecessor direto, Fable 5.1, ficou pouco abaixo de 18%: o Fable 5.2 completa mais do que o dobro de trabalhos que ele.

Como fica a corrida entre os laboratórios

O restante do ranking mostra a distância que o Fable 5.2 abriu para o resto do mercado. Os próximos colocados completam, na melhor das hipóteses, pouco mais da metade do que ele entrega.

Vale notar que o segundo e o terceiro lugar são de laboratórios diferentes (Opus 5.5, também da Anthropic, e GPT 6 Astra, da OpenAI), separados por pouco menos de meio ponto percentual. Isso indica que a distância do Fable 5.2 não é só "Anthropic na frente": é um salto específico desse modelo, que nem o Opus 5.5 da própria empresa reproduziu.

Onde o modelo melhora e onde ainda falha

Segundo a Scale Labs, os maiores ganhos do Fable 5.2 apareceram em edição de áudio e música, projetos de arquitetura e design de interiores, e criação de modelos 3D. O agente também passou a lidar com projetos longos e complexos que, até então, nenhum modelo no topo do ranking conseguia concluir: quase 50 das tarefas resolvidas pelo Fable 5.2 nunca tinham sido completadas por nenhum agente testado antes.

O quadro muda em outras categorias. A Scale Labs relata que design de produto industrial e animação continuam sendo pontos fracos, com poucos avanços. Quando um agente falha no RLI, o padrão de erro costuma ser o mesmo: entrega de qualidade amadora, resultado incompleto, arquivo corrompido ou design que se contradiz internamente.

O dataset: 240 trabalhos reais do Upwork, US$ 144 mil em projetos

O diferencial do RLI em relação a benchmarks tradicionais de LLM é que ele não testa habilidades isoladas: testa entregas completas. O conjunto de dados reúne 240 projetos concluídos por 358 profissionais verificados na plataforma Upwork, somando cerca de US$ 144 mil em valor contratado. Um projeto típico custa em média US$ 632,60 e leva cerca de 29 horas de trabalho de um freelancer humano.

As tarefas cobrem edição de vídeo, modelagem CAD, desenvolvimento de jogos e análise de dados, entre outras. Para executá-las, os agentes de IA recebem acesso a um ambiente de trabalho virtual com software profissional de uso comum, como Blender, GIMP e Audacity, além de ferramentas especializadas de geração de imagem, áudio e vídeo. Essa é a parte que mais interessa a quem constrói agentes: o RLI não avalia um modelo isolado respondendo prompt, e sim um agente operando dentro de um ambiente de produção real, com as mesmas ferramentas que um profissional usaria.

Por que a correção ainda precisa ser humana

O ponto mais relevante para quem monta pipeline de avaliação de agentes está na forma como o RLI mede sucesso. Especialistas humanos treinados abrem os arquivos entregues no próprio software profissional e comparam o resultado do agente de IA diretamente com o que o freelancer humano original entregou no mesmo job.

A CAIS já tentou automatizar essa revisão usando outra IA como avaliadora, e por enquanto não funcionou. Como os modelos avaliadores mal conseguem operar o software profissional por conta própria, eles se deixam enganar por entregas que parecem prontas na superfície mas têm falha técnica, e dão nota muito mais generosa do que a qualidade real justificaria.

Esse detalhe importa além do RLI. Quem constrói agente próprio e usa outro modelo como juiz automático (a técnica conhecida como LLM-as-judge) está exposto ao mesmo risco: um avaliador que não sabe operar a ferramenta final (planilha, CAD, código, DAW de áudio) tende a aprovar saída que falha no uso real. Se nem a CAIS, com recursos dedicados ao problema, conseguiu automatizar essa checagem, vale desconfiar de qualquer eval interno que dispense revisão humana para tarefas de produção real.

O que muda para quem constrói com agentes

Para times de TI avaliando onde um agente de IA pode substituir ou complementar trabalho especializado, o RLI dá um número honesto: mesmo o modelo líder ainda falha em quase 59% dos trabalhos reais testados. O salto de 2,5% para 41,3% em um ano mostra progresso real, mas está longe de significar substituição confiável de freelancer em qualquer categoria.

Dois pontos ficam claros no material da Scale Labs e do CAIS. Primeiro, o ganho não é uniforme: áudio, arquitetura e 3D avançaram muito mais que design de produto industrial e animação, então a decisão de usar agente para uma tarefa específica precisa olhar a categoria, não a média geral. Segundo, a própria dificuldade de automatizar a correção do benchmark é um sinal de que, por ora, times que colocam agentes em produção para esse tipo de entrega ainda precisam manter humano na checagem final, não só no treino do agente.

Fonte: The Decoder