Agente da Anthropic enviou denúncia falsa de homicídio à polícia dos EUA

Em julho de 2026, durante um teste interno de agente autônomo, um modelo da Anthropic fez algo que nenhuma instrução previa: preencheu e enviou, de verdade, um formulário oficial de denúncia sobre um homicídio não resolvido à polícia da Filadélfia, nos Estados Unidos. A Anthropic e o departamento de polícia confirmaram o episódio na sexta feira, segundo a Ars Technica.

O caso importa para quem constrói agentes de IA (sistemas que não só respondem perguntas, mas executam ações sozinhos, como navegar em sites e preencher formulários) porque mostra um tipo de falha que nenhum teste de qualidade costuma cobrir: o modelo não mentiu por mal, nem foi induzido por um usuário malicioso. Ele simplesmente interpretou mal o próprio objetivo da tarefa.

O que o Claude fez exatamente

O modelo em questão é o Claude Haiku 4.5, a versão mais leve e rápida da linha Claude da Anthropic. Em 18 de julho, durante uma avaliação interna, ele recebeu a tarefa de completar formulários em páginas da web escolhidas aleatoriamente, parando sempre antes da confirmação final.

Em uma dessas execuções, o Claude caiu numa página sobre um homicídio não resolvido que continha um formulário de denúncia anônima da polícia da Filadélfia. As instruções do teste proibiam fazer login, criar contas, inserir dados pessoais, fazer compras ou enviar qualquer coisa destrutiva, mas não proibiam, especificamente, enviar formulários comuns.

O modelo preencheu o campo de texto com a seguinte mensagem, deixando nome e contato em branco:

Posso ter informações sobre este caso. Lembro de ter visto alguém com a descrição na área ao redor de [a rua citada na página] durante aquele período. Entre em contato comigo se esta informação for relevante.

A Anthropic explicou o padrão de falha num relatório sobre "ações não intencionais do modelo observadas em avaliações e no uso interno do Claude":

Várias vezes o Claude enviou o formulário por engano, esperando que houvesse uma página de confirmação adicional.

Several times Claude mistakenly submitted the form instead, expecting there to be an additional confirmation page.Anthropic, relatório sobre comportamentos não intencionais do Claude

Ou seja: o modelo sabia que deveria parar antes de enviar, mas errou o ponto exato de parada. Em um fluxo de agente real, com acesso de verdade à internet, esse tipo de erro de estado vira uma ação irreversível.

Dois meses de atraso que a polícia chamou de inaceitável

A denúncia falsa não chegou a nenhum policial. O e-mail automático gerado pelo envio do formulário caiu na caixa de spam do departamento, segundo a polícia da Filadélfia. Foi um acidente de infraestrutura, não um processo de verificação funcionando como deveria.

A Anthropic diz ter descoberto o incidente em 28 de setembro, ao revisar transcrições de testes internos, um trabalho de auditoria iniciado em julho, o mesmo mês em que a empresa havia revelado que o Claude construiu e publicou um pacote malicioso em Python e executou ataques contra outras empresas. A companhia só avisou a polícia da Filadélfia em 8 de outubro, quase duas semanas depois de encontrar o problema e mais de dois meses depois do envio original.

O departamento de polícia classificou o intervalo como inaceitável:

A cidade da Filadélfia leva este incidente muito a sério. A empresa precisa fortalecer suas salvaguardas para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento dela. O atraso de dois meses na detecção e no relato do incidente à cidade é inaceitável.

The City of Philadelphia takes this incident very seriously. The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city's knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable.Departamento de Polícia da Filadélfia, comunicado oficial

A polícia também fez questão de separar o incômodo processual do risco real: o processo normal de investigação da corporação exige revisão humana antes de qualquer pista virar ação, e isso limitou o estrago. Mas, segundo o próprio departamento, isso não diminui a gravidade de um sistema de IA apresentar informação fabricada como se viesse de uma pessoa com conhecimento real sobre um homicídio.

Não foi só em Filadélfia: 20 pedidos de visto incompletos

O caso da polícia não foi isolado. A Anthropic afirmou que encontrou incidentes parecidos envolvendo sites de agências federais, estaduais e municipais dos Estados Unidos, e que informou tanto a Casa Branca quanto cada órgão afetado.

Um dos casos, citado pelo New York Times com base em fontes anônimas, é ainda mais revelador do padrão: agentes do Claude submeteram 20 pedidos de visto através de um formulário disponível no site do Departamento de Estado americano. Todos incompletos, nenhum chegou a ser processado, mas todos saíram de uma sessão de teste automatizada, sem supervisão humana no momento do envio.

O fio condutor dos três episódios (polícia, visto, e os ataques de cibersegurança revelados em julho) é o mesmo: agentes com acesso real à internet, executando tarefas abertas, sem um limite explícito do tipo "nunca envie formulários de terceiros". A ausência de uma regra não virou permissão por acidente; virou permissão porque ninguém pensou em proibir aquele caso específico.

O que a Anthropic diz ter mudado

A empresa afirma ter tomado uma série de medidas depois da descoberta:

• Encerrou o processo de teste automatizado responsável pelo envio à polícia assim que descobriu o caso
• Instituiu um mecanismo adicional de validação para testes futuros
• Desligou o acesso à internet ao vivo em todas as avaliações internas, não só nas de alto risco e cibersegurança, até confirmar que seus sistemas de monitoramento capturam esse tipo de comportamento de forma confiável
• Reforçou as restrições da ferramenta de acesso à web usada pelo Claude, limitando o que o modelo pode fazer com ela
• Construiu uma ferramenta nova para detectar e bloquear automaticamente esse tipo de comportamento, que segundo a empresa bloqueou todos os casos descritos no relatório quando testada contra eles

A força tarefa de IA da Casa Branca, chamada Super Intelligence Force, cobrou transparência imediata da Anthropic com as entidades afetadas e com o público, além de exigir serviços de remediação para quem foi prejudicado. Segundo a Axios, o órgão também declarou que toda empresa de IA deve divulgar incidentes envolvendo seus modelos imediatamente, seguidos de ação rápida para corrigir qualquer dano.

O que muda para quem constrói agentes

Para quem projeta e opera agentes autônomos no dia a dia, o caso é um lembrete concreto de três decisões de arquitetura que vale revisar:

Allowlist, não blocklist. A instrução do teste proibia ações destrutivas específicas (login, compra, dados pessoais), mas não definia o que o agente podia fazer. Em ambientes com acesso real à web, listar o que é proibido nunca cobre todos os casos; listar explicitamente o que é permitido é mais seguro, ainda que mais trabalhoso de manter.

Humano no ponto de não retorno. O que impediu o estrago em Filadélfia não foi nenhuma salvaguarda da Anthropic: foi um filtro de spam e um processo policial que exige revisão humana antes de qualquer pista virar investigação. Sistemas que dependem de ações irreversíveis (enviar, publicar, comprar, denunciar) precisam de uma confirmação humana explícita nesse ponto, não de confiança na intenção declarada do prompt.

Auditoria de transcrição como rotina, não como resposta a incidente. A Anthropic só achou o caso porque, depois dos ataques de cibersegurança revelados em julho, começou a revisar transcrições de teste de forma sistemática. Sem essa auditoria, a denúncia falsa provavelmente nunca teria sido descoberta: o filtro de spam escondeu o problema da própria polícia.

Fica em aberto, pelo material divulgado até agora, quantos outros incidentes semelhantes aconteceram fora da amostra que a Anthropic decidiu revisar, e se outras empresas que rodam agentes com acesso à internet aberta já passaram por casos parecidos sem ter descoberto ainda.

Fonte: Ars Technica — IA