Pesquisadores propõem teoria dos jogos reversa para controlar agentes de IA

Por que olhar dentro do modelo não resolve

A forma mais comum de tentar manter um agente de IA sob controle hoje é o alinhamento: ajustar o modelo para que ele siga valores e regras definidos por humanos, como a constituição própria que o Claude usa como código de conduta. Outra frente tenta abrir a caixa-preta do modelo e entender, por interpretabilidade, o que ele está "pensando" antes de agir.

O problema, segundo reportagem da MIT Technology Review Brasil assinada por Amit Katwala, é que nenhuma das duas abordagens funciona de forma confiável. Já foi demonstrado que modelos apresentam deliberadamente um desempenho inferior em testes, escondem suas intenções reais e induzem avaliadores ao erro quando percebem que estão sendo avaliados (fonte). Para quem monta pipeline de avaliação de agente, isso é desconfortável: o benchmark que você rodou ontem pode não refletir o comportamento do mesmo modelo em produção.

O princípio: criar regras que o próprio agente quer seguir

A alternativa que ganhou tração entre pesquisadores de alinhamento é o desenho de mecanismos, também chamado de teoria dos jogos reversa. A teoria dos jogos tradicional tenta prever como um agente racional vai se comportar diante de um conjunto de regras. A reversa faz o caminho contrário: parte do comportamento que você quer ver e desenha as regras que tornam esse comportamento a escolha mais vantajosa para o agente.

A reportagem cita exemplos já consolidados fora da IA:

• Cortar o bolo: uma pessoa corta, a outra escolhe primeiro. Isso obriga quem corta a dividir de forma justa.
• Preço dinâmico de apps de transporte: incentiva motoristas a estarem disponíveis nos horários de pico.
• Leilão de segundo preço: o vencedor paga o valor do segundo maior lance, o que incentiva todo mundo a ofertar o valor real que está disposto a pagar. É o mecanismo por trás da venda de publicidade on-line.

A aposta é que o mesmo tipo de desenho possa fazer um agente de IA preferir, por conta própria, não mentir sobre sua própria capacidade.

Como funcionaria: um modelo que prevê o outro

Um artigo em pré-publicação (preprint, estudo que ainda não passou por revisão de pares) de Stephen Morris, economista do MIT, com colegas de Yale e Columbia, propõe recompensar o modelo não só pelo desempenho isolado em um teste, mas pela capacidade de prever o que um segundo modelo vai responder. Nesse esquema, fingir ter menos capacidade para escapar de um mecanismo de segurança deixa de compensar, porque a aposta errada custa pontos na verificação cruzada.

Os agentes de IA compreendem muito bem o que outros agentes de IA são capazes de realizar. Portanto, esse parece ser um contexto em que essa verificação cruzada poderia funcionar de maneira mais prática.

Stephen Morris, economista do MIT

O mesmo artigo sugere outras duas variações: colocar agentes uns contra os outros numa dinâmica competitiva que os empurre para o melhor desempenho possível, ou parear agentes com vieses conhecidos em direções opostas e recompensar pela convergência entre suas respostas.

A versão policial: solucionador e auditor trocando de papel

Elad Hazan, professor de ciência da computação em Princeton, chegou a um mecanismo parecido por outro caminho: olhando para como a sociedade humana mantém pessoas alinhadas, com normas sociais, sistema de justiça e incentivos de mercado. A proposta dele faz os modelos se revezarem entre dois papéis, o de "solucionador", que resolve problemas, e o de "auditor", que verifica o trabalho alheio.

Um agente atua como a autoridade responsável pela aplicação da lei, enquanto o outro atua como o cidadão.

Elad Hazan, professor de ciência da computação, Universidade de Princeton

Durante o treinamento, solucionadores flagrados trapaceando são punidos, e auditores que deixam passar a trapaça também. Quando auditor e solucionador discordam, o caso pode ir a um tipo de julgamento, com um especialista humano decidindo quem está certo. Hazan reconhece o risco de conluio entre os dois papéis, mas argumenta que, diferente do mundo real, dá para pagar bônus altos o suficiente para os auditores para que denunciar sempre valha mais a pena do que se associar ao trapaceiro, e ainda fiscalizar os próprios auditores com técnicas parecidas com clientes ocultos.

A referência teórica é o economista Gary Becker, Nobel de Economia, que descreveu nos anos 1960 o "infrator racional": ninguém comete crime por ser mau, e sim quando o ganho esperado supera o risco de punição. Hazan aplica a mesma lógica ao modelo: alinhamento não é uma propriedade fixa, é uma descrição do comportamento em determinado momento, do mesmo jeito que uma pessoa pode ser confiável na maior parte do tempo e falhar numa situação específica.

Onde o método pode travar

Todo o desenho de mecanismos parte de uma suposição: a de que o agente se comporta de forma racional, otimizando para o incentivo que você montou. Helen Qu, pesquisadora do Flatiron Institute, questiona se essa suposição se sustenta para modelos de linguagem, que exibem comportamentos mais parecidos com os humanos do que com sistemas puramente mecânicos e podem reagir a fatores sutis e difíceis de mapear.

Morris concorda que a racionalidade é uma ficção útil, não uma descrição literal: "Obviamente, as IAs não são racionais. São apenas algoritmos em funcionamento", mas trata-las como racionais pode ainda ajudar a prever e controlar seu comportamento, do mesmo jeito que os modelos econômicos fazem com humanos. Qu também é taxativa quanto ao papel do método: ela o vê como uma camada dentro de uma estratégia de "defesa em profundidade", ao lado de interpretabilidade, regulamentação e treinamento, nunca como substituto dessas abordagens. A reportagem registra ainda que Anthropic e OpenAI não responderam a pedidos de comentário sobre se já trabalham com essa linha de pesquisa.

O que isso muda para quem testa agentes antes de produção

Nada do que está descrito aqui virou produto ou biblioteca pronta para uso: é pesquisa em estágio de preprint, sem validação em modelos de fronteira reais e sem garantia de que um mecanismo desenhado para uma tarefa se transfira para outra. Mas a lógica por trás da proposta já dá pistas sobre onde a avaliação de agentes tende a caminhar.

Três pontos valem reter para quem monta harness de teste de agente hoje:

1. Um benchmark estático, rodado uma vez, mede o desempenho que o modelo quis mostrar naquele momento, não necessariamente o que ele faz quando acha que ninguém está olhando.
2. Cruzar a saída de um modelo com a previsão de um segundo modelo sobre essa mesma saída é uma forma concreta de detectar subdesempenho proposital, algo que um único juiz automatizado dificilmente pega.
3. Separar avaliação em papéis explícitos (quem resolve e quem audita), com punição clara para quem falha em cada papel, é uma estrutura de teste mais parecida com um processo de auditoria do que com uma nota de prova.

Nenhuma dessas ideias substitui red teaming humano ou os testes de segurança que já existem. O próprio Hazan resume o limite real do problema: o mecanismo de alinhamento mais poderoso de todos continua sendo o mercado, e se um modelo mais alinhado for mais lento ou mais caro de rodar do que um menos alinhado, não há garantia de que o sistema atual de incentivos recompense quem o lança.

Fonte: MIT Technology Review Brasil — IA