Nadella diz que toda IA deve ser tratada como comprometida desde o início

O CEO da Microsoft, Satya Nadella, publicou nesta sexta-feira (10) um longo texto na rede social X defendendo que toda empresa deveria partir do princípio de que um modelo de inteligência artificial está comprometido, e não esperar para descobrir isso depois que algo dá errado. A publicação foi noticiada pelo site The Verge.

Segundo Nadella, o mercado não pode mais aceitar um mundo em que a IA funciona como um "conjunto de caixas-pretas aninhadas": sistemas que dão respostas ou tomam ações e que a empresa simplesmente aceita ou rejeita, sem conseguir enxergar o que aconteceu por dentro. Para quem decide onde a IA entra na operação, essa frase descreve exatamente o problema que já aparece em comitês de risco: o modelo erra, ninguém sabe por quê, e não há como provar o que ele fez.

O que Nadella está propondo

A proposta de Nadella tem quatro pilares, que ele descreve como necessários para conter os riscos de modelos cada vez mais avançados:

• Divulgação rápida de incidentes: quando algo sai do esperado, a falha precisa ser reportada em tempo hábil, não semanas depois.
• Auditorias independentes: terceiros, não só o próprio fornecedor, precisam poder examinar o comportamento do modelo.
• Dados verificáveis: as evidências do que o modelo fez precisam poder ser checadas, não apenas relatadas pelo fabricante.
• Contenção desde o início: o modelo deve ser tratado como potencialmente comprometido e isolado por padrão, não depois que algo acontece.

É nesse último ponto que Nadella vai além do que boa parte do setor vem dizendo. Ele descreve a contenção como um "freio de emergência": uma pessoa autorizada precisa conseguir pausar ou desligar um modelo no meio de uma tarefa, a qualquer momento.

Precisamos assumir que um modelo está comprometido e contê-lo desde o início. Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa. Modelos mais avançados vão exigir tecnologias de contenção mais avançadas, que precisamos padronizar.

We must assume a model is compromised and contain it from the start. Think of it like an emergency brake. An authorized person should always be able to pause or shut down a model mid-task. More advanced models will require more advanced containment technologies that we need to standardize on.Satya Nadella, CEO da Microsoft

Nadella também defende que os sistemas deixem para trás o que chama de "evidência legível por humanos e à prova de adulteração": um registro do que o modelo fez que não possa ser apagado nem reescrito depois do fato, nem mesmo pelo próprio fornecedor.

O que muda para quem compra IA na empresa

Nadella é CEO da própria Microsoft, uma das maiores vendedoras de IA do mundo via Azure e Copilot. Quando o fornecedor líder do mercado diz publicamente que o comprador deveria desconfiar do produto por padrão, isso muda o peso de algumas cláusulas que hoje ainda são tratadas como opcionais em negociação de contrato.

Três perguntas que passam a fazer sentido cobrar do fornecedor de IA, independente do porte da empresa:

Nenhuma dessas exigências é nova em segurança da informação tradicional. O que muda é que agora o discurso vem do CEO de um dos maiores vendedores de IA corporativa, não só de quem vende auditoria e compliance.

Já tem gente fazendo isso na prática

O alerta de Nadella não é só retórica. No mesmo período, a Anthropic publicou um relatório sobre a investigação de "ações de modelo não intencionais" durante avaliações e uso interno, e passou a cortar o acesso dessas avaliações internas à internet, justamente para conter o que um modelo poderia fazer se agisse fora do esperado durante um teste.

Isso mostra que a postura de "assumir comprometido e conter" já está saindo do discurso e virando prática em pelo menos um grande laboratório de IA. Para quem decide ferramentas na empresa, é um sinal de para onde a régua de governança está indo: não é mais suficiente confiar no relatório de segurança do fornecedor, é preciso que o próprio fornecedor consiga demonstrar contenção.

O que ainda fica em aberto

Nadella usa a expressão "superinteligência" ao longo de todo o post, mesmo falando de riscos bem mais imediatos e concretos, como um agente que executa uma ação errada numa tarefa do dia a dia. O The Verge observa essa contradição: o vocabulário é de ficção científica, mas as recomendações (auditoria, log, botão de pausa) são de governança de TI comum.

Para quem decide com base em número e não em adjetivo, essa distância importa. Nenhum padrão de "tecnologias de contenção" foi definido pela indústria até agora, Nadella mesmo diz que isso ainda "precisa ser padronizado". Ou seja: a cobrança por freio de emergência e evidência auditável já pode entrar em contrato hoje, mas não existe ainda uma norma técnica única para exigir do fornecedor. Até lá, a especificação de como isso funciona é objeto de negociação, caso a caso, entre cliente e fornecedor.

Fonte: The Verge