Por que o maior risco da IA na medicina não é ela errar, mas o médico parar de conferir

Um estudo com quase 1.500 atendimentos mostra que o problema não é a taxa de acerto do algoritmo. É o médico que para de conferir quando a ferramenta acerta quase sempre.

Vou direto ao ponto, porque é médico lendo isso: o problema da inteligência artificial no seu consultório não é ela errar. É você parar de checar o que ela escreve.

Essa é a minha posição depois de ler um estudo publicado na Nature Health que acompanhou 1.469 atendimentos em 16 clínicas de atenção primária no Quênia, todas usando um modelo de linguagem integrado ao prontuário eletrônico. O artigo circulou recentemente comentado pelo médico Marcelo Mearim, cofundador da Sofya, no Medicina S/A, e os números dele merecem parar na sua tela por mais de cinco segundos.

O estudo que não é sobre o erro da IA, é sobre o nosso

Em 99% dos atendimentos, as recomendações do sistema estavam de acordo com as diretrizes clínicas locais. As chamadas alucinações, quando o modelo inventa informação sem fundamento, apareceram em apenas 3,4% dos casos. Isoladamente, é um desempenho que qualquer um assinaria embaixo.

O problema aparece no outro lado da tabela. Recomendações potencialmente danosas foram identificadas em 7,8% dos atendimentos. Em 67 casos, elas chegaram à documentação final do paciente, ou seja, viraram prontuário de verdade, não rascunho descartado. E o dado que eu considero o mais grave: em 62% dos atendimentos, o profissional de saúde não modificou o conteúdo produzido pela IA.

Repare na matemática. A IA erra pouco. O médico corrige menos ainda. A distância entre essas duas taxas é o espaço onde o dano acontece.

Não existe erro de sistema abstrato, existe paciente

Uma recomendação inadequada no prontuário não é uma estatística. Pode ser um exame que deixou de ser pedido, uma interação medicamentosa que ninguém olhou de novo, uma conduta terapêutica que ficou errada porque a ferramenta escreveu bonito e o profissional confiou. O risco da IA na saúde não está só na capacidade de errar. Está na capacidade de errar de um jeito convincente o suficiente para passar batido.

Isso muda a pergunta que a categoria médica deveria estar fazendo. Não é “essa ferramenta acerta?”. É “em que situação ela vai falhar, quem vai perceber e quando”.

A pergunta da Anthropic não é a sua, mas aponta para o mesmo buraco

Em entrevista recente à CNN, Dario Amodei, CEO da Anthropic, foi questionado se realmente acreditava que a inteligência artificial pudesse matar todos os seres humanos.

Nota da redação: a fonte consultada registra a pergunta feita a Amodei, mas não informa se a resposta dele foi ou não divulgada publicamente. A frase original do artigo sobre isso era uma inferência nossa, não confirmada pela fonte, por isso foi retirada. O leitor deve considerar que não há confirmação, pela fonte usada, sobre o conteúdo ou a divulgação da resposta específica de Amodei a essa pergunta.

Amodei vem defendendo publicamente mais cautela na indústria, citando a perda de controle sobre modelos cada vez mais autônomos como uma das preocupações centrais do setor.

É um debate de outra escala, movido por quem constrói os modelos mais avançados do planeta. Mas ele revela algo que também vale para o seu consultório: a capacidade da IA evolui rápido, e a nossa capacidade de avaliar os limites dela não acompanha o ritmo. Se os próprios criadores da tecnologia pedem mais controle, a saúde, onde o erro tem nome e CPF, deveria exigir ainda mais.

O que eu delegaria à IA e o que eu nunca delegaria

Minha posição é clara e ela separa dois tipos de tarefa:

• Delego sem culpa: organização de histórico, resumo de evolução clínica para eu ler mais rápido, lembrete de retorno, triagem de mensagens de paciente no WhatsApp antes de chegarem a mim, rascunho de laudo que eu reviso frase por frase antes de assinar.
• Nunca delego: a decisão clínica em si. O diagnóstico final. A escolha da conduta. A validação de uma interação medicamentosa. Isso é ato médico, e ato médico se assina com nome e CRM, não com log de IA.

O estudo do Quênia mostra exatamente onde essa linha se rompe: a IA ficou no espaço que deveria ser só da máquina (organizar, sugerir) e avançou, sem ninguém notar, para o espaço que é só do médico (decidir).

A responsabilidade é de quem assina o prontuário, não do modelo

O Código de Ética Médica foi escrito antes de qualquer modelo de linguagem entrar em consultório, mas o princípio dele já resolve boa parte dessa discussão: a responsabilidade pelo ato médico é sempre do profissional, nunca do instrumento que ele usa para chegar lá. Um estetoscópio que falha não assina atestado. Uma IA que erra também não.

Isso tem uma consequência prática imediata para a LGPD. Dado de saúde é dado sensível, e alimentar um modelo com prontuário inteiro, sem anonimização e sem base legal clara, é risco que corre em paralelo ao risco clínico. Dois problemas, duas camadas, a mesma raiz: usar a ferramenta sem entender onde ela pode e onde não pode pisar.

O contra-argumento mais forte, e por que ele não resolve o problema

O ponto mais forte contra a minha posição é simples: se a taxa de acerto é de 99%, e humanos também erram (e erram mais do que gostaríamos de admitir), por que tratar a IA com mais desconfiança do que tratamos um colega?

A resposta é que não é sobre desconfiar da IA. É sobre a mudança de comportamento que uma ferramenta muito boa provoca em quem a usa. Quando uma tecnologia acerta quase sempre, a tendência humana é relaxar a conferência. É psicologia básica de automação, documentada em outras áreas de risco (aviação, por exemplo) muito antes da IA generativa existir. O erro da máquina não some. Ele só fica mais raro e mais bem escondido, exatamente onde a vigilância humana enfraqueceu.

O que muda no seu consultório a partir de amanhã

Três mudanças de prática que dá para adotar sem nenhum investimento em tecnologia nova:

1. Toda sugestão de IA no prontuário leva uma marca de revisão humana explícita, mesmo quando você concorda com ela. Não assine automático.
2. Audite por amostragem: separe um dia por semana para reler, sem pressa, atendimentos em que a IA participou, procurando especificamente o que você não teria tempo de notar no corre do plantão.
3. Pergunte ao fornecedor da ferramenta que você usa: ela mostra o contexto usado para chegar à recomendação? Permite auditoria? Se a resposta for não, você está operando às cegas, e isso vale tanto quanto a taxa de acerto anunciada.

A corrida da IA na saúde não deveria ser só por modelos mais inteligentes. Deveria ser por sistemas que saibam dizer quando não sabem, e por médicos que não abram mão de ler a última linha antes de assinar.

Fonte: Medicina S/A