O problema da IA na saúde não é confiança, é quem responde pelo erro

O problema da IA na saúde não é confiança, é quem responde pelo erro

Nota da redação: a seção "O que a ética da sua profissão já deixa claro" afirma que os códigos de ética de medicina, enfermagem e psicologia já estabelecem que a responsabilidade pelo ato profissional permanece do profissional, qualquer que seja o recurso técnico usado. Essa afirmação não foi localizada na fonte usada para o restante do artigo (Medicina S/A) nem em outra fonte verificável apresentada. O conteúdo é consistente com princípios gerais conhecidos de regulamentação profissional nessas áreas, mas o leitor deve considerar essa seção como não verificada pontualmente contra uma fonte específica antes de tomar decisões baseadas nela.

Um estudo com 223 médicos e enfermeiros mostra que confiar na recomendação certa da IA ajuda, mas confiar na errada atrapalha do mesmo jeito. Discurso de confiança não resolve isso: regra escrita sobre quem verifica e quem responde, sim.

Discordo de quem resume o debate sobre IA na saúde a uma pergunta de fé: você confia ou não confia na ferramenta? Essa pergunta é confortável, mas é a pergunta errada. A que importa é outra: quando a recomendação está errada, quem detecta, quem questiona e quem responde pelo que aconteceu depois?

O vigésimo primeiro acerto que não é acerto

Imagine um sistema de apoio diagnóstico que acertou as últimas vinte recomendações que você conferiu. Na vigésima primeira, ele erra, com a mesma rapidez e a mesma segurança de sempre. Quanto tempo você levaria para desconfiar?

Essa pergunta deixou de ser hipotética. Um estudo publicado em 2026 no International Journal of Medical Informatics acompanhou 223 médicos e profissionais de enfermagem em uma tarefa diagnóstica simulada, totalizando 1.338 decisões tomadas com apoio de recomendações de IA. O resultado tem duas pontas. Quando a recomendação da IA estava correta, a chance de o profissional acertar a decisão aumentava bastante. Quando a recomendação estava errada, o efeito se invertia e a acurácia da decisão humana caía.

Isso muda a pergunta que gestor de clínica, hospital ou consultório deveria fazer antes de contratar qualquer ferramenta de IA clínica. Não basta perguntar se ela melhora a decisão em média. É preciso perguntar o que acontece com o julgamento do profissional nos casos em que ela erra, porque esses casos vão existir, por melhor que seja o sistema.

Confiar demais tem nome, e a OMS já alertou sobre ele

Esse fenômeno de aceitar a recomendação automatizada sem verificar tem um nome na literatura: viés de automação. A Organização Mundial da Saúde já chamou atenção para esse risco especificamente em aplicações de IA generativa em saúde, destacando que esses sistemas podem levar profissionais a ignorar erros ou a delegar à tecnologia decisões que deveriam permanecer sob julgamento humano.

O problema oposto também existe e custa caro. Desconfiar sistematicamente de uma ferramenta que, naquela tarefa específica, tem bom desempenho gera retrabalho, duplicação de esforço e resistência que trava a adoção sem necessidade. Nem confiança alta nem desconfiança alta são o objetivo. O objetivo é o nível de confiança corresponder ao desempenho real daquela ferramenta, naquela tarefa, naquele paciente.

Para o médico que usa IA para triagem de exame de imagem, isso significa saber em que tipo de achado o sistema foi validado e em qual ele ainda erra mais. Para o enfermeiro que usa IA para priorizar pacientes na triagem, significa saber se o modelo foi testado na população que está na sua fila. Para o psicólogo que usa IA para organizar anotações de sessão, significa lembrar que a ferramenta não tem contexto clínico nem histórico vincular algum, só o texto que você digitou.

Explicar a recomendação não a torna confiável

Existe uma crença difundida de que, se a IA explicar o raciocínio por trás de uma recomendação, o profissional vai conseguir confiar melhor nela. Uma revisão sistemática publicada em 2024 sobre IA explicável e confiança de profissionais de saúde encontrou um quadro mais incerto do que essa crença sugere. Entre os dez estudos analisados, cinco mostraram aumento de confiança com a explicação, três não encontraram efeito significativo e dois mostraram que a explicação podia aumentar ou reduzir a confiança, dependendo da qualidade e da coerência dela.

Os próprios autores da revisão fazem um ponto que considero central: aumentar a confiança não é desejável quando a recomendação pode estar errada. Uma explicação convincente pode tornar uma recomendação errada mais difícil de questionar, não mais fácil. Interface bem feita e texto bem escrito fazem parte da experiência de uso, e a experiência de uso também decide se alguém vai parar para verificar ou não.

O que a ética da sua profissão já deixa claro

Aqui está o ponto que considero o mais esquecido nesse debate: a regra de responsabilidade já existe, só não costuma ser lida como regra de IA. Os códigos de ética de medicina, enfermagem e psicologia já estabelecem, cada um à sua maneira, que a responsabilidade pelo ato profissional permanece do profissional, qualquer que seja o recurso técnico usado para chegar até ele.

Nenhuma dessas normas foi escrita pensando em modelo de linguagem. Mas todas dizem a mesma coisa de formas diferentes: a ferramenta não assina o laudo, não assina a prescrição, não assina o plano terapêutico. Quem assina é você. Isso já é regra de responsabilidade, só falta aplicá-la à IA com a mesma seriedade com que se aplica a qualquer outro instrumento de apoio.

O dado do paciente que alimenta ou recebe a recomendação da IA é, na prática, um dado sensível de saúde, e isso tem uma implicação prática direta. Prontuário, laudo, anotação de sessão e histórico clínico não entram em ferramenta de IA genérica sem contrato de tratamento de dados e sem saber onde aquele texto fica armazenado depois. Ferramenta de uso administrativo, como agenda e lembrete de retorno, não tem essa exigência na mesma intensidade, porque normalmente não carrega dado clínico identificável.

Quatro perguntas antes de deixar a IA decidir por você

A resposta a tudo isso não é criar uma cultura de suspeita contra a ferramenta, nem revisar cada saída com o mesmo rigor. É proporcional ao risco. Eu testaria quatro perguntas antes de qualquer adoção de IA clínica:

• Em que tarefa e em que população esse sistema foi validado? Se a validação não cobre o seu paciente típico, a confiança precisa ser menor ali, mesmo que o desempenho médio divulgado seja alto.
• O que fazemos quando discordamos da recomendação? Se a resposta é "ninguém documenta", a organização está perdendo a informação mais valiosa que a IA gera: onde ela erra.
• Quem verifica o quê, e quando escalar? Decisão de baixo risco (lembrete de agenda, triagem administrativa) pode seguir direto. Decisão de alto risco (conduta diagnóstica, prescrição, encaminhamento de caso em crise) precisa de checagem definida antes, não decidida no calor da consulta.
• Essa recomendação envolve dado sensível do paciente? Se sim, o fluxo de dados e o contrato com o fornecedor da ferramenta precisam estar resolvidos antes de o primeiro prontuário entrar ali.

O contra-argumento que não dá para ignorar

A objeção mais forte a tudo isso é o tempo. Consulta de quinze minutos, fila de triagem, agenda lotada: exigir checagem formal de cada recomendação de IA parece anular o ganho de produtividade que a ferramenta prometia resolver. Esse argumento é real e eu não vou fingir que não é.

Mas a resposta não é checar tudo com o mesmo rigor, é decidir com antecedência onde o rigor é obrigatório e onde não é. Um estudo quase experimental de 2024, com apenas 20 médicos, tentou treinar a calibração de confiança com suporte diagnóstico por IA e não achou diferença estatisticamente significativa na acurácia entre os grupos, a amostra era pequena demais para isso. Mas dentro da própria análise, quem tinha melhor calibração de confiança também tinha melhor acurácia diagnóstica.

Isso sugere que calibrar confiança é uma competência que se desenvolve, não uma regra que se decora, e competência não se constrói no meio da correria da consulta. Ela se constrói antes, no desenho do processo e no treinamento da equipe.

Minha posição

Eu não acredito que o próximo avanço da IA na saúde vai vir de modelo mais preciso. Vai vir de clínica, hospital e consultório que escrevem, antes de adotar qualquer ferramenta, onde a verificação é obrigatória, quem responde quando ela falha e onde o dado do paciente pode e não pode circular. Sem isso, confiança vira sorte. Com isso, confiança vira governança.

Fonte: Medicina S/A