Pesquisa identifica falhas no uso de chatbots de IA para orientação médica

Ferramentas de inteligência artificial baseadas em linguagem, cada vez mais populares, vêm sendo usadas por pessoas comuns para tirar dúvidas sobre sintomas, diagnósticos e condutas médicas. No entanto, um estudo recente levanta um alerta importante: bons resultados em testes teóricos não garantem segurança no uso real. Quando colocados frente a usuários humanos, esses sistemas podem induzir a erros clínicos relevantes.

A pesquisa foi conduzida por equipes do Oxford Internet Institute e do Nuffield Department of Primary Care Health Sciences, em colaboração com outras instituições internacionais. O trabalho avaliou, em escala inédita, a confiabilidade de grandes modelos de linguagem como assistentes médicos para o público geral.

Conhecimento médico não se traduz em boas decisões

Embora esses sistemas demonstrem alto desempenho em provas padronizadas de conhecimento clínico, o estudo mostrou que isso não se reflete em interações humanas reais. Em um ensaio randomizado com quase 1.300 participantes, pessoas foram convidadas a avaliar cenários médicos simulados e decidir a melhor conduta, como procurar um clínico geral ou atendimento de emergência.

Os resultados foram claros: usuários que recorreram aos chatbots não tomaram decisões melhores do que aqueles que usaram métodos tradicionais, como buscas online ou julgamento próprio. Em alguns casos, as orientações recebidas chegaram a confundir mais do que ajudar.

Falhas críticas na interação entre humanos e IA

A análise identificou três problemas centrais que ajudam a explicar o risco do uso desses sistemas em saúde:

• Usuários não sabem quais informações clínicas são essenciais fornecer
• Respostas variam significativamente com pequenas mudanças na pergunta
• Orientações misturam dados corretos e incorretos, dificultando a tomada de decisão

Essas falhas são particularmente preocupantes em situações que exigem reconhecimento rápido de gravidade, onde atrasos ou decisões erradas podem trazer consequências sérias.

Outro achado relevante é que os métodos atuais de avaliação de IA não capturam a complexidade do uso no mundo real. Assim como medicamentos passam por ensaios clínicos antes de aprovação, os pesquisadores defendem que sistemas de IA voltados à saúde também precisam ser testados com usuários reais, diversos e em contextos de risco.

Modelos que apresentaram desempenho sólido em benchmarks falharam ao lidar com dúvidas humanas reais, mostrando uma lacuna perigosa entre teoria e prática.

Impacto para pacientes e sistemas de saúde

Os resultados reforçam que chatbots não devem substituir profissionais de saúde nem ser usados como principal fonte de orientação médica. Embora possam ter utilidade limitada em educação ou triagem preliminar, seu uso sem supervisão adequada pode levar a diagnósticos incorretos e atraso no atendimento urgente.

O estudo foi descrito no artigo “Reliability of LLMs as medical assistants for the general public: a preregistered randomized study”, publicado na revista Nature Medicine, com autoria principal de Andrew M. Bean, em 9 de fevereiro de 2026 (DOI: 10.1038/s41591-025-04074-y).