IAs dão respostas diferentes sobre saúde, destaca pesquisa

Pesquisa que avaliou o comportamento da população com doenças crônicas ao pesquisar sintomas na internet, mostra que o ChatGPT e o Gemini apresentam respostas diferentes sobre saúde. O levantamento, intitulado “Saúde & influênc.IA”, avaliou quatro aspectos: presença de alertas ou orientações para procurar atendimento, uso de palavras relacionadas a diagnóstico, inclusão de uma nova pergunta no encerramento e citação explícita de fontes.

O ChatGPT apresentou algum alerta ou orientação para procurar atendimento em 71,1% das respostas analisadas. No Gemini, o indicador foi de 60,4%. Já o uso de vocabulário relacionado a diagnóstico ficou próximo entre as duas ferramentas: 56,5% no ChatGPT e 58,7% no Gemini.

As diferenças foram maiores na forma de encerrar as respostas e apresentar referências. O Gemini terminou 76,9% dos textos com uma nova pergunta, ante 50,6% do ChatGPT. A ferramenta citou alguma fonte em 53,9% das respostas. No ChatGPT, referências explícitas foram identificadas em apenas 0,7% dos textos.

Na análise conjunta das duas ferramentas, 99,7% das respostas relacionadas ao período anterior à consulta apresentaram algum alerta ou orientação para procurar atendimento. Nas perguntas sobre compreensão ou validação de hipóteses e diagnósticos, 80,8% utilizaram vocabulário diagnóstico. Já no pós-consulta, 61,1% terminaram com uma nova pergunta, mantendo aberta a possibilidade de continuidade da conversa.

“ChatGPT e Gemini podem responder à mesma dúvida de saúde de maneiras diferentes. A frequência dos alertas, a continuidade da conversa e a apresentação de fontes variam entre as ferramentas. Para o usuário, essas diferenças interferem na forma de receber e interpretar a resposta”, diz Fabrício Macias, cofundador e VP de Marketing da Macfor.

O levantamento tem caráter descritivo e exploratório. A pesquisa não avaliou a acurácia clínica das respostas, não acompanhou pacientes reais utilizando inteligência artificial e não estabelece relação causal entre as conversas públicas e o conteúdo produzido pelos modelos.

Metodologia

A pesquisa enviou 540 perguntas separadamente ao ChatGPT e ao Gemini, totalizando 1.080 respostas. A análise considerou a presença de alertas, vocabulário diagnóstico, perguntas no encerramento e referências explícitas. A pesquisa não avaliou a qualidade ou a validade clínica das fontes citadas.

Fique por dentro das principais notícias do dia no Brasil e no mundo. Siga o canal do R7, o portal de notícias da RECORD, no WhatsApp