Cresce o número de mensagens médicas escritas por IA, e especialistas estão preocupados

Todos os dias, pacientes enviam centenas de milhares de mensagens a médicos por intermédio do MyChart, aplicativo de comunicação presente em quase todos os hospitais dos Estados Unidos. Ao falar sobre suas dores e descrever os sintomas que estão experimentando – a textura das erupções cutâneas, a cor das fezes –, acreditam que existe um médico do outro lado da linha para lhes dar conselhos.

Contudo, cada vez mais, as respostas a essas mensagens não são escritas por um médico – pelo menos, não inteiramente. Cerca de 15 mil médicos e assistentes em mais de 150 sistemas de saúde dos Estados Unidos estão usando um novo recurso de inteligência artificial (IA) que existe no MyChart, uma ferramenta que os ajuda a redigir respostas a essas mensagens.

Muitos pacientes não têm ideia de que as respostas que recebem foram escritas com a ajuda da IA. Funcionários de vários sistemas de saúde entrevistados para esta matéria, que usam a ferramenta do MyChart, revelaram que não deixam claro que as mensagens contêm conteúdo gerado por IA.

Essa tendência preocupa alguns especialistas, porque se trata de mensagens que têm importância clínica, e os médicos talvez não estejam suficientemente vigilantes para detectar erros nas comunicações redigidas por IA que podem representar perigo para os pacientes.

O setor de saúde vem usando amplamente a IA para lidar com tarefas administrativas, como resumir anotações de consultas ou recorrer de recusas dos planos de saúde, mas os críticos temem que a ampla adoção da ferramenta contida no MyChart tenha permitido que a IA se intrometa na tomada de decisões clínicas e na relação médico-paciente.

A ferramenta já tem capacidade de ser instruída a escrever na “voz” de um médico em particular. Mas ela nem sempre redige respostas corretas. “Segundo o argumento de venda da ferramenta, o processo economiza tempo, e os médicos podem aproveitar esse tempo para conversar com os pacientes. Mas, mesmo nesse caso, estão tentando economizar tempo com conversas mediante IA generativa”, disse Athmeya Jayaram, pesquisadora do Centro Hastings, instituto de pesquisa em bioética em Garrison, Nova York.

Durante o pico da pandemia de covid-19, quando as consultas presenciais eram reservadas aos doentes graves, muitos pacientes lançaram mão das mensagens do MyChart para estabelecer uma linha de comunicação exclusiva e direta com seus médicos.

Passaram-se alguns anos até que os provedores de saúde percebessem que tinham um problema: mesmo depois que a maioria dos atendimentos médicos voltou ao normal, o sistema ainda estava inundado de mensagens de pacientes.

Médicos já sobrecarregados estavam passando os intervalos de almoço e as noites respondendo a mensagens. Os chefes de hospitais temiam que, se não encontrassem uma maneira de reduzir esse trabalho extra – em grande parte não remunerado –, as mensagens dos pacientes seriam mais um indutor do esgotamento dos médicos. Foi então que, no início de 2023, a Epic, gigante do software que desenvolveu o MyChart, ofereceu uma nova ferramenta que usa a IA para compor respostas. Alguns dos maiores centros médicos acadêmicos do país ficaram ansiosos para adotar a novidade.

Em vez de começar cada mensagem com uma tela em branco, o médico vê uma resposta gerada automaticamente acima da pergunta do paciente. A resposta é criada com uma versão do GPT-4 (a tecnologia por trás do ChatGPT) que está em conformidade com as leis de privacidade médica. A ferramenta do MyChart, chamada In Basket Art, extrai o contexto das mensagens anteriores do paciente e informações de seus registros médicos eletrônicos, como uma lista de medicamentos, e cria um rascunho de resposta que os médicos ou os assistentes podem aprovar ou alterar.

Os sistemas de saúde esperavam que, ao permitir que os médicos agissem mais como editores de texto, pudessem responder às mensagens dos pacientes mais rapidamente, gastando menos energia mental nesse processo.

De fato, isso foi parcialmente confirmado nos estudos iniciais. Descobriram que a Art diminuíra os sentimentos de esgotamento e sobrecarga cognitiva, mas não necessariamente economizara tempo.

Várias centenas de médicos do Centro Médico da Universidade da Califórnia em San Diego, mais de cem provedores de saúde do Hospital da Universidade do Wisconsin e todos os médicos licenciados nas práticas de atenção primária do Centro Médico de Stanford – incluindo médicos, enfermeiros e farmacêuticos – têm acesso à ferramenta de IA.

Dezenas de médicos da Universidade Northwestern de Ciências da Saúde, do Centro Médico Langone da Universidade de Nova York e do Centro Médico da Universidade da Carolina do Norte estão testando a Art, enquanto as lideranças consideram que logo surgirá uma expansão ainda maior da ferramenta.

Na ausência de regulamentações federais consistentes ou comportamentos éticos amplamente aceitos, cada sistema de saúde decide como testar a segurança da ferramenta e considera se deve ou não informar os pacientes sobre seu uso.

Alguns sistemas hospitalares, como o do Centro Médico da Universidade da Califórnia em San Diego, colocam uma informação na parte inferior de cada mensagem explicando que ela foi “gerada automaticamente” e revisada e editada por um médico. “Pessoalmente, não vejo nenhuma desvantagem em ser transparente”, disse o dr. Christopher Longhurst, diretor clínico e de inovação de sistemas de saúde.

Outros sistemas – incluindo o do Centro Médico de Stanford, do Hospital da Universidade do Wisconsin, do Centro Médico da Universidade da Carolina do Norte e do Centro Médico Langone da Universidade de Nova York – decidiram que notificar os pacientes seria mais negativo do que positivo.

Alguns administradores temem que os médicos possam ver a isenção de responsabilidade como uma desculpa para enviar mensagens aos pacientes sem os examinar adequadamente, afirmou o dr. Brian Patterson, diretor administrativo médico de IA clínica do Hospital da Universidade do Wisconsin.

E revelar aos pacientes que a mensagem tem conteúdo gerado por IA pode desvalorizar o aconselhamento clínico, mesmo que tenha sido endossado por um médico, observou o dr. Paul Testa, diretor de informações médicas do Centro Médico Langone da Universidade de Nova York.

Para Jayaram, a pesquisadora, revelar ou não o uso da ferramenta se resume a uma pergunta simples: o que os pacientes querem? Quando estes enviam uma mensagem sobre sua saúde, presumem que seus médicos levarão em consideração seu histórico, suas preferências de tratamento e sua dinâmica familiar – informações que só são obtidas a partir de relacionamentos de longa data. “Quando lê uma anotação médica, você a lê na voz do seu médico. Se um paciente souber que, de fato, a mensagem que está trocando com quem o está atendendo é gerada por IA, acho que vai ter razão em se sentir traído”, ela comentou.

Para muitos sistemas de saúde, criar um algoritmo que imite de forma convincente a “voz” de um médico em particular torna a ferramenta muito útil. De fato, a Epic começou a dar à ferramenta maior acesso a mensagens anteriores, para que seus rascunhos pudessem reproduzir o estilo de escrita individual de cada médico.

Brent Lamm, vice-diretor de informações do Centro Médico da Universidade da Carolina do Norte, disse que o fato gerou reclamações de muitos médicos: “Minha voz pessoal não está sendo ouvida.” Ou: “Conheço esse paciente há sete anos. Ele vai saber que não sou eu.”

Os administradores de assistência médica geralmente se referem à Art como uma ferramenta de IA cujo uso é de baixo risco, já que, idealmente, um provedor de saúde está sempre lendo os rascunhos e corrigindo possíveis erros.

A imitação incomoda os pesquisadores que estudam como os humanos reagem em relação à IA. Ken Holstein, professor do instituto de interação entre o ser humano e o computador da Carnegie Mellon, declarou que o proposto “vai contra cerca de 50 anos de pesquisa”. O ser humano tem uma tendência bem conhecida e documentada, chamada viés de automação, de aceitar as recomendações de um algoritmo, mesmo que isso contradiga a própria experiência, observou o professor. Esse viés pode fazer com que os médicos sejam menos críticos ao revisar rascunhos gerados por IA e permitir que erros perigosos prejudiquem os pacientes.

E a Art não é imune a erros. Um estudo recente descobriu que sete de 116 rascunhos gerados por IA continham as chamadas alucinações – as invenções que a tecnologia notoriamente cria.

O dr. Vinay Reddy, médico de família do Centro Médico da Universidade da Carolina do Norte, relembrou uma ocasião em que uma paciente enviou uma mensagem a um médico para verificar se ela precisava de uma vacina contra hepatite B. O rascunho gerado por IA assegurou à paciente que ela já havia tomado suas vacinas e fornecido as datas. Isso era completamente falso. Reddy explicou que esse fato ocorreu porque o modelo não tinha acesso aos registros de vacinação da paciente.

Um estudo pequeno, publicado no “The Lancet Digital Health”, descobriu que o GPT-4, o mesmo modelo de IA que fundamenta a ferramenta da Epic, cometeu erros perigosos ao responder a perguntas hipotéticas de pacientes. Os médicos que revisaram as respostas descobriram que os rascunhos, se não fossem editados, representariam risco de danos graves em cerca de sete por cento das consultas.

Além dos aspectos relativos à segurança e à transparência, alguns bioeticistas levantam uma questão mais profunda: é dessa forma que queremos usar a IA na medicina?

Ao contrário de muitas outras ferramentas de IA que se destinam à assistência médica, a Art não foi projetada para melhorar os resultados clínicos (embora um estudo tenha sugerido que as respostas podem ser mais empáticas e positivas) e não se destina a tarefas estritamente administrativas.

Em vez disso, a IA parece estar se intrometendo naqueles momentos muito particulares em que pacientes e médicos se comunicam pessoalmente. Esse é o tipo de momento que a tecnologia deveria permitir, disse Daniel Schiff, codiretor do Laboratório de Governança e IA Responsável da Universidade Purdue. “Mesmo que a tecnologia fosse perfeita, qual é a razão de automatizar um dos poucos momentos em que ainda estamos interagindo uns com os outros?”

c. 2024 The New York Times Company