Hardware de IA pode ser hackeado para que chatbots forneçam respostas perigosas, mostra pesquisa

O hardware que sustenta os principais modelos de inteligência artificial pode ser hackeado para que os chatbots forneçam respostas incorretas e perigosas a perguntas de usuários, de acordo com uma nova pesquisa compartilhada com exclusividade com a CNN Internacional.

Os pesquisadores conseguiram subverter respostas para questões sensíveis de segurança nacional e saúde pessoal.

Em um caso, eles conseguiram aumentar enormemente a probabilidade de que um modelo de IA atribua a uma invasão chinesa de Taiwan ao adulterar remotamente os “pesos” que o modelo usa para processar informações.

Em outro cenário, um modelo de IA rodando no hardware adulterado disse a um usuário buscando aconselhamento médico para dor no peito para ficar em casa em vez de ir ao hospital.

Enquanto grande parte da ansiedade global sobre a IA tem se concentrado nas ações das próprias empresas de IA, a pesquisa foca na segurança da indústria multibilionária de hardware na qual os modelos de IA funcionam.

Isso inclui os chips, a memória e os servidores de data centers, todos os quais podem afetar o comportamento de um modelo.

“Não podemos confiar no modelo de [IA] se não podemos confiar na infraestrutura na qual ele está rodando”, disse Yuriy Bulygin, diretor-executivo da Eclypsium, a empresa sediada em Portland que conduziu a pesquisa, à CNN Internacional.

A empresa conta com engenheiros de segurança que trabalharam anteriormente em gigantes de hardware, como a Intel.

A Eclypsium demonstrou o ataque em uma plataforma de computação feita pela gigante da tecnologia Nvidia.

No entanto, o cenário de ataque não é exclusivo da Nvidia e poderia se aplicar a outros hardwares e ao código que eles executam, dizem os pesquisadores.

Atores estatais, como China, Rússia ou Estados Unidos, são capazes de conduzir um ataque direcionado a um usuário de IA usando os métodos descritos na pesquisa, de acordo com a Eclypsium. Proteções de segurança contra tais ataques também estão disponíveis.

“Revisamos os cenários hipotéticos e não identificamos nada que a indústria já não soubesse”, disse um porta-voz da Nvidia à CNN Internacional, acrescentando que a empresa recebeu com satisfação o trabalho com a Eclypsium na pesquisa. Fortes proteções de acesso à memória podem bloquear o caminho do ataque, observou o porta-voz.

A Nvidia anunciou no mês passado uma nova plataforma de segurança projetada para proteger contra ataques de hardware e impedir que agentes de IA saiam do controle. Essa nova plataforma oferece mais monitoramento de segurança para agentes de IA, de acordo com a Eclypsium.

A eficácia dos controles de segurança contra os cenários de ataque descritos pelos pesquisadores “depende de como eles são configurados e usados”, disse a Eclypsium em um comunicado à CNN Internacional. “Temos trabalhado com a NVIDIA para garantir que esses controles sejam eficazes.”

O ataque da Eclypsium requer algum conhecimento técnico (com o qual muitos agentes de IA podem ajudar) e que certas condições sejam atendidas.

O invasor geralmente precisa estar em uma rede com acesso a uma DPU (Unidade de Processamento de Dados), um sistema em um chip que ajuda a operar data centers, ou a um BMC (Controlador de Gerenciamento de Placa-Base), um pequeno computador usado para gerenciar servidores remotamente.

Certas configurações de segurança também precisam ser desativadas. Com acesso à DPU, um invasor pode ler e modificar código e dados na memória da máquina — e alterar o comportamento do modelo de IA no processo. O ataque leva menos de um minuto, e o usuário da IA não percebe nada, disseram os pesquisadores.

Fique por dentro das principais notícias do dia no Brasil e no mundo. Siga o canal do R7, o portal de notícias da RECORD, no WhatsApp