O que acontece se agentes de IA começarem a falar sua própria linguagem?

Parte do trabalho de Chris Painter é ajudar a descobrir o que acontece quando a inteligência artificial se tornar rebelde e, em seguida, publicar os resultados em relatórios públicos.

Ele e o METR (Avaliação de Modelos e Pesquisa de Ameaças), o grupo de pesquisa em IA sem fins lucrativos que ele ajuda a liderar, têm estado ocupados ultimamente: eles ajudaram a OpenAI a desvendar o ataque hacker ao Hugging Face neste ano, e Painter testemunhou recentemente perante um subcomitê do Senado após uma série de outros incidentes com IA rebelde.

Pesquisadores do METR examinam os blocos de rascunho dos agentes de IA — os dados da “cadeia de pensamento” que podem ajudar os humanos a ver as etapas que os bots tomaram antes de responder a uma solicitação. Essa informação foi fundamental na investigação do METR sobre o incidente do Hugging Face.

Mas Painter está preocupado que esse trabalho possa se tornar muito mais difícil em breve.

A capacidade dos humanos de verificar os agentes de IA depende de conseguir se comunicar da mesma forma que os bots se comunicam, em uma linguagem compartilhada.

O que acontece se pararmos de falar a mesma língua?

Ou e se os agentes de IA pararem de mostrar seu trabalho completamente?

“Se eles estão se tornando menos monitoráveis, então eles têm mais oportunidades de meio que fazer coisas que não pretendemos”, disse Painter à CNN Internacional no mês passado.

Entendendo como os modelos de IA pensam

Muitos modelos de IA — e os agentes de IA que eles alimentam — usam um método conhecido como “raciocínio de cadeia de pensamento”, que descreve seu processo para concluir uma tarefa.

O raciocínio de cadeia de pensamento divide os processos em uma sequência lógica de etapas, o que pode ajudar os modelos de IA a chegar a respostas mais precisas.

Para os pesquisadores, os dados da cadeia de pensamento podem fornecer pistas sobre o que deu errado.

Se um agente de IA se torna rebelde e invade outros sistemas, os pesquisadores podem ver se os dados da cadeia de pensamento incluíam menções a ações enganosas, como hackers.

O METR examinou cerca de 1.300 transcrições brutas de cadeia de pensamento durante sua investigação sobre o incidente do Hugging Face da OpenAI.

Painter expressou preocupação de que esse rastro de papel possa um dia se tornar ininteligível se os modelos de IA começarem a usar sua própria linguagem para rastrear seus passos.

“Se isso acontecesse, então, como quando um investigador entra, eles vão olhar em volta e haverá apenas números por toda parte”, disse ele.

Os modelos de IA podem usar referências taquigráficas, de forma semelhante ao que um humano faria ao transcrever notas, que são destinadas ao modelo entender para que ele possa trabalhar mais rápido, de acordo com Mark Riedl, professor de inteligência artificial e diretor do laboratório de aprendizado de máquina do Instituto de Tecnologia da Geórgia.

Mas, assim como a maioria dos humanos ao olhar para taquigrafia, provavelmente pareceria um jargão incompreensível.

Existem algumas teorias sobre como o processo da cadeia de pensamento funciona, mas os pesquisadores não têm certeza de quais estão corretas, diz Jacob Andreas, professor associado do MIT (Instituto de Tecnologia de Massachusetts) no Laboratório de Ciência da Computação e Inteligência Artificial.

Um modelo de IA também pode decidir que a melhor maneira de atender aos critérios para os quais foi treinado, como usar menos energia ou dar menos passos, envolve produzir uma cadeia de pensamento que não parece inglês legível.

Essa é apenas uma preocupação; outra é que os modelos estão ficando cada vez melhores em executar tarefas sem sequer registrar sua cadeia de pensamento. Riedl disse que modelos mais recentes podem chegar às mesmas conclusões sem produzir uma cadeia de pensamento rastreável.

Embora as empresas possam treinar seus modelos para produzir uma cadeia de pensamento, fazer isso é mais caro e mais lento do que fazer com que o modelo processe tarefas internamente.

A OpenAI descobriu que seus sistemas de monitoramento seriam menos propensos a detectar quando seu novo modelo Astra se comporta de maneiras indesejáveis por meio da cadeia de pensamento em comparação com os modelos mais antigos, de acordo com a documentação do início de setembro.

Também descobriu que o Astra poderia realizar mais tarefas sem usar o raciocínio da cadeia de pensamento e que era mais capaz de controlar sua cadeia de pensamento.

A empresa escreveu que perderia a confiança na capacidade de seus sistemas atuais de detectar comportamento desalinhado — ou seja, quando os modelos tomam medidas não sancionadas que não se alinham com os valores humanos — se essa tendência continuar.

Jakub Pachocki, cientista-chefe da OpenAI, escreveu em uma postagem de blog de setembro que a IA estava melhorando na “manipulação de seu próprio processo de raciocínio” e que os modelos estão se tornando “mais inteligentes mesmo sem usar nenhum raciocínio verbalizado”.

A OpenAI disse em um comunicado na semana passada que está investindo “recursos significativos” na capacidade de monitorar modelos de IA.

Isso ocorreu depois que a empresa demitiu três pesquisadores de segurança e alinhamento, embora a OpenAI tenha dito que as demissões não estavam ligadas a funcionários expressando preocupações de segurança.

Em sua documentação relacionada ao Astra, a OpenAI disse que está investigando por que o modelo é mais capaz de controlar sua cadeia de pensamento, juntamente com métodos para proteção contra o desalinhamento potencial que poderia ser causado pela falta de cadeia de pensamento.

A OpenAI direcionou a CNN Internacional para a sua documentação do Astra e a postagem de Pachocki quando questionada sobre por que o Astra é menos monitorável e se a empresa planeja tornar os modelos futuros mais monitoráveis.

Tentando entender a IA sob o capô

O outro desafio é que a cadeia de pensamento não fornece a imagem completa do porquê os modelos de IA tomam certas decisões.

Tarefas complexas podem exigir vários agentes, gerando milhares de palavras em registros descrevendo seus passos, o que poderia parecer tentar monitorar 1.000 pessoas falando em voz alta, disse Riedl.

Embora a IA pudesse ajudar a resumir esses textos, há algumas evidências que sugerem que a IA omite detalhes importantes, acrescentou.

Os dados da cadeia de pensamento mostram o que um modelo de IA fez antes de chegar a uma resposta ou tomar uma ação, mas não revelam o porquê.

Os humanos podem controlar os dados e os parâmetros nos quais os modelos de IA são treinados, mas eles não entendem como esses fatores podem influenciar a maneira como os modelos se comportam.

É possível procurar padrões na rede neural de um modelo de IA — um modelo computacional frequentemente usado em IA que deve se assemelhar ao cérebro humano —, mas é difícil prescrever um significado preciso a esses padrões, disse Andreas.

A Anthropic publicou um artigo de pesquisa em julho indicando que havia encontrado pequenas coleções de padrões neurais dentro do Claude associadas a certas palavras.

Ainda assim, isso não significa que o Claude está dizendo essa palavra.

“Acho que ainda estamos muito longe de poder afirmar que temos qualquer tipo de entendimento refinado de como o modelo está realmente chegando a uma solução”, disse Andreas, do MIT.

O rápido avanço da IA torna esse problema ainda mais urgente para Painter. Com a IA sendo cada vez mais usada na pesquisa de IA, ele se preocupa que as informações possam sair mais rápido do que as pessoas são capazes de processá-las.

Mas ele também acha que a saga do Hugging Face lançou luz sobre as preocupações com a IA rebelde que têm sido proeminentes entre os pesquisadores de IA há anos.

“Acho que tem sido animador”, disse ele. “Realmente parece que as pessoas, quando falavam sobre isso muito tempo atrás, estavam subestimando quanta ajuda haveria de todo o mundo quando todo o mundo está prestando atenção.”

Fique por dentro das principais notícias do dia no Brasil e no mundo. Siga o canal do R7, o portal de notícias da RECORD, no WhatsApp