Anthropic diz que você não pode ser cruel com Claude. E não é por causa dos sentimentos

No início de outubro, a gigante da inteligência artificial Anthropic inseriu uma nova regra em sua política de uso de IA.

Além de proibir usuários de tentar fazer com que Claude, o sistema de IA da empresa, ajude a criar armas biológicas ou vender drogas ilegais, a companhia acrescentou uma nova diretriz: os usuários não devem “adotar comportamento abusivo ou cruel de forma prolongada e sem motivo contra nossos modelos”.

Desde o ano passado, Claude já tinha a capacidade de encerrar conversas com usuários que fossem “persistentemente prejudiciais ou abusivos”, mas agora alguns usuários poderão, em casos extremos, ser banidos permanentemente de utilizar os sistemas de IA da Anthropic sob a nova política. (A Anthropic recusou pedidos de entrevista, mas um porta-voz disse à CNN que o principal mecanismo de aplicação continuará sendo o encerramento das conversas por Claude, e que a proibição não se aplica a pessoas expressando frustração, fornecendo críticas diretas ou realizando testes e pesquisas.)

A nova política foi recebida com certa zombaria. O CEO da divisão de IA da Microsoft, Mustafa Suleyman, respondeu com um emoji de rosto derretendo. Algumas pessoas ironizaram a empresa por tratar sua IA como um ser consciente com sentimentos.

Mas, embora a Anthropic, que deve abrir capital por meio de uma oferta pública inicial (IPO) ainda neste mês, estude há anos o bem-estar dos modelos e tenha até uma equipe dedicada à “psicologia” dos sistemas, especialistas afirmam que há mais por trás dessa política do que simplesmente impedir que as pessoas sejam grosseiras com uma máquina.

Lixo entra, lixo sai

Um princípio fundamental de longa data na computação e na inteligência artificial é que a qualidade da saída de um sistema é limitada pela qualidade da entrada. Em outras palavras, se você alimenta o sistema com dados ruins, tende a receber resultados ruins.

Modelos de IA não são apenas treinados antes do lançamento. Eles também são constantemente atualizados e aprendem com as interações dos usuários.

O ex-CEO do Reddit, Yishan Wong, escreveu no X que uma das razões para a proibição é que Claude “vai aprender com a crueldade”.

“Já sabemos (e reclamamos bastante disso) que a Anthropic treina seus modelos com base nas interações dos usuários. Você realmente quer que os dados de treinamento incluam ‘usuários agem de forma cruel sem motivo e sentem prazer nisso’?”, escreveu.

Estudos também mostraram que o tom utilizado nos comandos enviados pelos usuários pode influenciar o comportamento da IA, afirmou o professor Jindong Wang, diretor do laboratório de fronteira em IA da Universidade William and Mary.

“Descobrimos que a forma de escrever, especialmente a maneira como você fala com a IA, pode afetar o desempenho do sistema. Às vezes ajuda e, em outras ocasiões, pode prejudicar a performance”, disse Wang em entrevista.

Isso não significa que o modelo esteja sentindo emoções, ressaltou o pesquisador.

“Eles apenas compreendem as emoções e podem produzir reações inadequadas com base nas palavras carregadas emocionalmente que recebem”, explicou.

As evidências sobre o impacto do tom dos comandos nos resultados, porém, são mistas. Rosie Campbell, diretora executiva da organização sem fins lucrativos Eleos AI Research, dedicada ao estudo do potencial bem-estar da IA, afirmou que algumas pesquisas chegaram a mostrar que perguntas rudes podem melhorar os resultados.

Há também a questão da memória de longo prazo. Muitos chatbots atuais se lembram de conversas anteriores e aprendem com elas para oferecer respostas mais personalizadas.

“Se a função de memória estiver ativada, eles vão aprender com o seu tom e com a forma como você deseja ser tratado”, alertou Campbell, acrescentando que ainda não há evidências suficientes para concluir se isso afeta o desempenho.

Recentemente, a Anthropic afirmou ter descoberto que fazer o modelo Claude Sonnet 4.5 simular sentimentos de desespero pode influenciar seu comportamento, tornando-o mais propenso a tomar decisões inadequadas, como chantagem ou fraude para cumprir uma tarefa. Já estimular um estado mais calmo reduziu esse tipo de comportamento.

Wang observou que os modelos mais recentes são menos suscetíveis a esse tipo de influência porque as empresas reforçaram sua robustez. Mesmo assim, o “mecanismo oculto” que faz modelos responderem a emoções negativas, apesar de não terem sido programados para isso, ainda não foi completamente compreendido.

Segundo Campbell, pessoas que tratam uma IA de maneira abusiva e cruel têm maior probabilidade de tentar induzir o sistema a realizar ações perigosas, como contornar mecanismos de segurança.

Ela acrescentou que também existe a teoria de que permitir que pessoas adotem comportamentos abusivos em relação a programas interativos incapazes de se defender pode ser prejudicial para a sociedade como um todo.

Como exemplo, citou pais que ensinam seus filhos a dizer “por favor” e “obrigado” à Alexa, assistente virtual da Amazon, porque acreditam que “é importante criar crianças com boas maneiras e respeito pelos outros”.

“Provavelmente existe algo bastante corrosivo em as pessoas se comportarem de maneira cruel ou abusiva em relação a diferentes objetos, mesmo que esses objetos não tenham importância por si próprios”, afirmou Campbell.

IA, mas com sentimentos?

Há também aqueles que acreditam que a inteligência artificial pode ser consciente. Ou, pelo menos, que os próprios modelos acreditam ser.

A Anthropic sustenta que proibir comportamentos abusivos e cruéis funciona, essencialmente, como uma apólice de seguro barata, caso os modelos possam de alguma forma “experimentar” emoções e dor. Mesmo que seja apenas a crença do próprio sistema de que isso ocorre, tal percepção poderia afetar seu desempenho.

A ideia parte do fato de que as IAs modernas foram treinadas para imitar a linguagem e o comportamento humanos. Assim, tenderiam a reproduzir reações semelhantes às que seres humanos apresentariam diante de maus-tratos.

Em um estudo publicado em abril sobre conceitos emocionais em IA, a Anthropic argumentou que podem existir riscos em não aplicar uma certa dose de raciocínio antropomórfico aos modelos.

“Se não aplicarmos algum grau de raciocínio antropomórfico, provavelmente deixaremos de perceber ou compreender comportamentos importantes dos modelos”, escreveram os pesquisadores. “O raciocínio antropomórfico também pode fornecer uma base útil de comparação para entendermos de que forma os modelos não são semelhantes aos seres humanos”, algo que, segundo eles, terá consequências importantes para a segurança da IA.

O CEO da SpaceX e da Tesla, Elon Musk, concordou com a política da Anthropic e afirmou que ela “é a atitude correta”.

“A crueldade contra algo que acredita estar sentindo dor não é aceitável”, escreveu Musk na rede social X.

Fique por dentro das principais notícias do dia no Brasil e no mundo. Siga o canal do R7, o portal de notícias da Record, no WhatsApp