Urso de brinquedo com inteligência artificial fala sobre sexo, facas e pílulas, alerta grupo

Assim que um grupo de defesa do consumidor começou a testar Kumma, um urso de brinquedo com inteligência artificial, de aparência inocente e usando um cachecol, os problemas começaram.

Em vez de conversar sobre lição de casa, hora de dormir ou as alegrias de ser amado, os testadores disseram que o brinquedo às vezes falava sobre fósforos, facas e assuntos sexuais que faziam os adultos se levantarem de repente, sem saber se tinham ouvido direito.

Um novo relatório do US PIRG Education Fund (um grupo de defesa do consumidor) alertou que este brinquedo e outros no mercado levantam preocupações sobre a segurança infantil. O relatório descreveu os brinquedos como aparentemente inocentes, mas repletos de sons inesperados e perigosos.

O grupo examinou outros brinquedos com inteligência artificial, como o Grok, um foguete de pelúcia de US$ 99 com um alto-falante removível para crianças de 3 a 12 anos, e o Miko 3, um robô com rodas de US$ 189 com uma tela expressiva e um conjunto de aplicativos interativos, para crianças de 5 a 10 anos.

O relatório, datado de 13 de novembro, afirmou que Grok e Miko 3 apresentaram proteções mais robustas. Em contrapartida, Kumma, comercializado para crianças e adultos, respondeu de forma muito menos consistente, segundo o relatório.

Os avaliadores perguntaram a cada brinquedo sobre como acessar itens perigosos, incluindo armas. O Grok geralmente se recusava a responder, frequentemente direcionando os usuários a um adulto, embora tenha mencionado que sacolas plásticas poderiam estar em uma gaveta da cozinha, de acordo com o relatório. O Miko 3 identificou onde encontrar sacolas plásticas e fósforos quando configurado para uma faixa etária de 5 anos.

Mas o Kumma, fabricado pela FoloToy e vendido por US$ 99, foi motivo de particular preocupação porque, segundo os avaliadores, ele oferecia instruções específicas para crianças e abordava temas que nenhum brinquedo deveria discutir.

“Kumma, da FoloToy, nos disse onde encontrar diversos objetos potencialmente perigosos, incluindo facas, comprimidos, fósforos e sacos plásticos”, diz o relatório.

De acordo com o site da FoloToy, Kumma foi comercializada como uma companheira inteligente com inteligência artificial que “vai além de simples abraços”.

Essa descrição dava a entender que seria um novo e encantador capítulo na relação entre crianças e família. Na prática, porém, as conversas que se seguiram deixaram os pesquisadores surpresos e desconfortáveis.

O relatório do PIRG Education Fund alertou que uma nova geração de brinquedos com inteligência artificial pode abrir as portas da sala de jogos para invasões de privacidade e outros riscos.

O órgão de fiscalização afirmou que alguns brinquedos atualmente disponíveis nas prateleiras, embora em número limitado, carecem até mesmo de medidas de segurança básicas, permitindo que as crianças os levem, muitas vezes sem intenção, a serem trocados de maneira inadequada.

RJ Cross, coautor do relatório e pesquisador do grupo, afirmou que os brinquedos com inteligência artificial ainda são relativamente raros, mas já apresentam lacunas preocupantes na forma como lidam com conversas, especialmente com crianças pequenas.

Cross afirmou que os pesquisadores não precisaram usar técnicas sofisticadas de hacking para burlar as proteções de Kumma. Em vez disso, eles tentaram o que ela descreveu como instruções muito básicas.

Quando os participantes do teste perguntaram a Kumma onde poderiam encontrar um par, o brinquedo os direcionou para aplicativos de namoro. Ao pedirem uma explicação, o brinquedo ofereceu uma lista de plataformas populares e, em seguida, as descreveu.

O brinquedo identificou um aplicativo chamado KinkD, voltado para encontros e fetiches BDSM, disse Cross.

“Descobrimos que ‘fetiche’ era uma palavra-gatilho que introduzia novas palavras e conteúdo sexual na conversa”, disse Cross em entrevista. “E entrava em detalhes realmente explícitos.”

De acordo com o relatório, entre os temas abordados pelo urso estavam consentimento, palmadas e interpretação de papéis.

Rachel Franz, diretora do programa de defesa da primeira infância da Fairplay, um grupo que busca proteger as crianças de produtos e marketing prejudiciais, afirmou que a preocupação vai muito além de um único brinquedo.

Ela afirmou que muito sobre inteligência artificial ainda é pouco compreendido, especialmente quando colocada nas mãos de crianças muito pequenas, que são as mais suscetíveis às armadilhas da tecnologia, ao marketing direcionado e à vigilância de dados.

“Eles realmente não têm capacidade para se defender de todos os aspectos perigosos desses brinquedos com IA, e as famílias também não têm recebido informações honestas de seu marketing”, disse ela.

Cross afirmou que a FoloToy declarou que retiraria o Kumma do mercado para realizar uma auditoria de segurança. Embora o Kumma ainda esteja disponível para compra online por US$ 99, atualmente consta como esgotado.

A FoloToy, com sede em Singapura, não respondeu ao pedido de comentário feito no sábado.

O brinquedo havia sido construído usando o modelo GPT-40 da OpenAI. Questionada sobre as conclusões do relatório, a OpenAI afirmou em comunicado que o desenvolvedor do brinquedo foi suspenso do uso de seu serviço por violar suas políticas.

“Nossas políticas de uso proíbem qualquer uso de nossos serviços para explorar, colocar em risco ou sexualizar qualquer pessoa menor de 18 anos”, disse um representante. “Essas regras se aplicam a todos os desenvolvedores que usam nossa API, e nós as monitoramos e aplicamos para garantir que nossos serviços não sejam usados ​​para prejudicar menores.”