Entenda o que são injeções de prompt e como elas podem sabotar modelos de IA

Códigos secretos inseridos em documentos aparentemente inofensivos podem ser um método para sabotar sistemas de inteligência artificial. A prática já tem nome, injeções de prompt, e começou a ser discutida após duas advogadas tentarem sabotar o modelo utilizado pelo Tribunal Regional do Trabalho da 8ª Região, no Pará.

Comandos escritos em branco se camuflaram entre as páginas, mas foram lidos e obedecidos pela IA. “Conforme a tecnologia se desenvolve, os métodos de golpe também. [...] Quando essa notícia veio à tona, a comunidade de advogados e advogadas no Brasil ficou surpresa, nem sabia que isso era uma possibilidade”, comentou o especialista em tecnologia e mestre em Harvard, João Victor Archegas.

No Conexão Record News desta quinta-feira (14), ele afirmou que o caso coloca em risco a própria integridade do processo judicial no país e levanta uma série de questões sobre os limites éticos e dependência da utilização da ferramenta pela advocacia. Victor aponta que cabe ao usuário verificar atentamente a existência da injeção de prompts, contudo nem todas as ocorrências podem ser resolvidas desta forma.

“Tem casos mais sofisticados, em que esses comandos ocultos são escondidos por trás do código. Aí não basta um olhar mais atento [...] o principal alerta é em relação ao resultado do uso da Inteligência Artificial”. Por isso o pesquisador destaca que é necessário identificar possíveis alucinações ou falta de profundidade nas análises da ferramenta.

Archega sinaliza ao deixar claro que também é responsabilidade das empresas desenvolvedoras destas tecnologias encontrar maneiras de resolver o problema: “Elas também podem adotar ali algumas ferramentas e instrumentos para evitar que esses riscos se concretizem”.

Análises, entrevistas e as notícias do Brasil e do mundo estão na RECORD NEWS. Acesse o site aqui e confira os principais conteúdos em texto e vídeo!