Desenvolvedoras de detectores de IA afirmam que programas não são 100% confiáveis

Após o sucesso do ChatGPT, lançado em 2022 pela OpenAI, o uso da ferramenta de inteligência artificial e variantes começou a ser implementado em espaços acadêmicos e profissionais. Essa integração começou a gerar preocupações, pois ainda não haviam formas de diferenciar o texto humano do artificial. Com isso, surgiram diversas plataformas que detectam o uso de IA em trabalhos escritos. Entretanto, os desenvolvedores das plataformas destacam que os sistemas são imperfeitos e ainda estão em aprimoramento.

O R7 entrou em contato com o suporte de quatro programas (OpenAI, Compilatio, GPTzero e ZeroGPT) para saber qual é o posicionamento a respeito dos detectores.

A OpenAI declara que detectores de IA não funcionam. A empresa criou um detector próprio e conduziu um estudo para localizar as deficiências da ferramenta. Os pesquisadores submeteram à análise uma peça de Shakespeare e a Declaração da Independência dos Estados Unidos, e o programa identificou que os textos não eram 100% autorais. A instituição concluiu que as plataformas, por vezes, confundem produções humanas e artificiais.

A Compilatio afirma que a plataforma possui uma precisão de 94%, porém, ressalta que, na prática, alguns documentos podem ser perfeitamente analisados e outros, não. A empresa deixa claro que nenhum detector de IA pode ser 100% confiável e que a plataforma oferece indicações de suspeitas no texto, mas que cabe ao examinador interpretar e validar a informação.

O GPTZero não informa uma taxa de exatidão, mas afirma que a plataforma está em atualização. O programa ZeroGPT, que analisou mais de 10 milhões de textos para desenvolver seu algoritmo, divulga uma taxa de precisão de 98%. A plataforma não apresenta posicionamento sobre a confiabilidade atribuída aos detectores.

Uma pesquisa divulgada pelo MIT Technology Review testou a capacidade de 14 programas, incluindo o GPTZero e Compilatio. Os pesquisadores submeteram textos escritos por IA, mas que sofreram modificações humanas, como tradução e paráfrases. Como resultado, a precisão da análise diminuía a partir das modificações feitas.

O professor e advogado de direito digital e inteligência artificial Lucas Karam afirma que não é possível confiar inteiramente nesses sistemas, pois eles possuem limitações ligadas ao banco de dados.

“Esses modelos são treinados em grandes volumes de dados para identificar características típicas de textos gerados por IA. No entanto, a precisão desses sistemas pode variar dependendo da qualidade dos dados de treinamento e da complexidade dos textos analisados”, afirma.

*Sob supervisão de Fausto Carneiro