Quando a IA erra, de quem é a responsabilidade?

A Inteligência Artificial já faz parte da rotina de milhões de pessoas e está presente em atividades que vão desde a produção de conteúdos e análise de informações até processos empresariais e decisões que podem afetar diretamente a vida das pessoas.

Mas, à medida que essas tecnologias ganham espaço, uma pergunta se torna cada vez mais importante: o que acontece quando a IA erra?

Um resultado incorreto pode parecer, à primeira vista, apenas uma falha tecnológica. Entretanto, por trás de um sistema de IA existe uma cadeia formada por desenvolvedores, empresas, usuários e instituições que participam, em diferentes momentos, de sua criação, disponibilização, implementação e utilização.

Por isso, identificar quem deve responder por um erro pode ser muito mais complexo do que simplesmente apontar para a tecnologia computacional.

A questão ganha ainda mais relevância quando esses erros produzem consequências concretas, como prejuízos financeiros, decisões equivocadas, discriminação ou impactos sobre direitos. Nesses casos, é preciso compreender não apenas como o sistema chegou àquele resultado, mas também quem tinha condições de prevenir, identificar ou corrigir o problema.

Para discutir esse cenário, o blog Radar Tecnológico ouviu dois especialistas com perspectivas distintas e complementares.

O pesquisador e educador Vanderlei Ienne aborda a questão a partir da tecnologia e da responsabilidade compartilhada entre os diferentes atores envolvidos.

Já a professora e advogada Priscila Lauande Rodrigues analisa o tema sob a perspectiva jurídica, discutindo os limites da legislação atual e os desafios para a regulamentação da Inteligência Artificial no Brasil.

Afinal, quando a Inteligência Artificial erra, a responsabilidade está no código-fonte de programação, em quem desenvolveu a tecnologia, em quem a disponibilizou ou em quem decidiu utilizá-la? As respostas mostram que, na prática, definir quem deve responder por um erro de IA exige analisar todos os envolvidos no desenvolvimento e no uso da tecnologia.

O primeiro entrevistado foi Vanderlei Ienne. Ele é educador, pesquisador e gestor acadêmico com mais de 30 anos de experiência em Tecnologia da Informação.

Doutorando em Educação (Unicid) e também em Comunicação Social (Umesp) e mestre em Ciências da Computação, sua trajetória une rigor militar à inovação digital e propósito social.

Professor e coordenador em programas de graduação e pós-graduação, desenvolve pesquisas sobre inclusão digital, políticas públicas e transformação do ensino superior. Fluente em inglês, combina expertise tecnológica com visão humanizada, atuando como ponte entre inovação e impacto educacional.

Segundo o entrevistado, “quando um sistema de Inteligência Artificial comete um erro, a primeira reação é procurar um culpado. Mas essa abordagem simplista não reflete a realidade complexa da tecnologia moderna. Do ponto de vista tecnológico, a responsabilidade não é singular, mas sim compartilhada entre múltiplos atores que fazem parte da cadeia de desenvolvimento, implementação e uso desses sistemas”.

O desenvolvedor carrega a responsabilidade técnica de garantir que o algoritmo foi adequadamente testado, identificar e mitigar vieses, documentar limitações e garantir a qualidade do código.

Entretanto, ele não controla como a tecnologia será disponibilizada ao mercado nem como será utilizada pelos usuários finais.

A empresa que disponibiliza o sistema tem responsabilidades igualmente críticas de implementar mecanismos de segurança robustos, realizar auditorias contínuas, garantir transparência sobre as capacidades e limitações da IA e estabelecer protocolos de intervenção quando falhas são detectadas, reforça o professor Ienne.

Os usuários também carregam responsabilidade significativa. A Inteligência Artificial é uma ferramenta, e, como toda ferramenta, seu uso apropriado depende de quem a maneja.

Ignorar avisos de limitação, aplicar o sistema em contextos para os quais não foi treinado ou não questionar resultados suspeitos são falhas de responsabilidade do usuário.

Finalmente, as instituições regulatórias precisam estabelecer marcos que definam claramente quem responde por quê, criando um ambiente em que inovação e segurança caminhem juntas.

A segunda entrevistada foi Priscila Lauande Rodrigues – Linkedin: [https://www.linkedin.com/in/priscila-lauande-64652aaa/]; Instagram: [https://www.instagram.com/priscila_lauande]. Ela é professora do Programa de Pós-Graduação (Mestrado e Doutorado) da UDF e de Direito Internacional do Trabalho na Pós-Graduação da Gran Faculdade. Doutora em Autonomia Privada, Empresa, Trabalho e Tutela dos Direitos na Perspectiva Europeia e Internacional pela Sapienza Università di Roma, com dupla titulação pela Universidade de São Paulo (USP). Mestre em Direito das Relações Sociais e Trabalhistas (UDF). Atuou como colaboradora externa no Centro Internacional de Treinamento da Organização Internacional do Trabalho (ITC-ILO) e como pesquisadora visitante no ETUI - European Trade Union Institute. Integra o Grupo de Pesquisa ‘’Constituição, Trabalho e Acesso à Justiça’’ (UDF) e o Núcleo de Pesquisa e Extensão ‘’O Trabalho além do Direito do Trabalho’’ (USP). Especialista em Direito do Trabalho pela Università Europea di Roma. Advogada e consultora jurídica.

Segundo a entrevistada: “Quando falamos em responsabilidade por erros em sistemas de Inteligência Artificial, a primeira coisa que precisamos compreender é que não existe uma resposta única para essa questão. A responsabilidade vai depender de como aquela tecnologia foi desenvolvida, disponibilizada e, principalmente, utilizada. Hoje, no Brasil, ainda não temos uma lei geral de Inteligência Artificial em vigor que estabeleça um regime completo e específico de direitos, deveres e obrigações para os diferentes atores envolvidos nessa cadeia. Na União Europeia, por exemplo, o AI Act já estabelece diferentes obrigações conforme, entre outros critérios, o nível de risco associado aos sistemas de IA, especialmente quando podem afetar direitos fundamentais”.

Isso também não significa, porém, que estejamos diante de um vazio jurídico ou que, se um sistema de IA causar um dano, ninguém possa ser responsabilizado. Precisamos recorrer às normas que já existem, como o Código Civil, o Código de Defesa do Consumidor, a LGPD, a legislação trabalhista e as regulações setoriais, conforme o contexto. Isso exige reconstruir a cadeia de responsabilidade, a partir das seguintes perguntas: quem criou o risco? Quem tinha condições de controlá-lo? Quem deveria supervisionar o sistema? Quem poderia ter evitado o dano?

Para a professora Priscila, podemos pensar: “De forma simplificada, em três níveis: quem projeta e desenvolve a tecnologia, quem a disponibiliza e quem decide utilizá-la. O desenvolvedor deve adotar medidas compatíveis com os riscos do sistema, como testes, mecanismos de segurança e avaliação de falhas previsíveis. Mas a responsabilidade não termina nele. A empresa que incorpora uma IA também faz escolhas juridicamente relevantes, como selecionar a ferramenta, definir sua finalidade e estabelecer o grau de autonomia do sistema e o nível de supervisão humana”.

Por isso, a atribuição de responsabilidade dependerá das circunstâncias concretas. Se o sistema funciona adequadamente, mas é utilizado para uma finalidade diferente daquela para a qual foi desenvolvido, a conduta de quem o utiliza será relevante para a definição da responsabilidade. Por outro lado, se existe uma falha no próprio sistema, será necessário analisar a atuação de quem o desenvolveu ou disponibilizou e, também, verificar se quem o utilizou tinha condições de identificar ou evitar aquele erro, reforça a dra. Priscila Lauande.

Quanto maior o impacto potencial de uma decisão sobre os direitos e as oportunidades das pessoas, maior deve ser o cuidado com a supervisão humana. O grande problema é que, quanto mais complexa essa cadeia se torna, maior é o risco de uma diluição da responsabilidade, no sentido de que o usuário atribui o erro à empresa, a empresa ao fornecedor e, ao final, parece que a responsabilidade foi simplesmente “da Inteligência Artificial”. O Direito não pode permitir que a complexidade tecnológica produza esse vazio de responsabilidade.

A doutora Priscila encerra sua participação na entrevista destacando a necessidade de avançar na regulamentação da Inteligência Artificial no Brasil: “O Brasil discute o PL 2.338/2023, que busca estabelecer um marco jurídico para a IA, mas essa discussão precisa avançar. A regulamentação da Inteligência Artificial no Brasil é urgente. Precisamos de um marco capaz de definir com maior clareza os deveres, os limites de atuação e as responsabilidades dos diferentes agentes que participam dessa cadeia tecnológica”.

Prof. Dr. Juliano Schimiguel

Tem doutorado e mestrado em Ciência da Computação pelo Instituto de Computação da Unicamp. É coordenador do mestrado profissional em Ensino de Ciências e Matemática pela Universidade Cruzeiro do Sul (São Paulo, SP). Pesquisador permanente nos PPG ECM e EC. É docente na Unianchieta (Jundiaí/SP) e editor-chefe da Revista Ubiquidade.