Quando o Google lançou seu aplicativo autônomo Fotos em maio de 2015, as pessoas ficaram impressionadas com o que conseguia fazer: analisar imagens para rotular as pessoas, os lugares e as coisas existentes nelas, oferta surpreendente para o consumidor na época. Mas, alguns meses depois do lançamento, um desenvolvedor de software, Jacky Alciné, descobriu que o Google havia rotulado fotos dele e de um amigo, ambos negros, como "gorilas", palavra que é particularmente ofensiva porque ecoa séculos de injúrias racistas.
Na polêmica que se seguiu, o Google impediu seu software de categorizar qualquer coisa no Fotos como gorila e prometeu corrigir o problema. Oito anos depois, com avanços significativos em inteligência artificial, testamos se o Google havia resolvido o problema e analisamos ferramentas comparáveis de seus concorrentes: Apple, Amazon e Microsoft.
Houve um membro da família dos primatas que o Google e a Apple foram capazes de reconhecer — o lêmure, o animal de cauda longa e aparência permanentemente assustada que, como o ser humano, conta com polegares opositores, mas é um parente mais distante que o macaco.
As ferramentas do Google e da Apple eram claramente as mais sofisticadas no quesito análise de imagens.
No entanto, o Google, cujo software Android sustenta a maioria dos smartphones do mundo, tomou a decisão de desativar a capacidade de pesquisa visual de primatas por medo de cometer um erro ofensivo e rotular uma pessoa como um animal. E parece que a Apple, com uma tecnologia que teve desempenho semelhante ao do Google em nosso teste, também desativou a capacidade de procurar macacos e símios.
Os consumidores podem não precisar fazer essa pesquisa com frequência – embora em 2019 um usuário do iPhone tenha reclamado no fórum de suporte ao cliente da Apple que o software "não consegue encontrar macacos nas fotos do meu dispositivo". Mas o problema levanta questões maiores sobre outras falhas não corrigidas, ou incorrigíveis, existentes em serviços que dependem de visão computacional – tecnologia que interpreta imagens visuais –, além de outros produtos alimentados por inteligência artificial (IA).
Alciné ficou consternado ao saber que o Google ainda não resolveu totalmente o problema e disse que a sociedade confia demais na tecnologia. "Vou continuar não ter fé nessa inteligência artificial."
Os produtos de visão computacional agora são usados para tarefas tão corriqueiras como enviar um alerta quando há um pacote à porta de casa e tão importantes como conduzir buscas em carros para encontrar pessoas procuradas em investigações policiais.
Os erros podem refletir atitudes racistas daqueles que codificam os dados. No incidente com o gorila, dois ex-funcionários do Google que trabalharam nessa tecnologia afirmaram que o problema foi que a empresa não havia colocado fotos suficientes de pessoas negras na coleção de imagens usada para treinar seu sistema de IA. Como resultado, a tecnologia não estava suficientemente familiarizada com pessoas de pele mais escura e as confundia com um gorila.
À medida que a IA se integra cada vez mais à nossa vida, gera o receio de haver consequências não intencionais. Embora os produtos de visão computacional e os chatbots de IA, como o ChatGPT, sejam diferentes, ambos dependem de grandes quantidades de dados que treinam o software, e ambos podem falhar por causa de imprecisões nos dados ou preconceitos incorporados a seu código.
Recentemente, a Microsoft limitou a capacidade dos usuários de interagir com um chatbot embutido em seu mecanismo de busca, o Bing, depois que este instigou conversas inapropriadas.
A decisão da Microsoft, assim como a escolha do Google de impedir completamente seu algoritmo de identificar gorilas, ilustra uma abordagem comum do setor – bloquear recursos tecnológicos que funcionam mal em vez de corrigi-los. "Resolver essas questões é importante. Como podemos confiar nesse software para outros cenários?", observou Vicente Ordóñez, professor da Universidade Rice que estuda visão computacional.
Michael Marconi, porta-voz do Google, afirmou que este impediu seu aplicativo de fotos de rotular qualquer coisa como macaco ou gorila porque decidiu que o benefício "não supera o risco de danos".
A Apple se recusou a comentar a incapacidade dos usuários de procurar a maioria dos primatas em seu aplicativo.
Representantes da Amazon e da Microsoft declararam que sua empresa está sempre buscando melhorar seus produtos.
Visão ruim
Quando o Google estava desenvolvendo seu aplicativo de fotos, coletou uma grande quantidade de imagens para que o sistema de IA identificasse pessoas, animais e objetos.
Seu descuido significativo — a ausência de fotos suficientes de pessoas negras em seus dados de treinamento — fez com que o aplicativo funcionasse mal posteriormente, disseram dois ex-funcionários do Google, acrescentando que a empresa não conseguiu resolver o problema do "gorila" na época porque não pediu a um número suficiente de funcionários que testasse o recurso antes de sua estreia pública.
Anos depois do erro do Google Fotos, a empresa encontrou um problema semelhante com sua câmera de segurança doméstica Nest durante testes internos, de acordo com uma pessoa familiarizada com o incidente que trabalhava no Google na época. A câmera Nest, que usava IA para determinar se alguém em uma propriedade era conhecido ou não, confundiu algumas pessoas negras com animais. O Google corrigiu rapidamente o problema antes que os usuários tivessem acesso ao produto, segundo essa pessoa.
No entanto, usuários do Nest continuam reclamando de outras falhas nos fóruns da empresa. Em 2021, um cliente recebeu alertas de que sua mãe estava tocando a campainha, quando na verdade era sua sogra. Quando os usuários reclamaram que o sistema estava misturando rostos que eles haviam marcado como "familiares", um representante de suporte ao cliente no fórum os aconselhou a excluir todos os rótulos e começar de novo.
A correção?
Embora o Google tenha trabalhado nos bastidores para melhorar a tecnologia, a empresa nunca permitiu que os usuários julgassem esses esforços.
Margaret Mitchell, pesquisadora e cofundadora do grupo Ethical AI do Google, que ingressou na empresa depois do incidente com o gorila e que colaborou com a equipe do Fotos, declarou em entrevista recente que é uma defensora da decisão do Google de remover "o rótulo de gorila, pelo menos durante algum tempo": "Você tem de pensar em quantas vezes alguém precisa rotular um gorila em vez de perpetuar estereótipos prejudiciais. Os benefícios não superam os danos potenciais de um erro. Esses sistemas nunca são infalíveis. Como bilhões de pessoas usam os serviços do Google, vão surgir até mesmo falhas raras que acontecem com apenas um usuário em um bilhão. Basta um erro para ter ramificações sociais massivas. É como uma agulha envenenada em um palheiro", garantiu Mitchell, que não trabalha mais no Google.
c. 2023 The New York Times Company