Pouco antes de ter sido morta pelo marido, um algoritmo disse à polícia que ela estaria segura

Em um apartamento pequeno nos arredores de Madri, em 11 de janeiro de 2022, uma discussão sobre tarefas domésticas se tornou violenta quando o marido de Lobna Hemid quebrou uma sapateira de madeira e usou um dos pedaços quebrados para bater nela. Seus gritos foram ouvidos pelos vizinhos. Os quatro filhos do casal, com idade entre seis e 12 anos, também estavam em casa.

Bouthaer el Banaisati, casado com Hemid havia mais de uma década, a esmurrava e chutava regularmente, ela disse mais tarde à polícia, cujo relatório também registrou que ele a chamava de “prostituta”, “nojenta” e “imprestável”.

Antes que Hemid deixasse a delegacia naquela noite, foi preciso que a polícia determinasse se ela corria o risco de ser atacada novamente e se necessitava de apoio. Um policial fez 35 perguntas de sim ou não – Foi usada uma arma? Há problemas financeiros? O agressor demonstrou comportamento controlador? – para alimentar um algoritmo chamado VioGén, que ajudaria a gerar uma resposta.

O VioGén ofereceu um resultado:

Risco Baixo

Lobna Hemid

Madri 2022

A polícia aceitou a decisão do software e Hemid foi para casa sem nenhuma proteção adicional. El Banaisati, preso naquela noite, foi libertado no dia seguinte. Sete semanas depois, esfaqueou Hemid várias vezes no peito e no abdômen antes de se matar. Ela morreu aos 32 anos.

A Espanha se tornou dependente de um algoritmo para combater a violência de gênero, e o software está tão integrado à aplicação da lei que é difícil saber onde terminam suas recomendações e onde começa a tomada de decisão humana. Na melhor das hipóteses, o sistema tem ajudado a polícia a proteger mulheres vulneráveis e, de modo geral, vem reduzindo o número de ataques recorrentes em casos de violência doméstica. Mas a dependência em relação ao VioGén também resultou em vítimas que são atacadas novamente devido a níveis de risco mal calculados – às vezes com consequências fatais.

Atualmente, há 92 mil casos ativos de vítimas de violência de gênero avaliados pelo VioGén na Espanha, sendo que a maioria delas, 83 por cento, foi classificada como tendo pouco risco de ser ferida novamente pelo agressor. No entanto, cerca de oito por cento das mulheres que o algoritmo considerou de risco insignificante e 14 por cento das consideradas de baixo risco relataram ter sido atacadas novamente, de acordo com o Ministério do Interior da Espanha, que supervisiona o sistema.

Além disso, dados do governo também mostram que pelo menos 247 mulheres foram mortas por seu parceiro atual ou antigo desde 2007, depois de terem sido avaliadas pelo VioGén. Embora essa seja uma pequena fração dos casos de violência de gênero, indica falhas do algoritmo. O “The New York Times” descobriu que, em uma revisão judicial de 98 desses homicídios, o VioGén considerou o risco de que o abuso se repetisse como baixo ou insignificante em 55 dos casos.

A polícia espanhola é treinada para ignorar as recomendações do VioGén, dependendo das provas, mas aceita as pontuações de risco em cerca de 95 por cento das vezes, segundo as autoridades. Os juízes também podem usar os resultados ao considerar pedidos de medidas protetivas e outras restrições.

“As mulheres estão ficando desprotegidas. De certa forma, o algoritmo exime a polícia de qualquer responsabilidade de avaliar a situação e de decidir as necessidades da vítima”, lamentou Susana Pavlou, diretora do Instituto Mediterrâneo de Estudos de Gênero, coautora de um relatório da União Europeia sobre o VioGén e outros esforços da polícia para combater a violência contra a mulher.

A Espanha é um exemplo de como os governos estão recorrendo a algoritmos para tomar decisões sociais, tendência global que deve se intensificar com o aumento da inteligência artificial (IA). Nos Estados Unidos, os algoritmos ajudam a determinar sentenças de prisão, definir patrulhas policiais e identificar crianças em risco de abuso. Nos Países Baixos e no Reino Unido, as autoridades fizeram experimentos com algoritmos para prever quem pode se tornar um criminoso e para identificar pessoas que podem estar cometendo fraudes na previdência social.

Poucos programas têm consequências tão fatais quanto o VioGén. Mas as vítimas entrevistadas pelo “Times” raramente sabiam qual o papel do algoritmo em seu caso. O governo também não divulga dados abrangentes sobre a eficácia do sistema e se recusa a disponibilizar o algoritmo para auditoria externa.

O VioGén foi criado para ser uma ferramenta imparcial destinada a ajudar uma força policial com recursos limitados a identificar e proteger mulheres que correm maior risco de ser agredidas repetidamente. O objetivo da tecnologia era criar eficácia, ajudando a polícia a priorizar os casos mais urgentes, ao mesmo tempo que se concentrava menos naqueles calculados pelo algoritmo como de menor risco. As vítimas classificadas como de maior risco receberiam mais proteção, incluindo patrulhas regulares em casa, acesso a um abrigo e monitoramento policial dos movimentos do agressor. Aquelas com pontuação mais baixa receberiam menos apoio.

Em um comunicado, o Ministério do Interior defendeu o VioGén e declarou que o governo é o “primeiro a fazer autocrítica” quando ocorrem erros. Alegou que o homicídio é tão raro que é difícil prevê-lo com precisão, mas acrescentou ser um “fato incontestável” que o VioGén ajudou a reduzir a violência contra a mulher.

Desde 2007, cerca de 0,03 por cento das 814 mil vítimas de violência de gênero registradas na Espanha foram mortas depois de serem avaliadas pelo VioGén, informou o ministério. Durante esse período, os ataques reincidentes caíram de 40 por cento para cerca de 15 por cento de todos os casos de violência de gênero, de acordo com dados governamentais. “Se não fosse por isso, teríamos mais homicídios e violência de gênero”, disse Juan José López Ossorio, psicólogo que ajudou a criar o VioGén e trabalha para o Ministério do Interior.

No entanto, as vítimas e seus familiares estão lidando com as consequências dos erros cometidos pelo sistema. “A tecnologia é boa, mas às vezes não funciona, e nesses casos é fatal. O computador não tem coração”, observou Jesús Melguizo, cunhado de Hemid, que agora é o responsável legal de dois dos filhos dela.

‘Eficaz, mas não perfeito’

O VioGén começou com uma pergunta: a polícia pode prever uma agressão antes que ela seja cometida?

Depois que a Espanha aprovou uma lei em 2004 para tratar da violência contra as mulheres, o governo reuniu especialistas em estatística, psicologia e outros campos para encontrar uma resposta. Seu objetivo era criar um modelo estatístico para identificar as mulheres com maior risco de abuso e traçar uma estratégia padronizada para protegê-las. “Seria um novo guia para avaliação de risco em violência de gênero”, disse Antonio Pueyo, professor de psicologia da Universidade de Barcelona, que posteriormente se juntou ao projeto.

A equipe adotou uma abordagem semelhante à forma como as seguradoras e os bancos preveem a probabilidade de eventos futuros, como incêndios residenciais ou oscilações cambiais. Estudando estatísticas nacionais de crimes, registros policiais e o trabalho de pesquisadores no Reino Unido e no Canadá, buscou indicadores que pareciam estar correlacionados com a violência de gênero. O uso abusivo de álcool e drogas, a perda do emprego e a incerteza econômica estavam no topo da lista.

Em seguida, foi elaborado um questionário para as vítimas, de modo que suas respostas pudessem ser comparadas com dados históricos. A polícia preencheria as respostas depois de entrevistar a vítima, analisar provas documentais, conversar com testemunhas e estudar outras informações de órgãos governamentais. Algumas perguntas tinham mais peso do que outras – por exemplo, se o agressor apresentava tendências suicidas ou sinais de ciúme.

Abaixo, algumas das perguntas a que as mulheres precisam responder:

6. Nos últimos seis meses, houve um aumento da agressão ou das ameaças?

Sim / Não / Não se aplica

26. O agressor já demonstrou algum comportamento típico de alguém viciado, ou de uso abusivo de alguma substância?

Sim / Não / Não se aplica

34. Nos últimos seis meses, a vítima expressou ao agressor sua intenção de romper o relacionamento?

Sim / Não / Não se aplica

O sistema emitia uma pontuação para cada vítima: risco insignificante, baixo risco, risco médio, alto risco ou risco extremo. Uma pontuação mais alta implicaria patrulhas policiais e o rastreamento dos movimentos do agressor. Em casos extremos, a polícia providenciaria vigilância 24 horas por dia. Casos com pontuações mais baixas receberiam menos recursos, basicamente telefonemas de acompanhamento.

Algoritmos preditivos para lidar com a violência doméstica têm sido usados em partes do Reino Unido, do Canadá, da Alemanha e dos Estados Unidos, mas não em escala nacional. Na Espanha, o Ministério do Interior introduziu o VioGén em todos os lugares, exceto na região da Catalunha e no País Basco.

No início, as autoridades policiais receberam o algoritmo com ceticismo, disseram ao “Times” policiais e funcionários do governo, mas logo o sistema se tornou parte do trabalho diário da polícia.

“Antes, as investigações eram baseadas na experiência do policial. Agora isso é organizado e orientado pelo VioGén”, disse Pueyo, que continua vinculado ao programa, acrescentando que este é uma fonte de informações imparciais. Se uma mulher atacada tarde da noite fosse vista por um jovem policial com pouca experiência, o VioGén poderia ajudar a detectar o risco de violência futura. “É mais eficiente.”

Com o passar dos anos, o VioGén foi aprimorado e atualizado, inclusive com métricas que, acredita-se, preveem melhor os homicídios. A polícia também é obrigada a fazer uma avaliação de risco até 90 dias depois de um ataque, como medida de monitoramento e qualidade.

Mas a confiança da Espanha no sistema surpreendeu alguns especialistas. De acordo com Juanjo Medina, pesquisador sênior da Universidade de Sevilha que estudou o VioGén, a eficácia do sistema ainda não está clara: “Não somos bons nem em prever o tempo, muito menos do comportamento humano.”

Francisco Javier Curto, comandante da polícia militar em Sevilha, comentou que o VioGén ajuda suas equipes a definir prioridades, mas exige uma supervisão rigorosa. Cerca de 20 novos casos de violência de gênero chegam diariamente, demandando investigação. Oferecer proteção policial a todas as vítimas seria impossível, considerando o contingente de pessoal e o orçamento. “O sistema é eficaz, mas não é perfeito. E o VioGén é o melhor que existe no mundo atualmente.”

José Iniesta, guarda-civil em Alicante, cidade portuária do sudeste espanhol, conta que não há policiais treinados em número suficiente para acompanhar o volume crescente de casos. Líder da Associação Unida de Guardas-Civis, sindicato que representa policiais em áreas rurais, ele disse que, fora das grandes cidades, a polícia muitas vezes precisa escolher entre enfrentar a violência contra as mulheres ou outros crimes.

O Sindicato Unificado de Polícia, que representa os policiais nacionais, declarou que nem mesmo a tecnologia mais eficaz é capaz de compensar a falta de especialistas treinados. Em alguns lugares, há apenas um policial para atender a mais de cem vítimas. “Em muitas províncias, os agentes estão sobrecarregados”, informou o sindicato em um comunicado.

Quando os ataques se repetem

É possível encontrar mulheres que foram mortas depois de serem avaliadas pelo VioGén em toda a Espanha.

Uma delas foi Stefany González Escarraman, jovem de 26 anos que morava perto de Sevilha. Em 2016, ela procurou a polícia depois que seu marido lhe deu um soco no rosto e a sufocou. Ele atirou objetos nela, inclusive uma concha de sopa que atingiu seu filho de três anos. Depois que a polícia entrevistou Escarraman por cerca de cinco horas, o VioGén determinou que ela corria um risco insignificante de sofrer novos abusos.

Risco Insignificante

Stefany González Escarraman

Sevilha 2016

No dia seguinte, Escarraman, com um olho roxo e inchado, foi ao tribunal para pedir uma medida protetiva contra o marido. Os juízes podem servir como um controle do sistema VioGén, com capacidade de intervir nos casos e fornecer dispositivos de proteção. No caso de Escarraman, o juiz negou a medida protetiva, citando a pontuação de risco do VioGén e a ausência de antecedentes criminais do marido.

Cerca de um mês depois, Escarraman foi esfaqueada no coração várias vezes pelo marido na frente dos filhos. Em 2020, sua família ganhou uma ação cível contra o Estado por não ter avaliado adequadamente o nível de risco e não ter fornecido a ela proteção suficiente. “Se ela tivesse recebido ajuda, talvez estivesse viva”, lamentou seu irmão, Williams Escarraman.

Em 2021, Eva Jaular, que morava em Liaño, no norte da Espanha, foi assassinada por seu ex-namorado depois de ser classificada como de baixo risco pelo VioGén. Ele também matou sua filha de 11 meses. Seis semanas antes, ele havia enfiado uma faca em uma almofada de sofá ao lado de onde Jaular estava sentada e disse: “veja como ela fura bem”, conforme relatório da polícia.

Risco Baixo

Eva Jaular

Liaño 2021

Desde 2007, 247 das 990 mulheres mortas na Espanha por um parceiro atual ou antigo foram previamente avaliadas pelo VioGén, de acordo com o Ministério do Interior. As outras vítimas não haviam sido registradas anteriormente na polícia e, portanto, não estavam no sistema. O ministério se recusou a divulgar as pontuações de risco do VioGén das 247 mulheres mortas.

Na falta desses dados oficiais, o “The New York Times” analisou relatórios de uma agência judicial espanhola, divulgados quase todos os anos de 2010 a 2022, que incluíam informações sobre as pontuações de risco de 98 mulheres que foram mortas posteriormente. Destas, 55 foram classificadas como de risco insignificante ou de baixo risco.

Em comunicado, o Ministério do Interior informou que a análise das pontuações de risco das vítimas de homicídio não fornece um quadro preciso da eficácia do VioGén porque alguns homicídios foram cometidos mais de um ano depois da primeira avaliação, enquanto outros foram perpetrados por um parceiro diferente.

A razão pela qual o algoritmo classifica incorretamente algumas mulheres varia e nem sempre é clara, mas um dos motivos pode ser a baixa qualidade das informações fornecidas ao sistema. O VioGén é ideal para casos em que uma mulher, nos momentos seguintes ao ataque, é capaz de fornecer informações completas a um policial experiente que tenha tempo para investigar completamente o incidente.

Isso nem sempre acontece. O medo, a vergonha, a dependência econômica, a situação de imigração e outros fatores podem levar a vítima a omitir informações. A polícia também costuma ter pouco tempo e pode não investigar por completo.

“Se já inserimos informações erradas no sistema, como podemos esperar que o sistema nos dê um bom resultado?”, disse Elisabeth, vítima que agora trabalha como advogada de violência de gênero. Ela se pronunciou sob a condição de que seu nome completo não fosse usado, por medo de retaliação por parte de seu ex-parceiro.

Luz, mulher de um vilarejo no sul da Espanha, contou que foi repetidamente rotulada como de baixo risco depois de ataques de seu parceiro porque tinha medo e vergonha de fornecer informações completas aos policiais, alguns dos quais conhecia pessoalmente. Sua pontuação foi elevada para de risco extremo somente depois de trabalhar com um advogado especializado em casos de violência de gênero, o que resultou em proteção policial 24 horas por dia.

Risco Extremo

Luz

Sul da Espanha 2019

“Nós, mulheres, mantemos muitas coisas em silêncio, não porque queiramos mentir, mas por medo. O VioGén seria bom se houvesse pessoas qualificadas que tivessem todas as ferramentas necessárias para aplicá-lo”, ressaltou Luz, que aceitou falar conosco sob a condição de que seu nome completo não fosse usado, por medo de retaliação por parte de seu agressor, que foi preso.

Grupos de vítimas afirmaram que psicólogos ou outros especialistas treinados deveriam conduzir o interrogatório das vítimas, e não a polícia. Alguns pediram que o governo determinasse que as vítimas pudessem ser acompanhadas por alguém de sua confiança para ajudar a garantir que todas as informações fossem fornecidas às autoridades, algo que atualmente não é permitido em todas as localidades.

“Não é fácil denunciar uma pessoa que você ama”, disse María, vítima de Granada, no sul da Espanha, que foi classificada como de risco médio depois que seu parceiro a atacou com um haltere. Ela pediu que seu nome completo não fosse publicado por medo de retaliação por parte dele.

Risco Médio

María

Granada 2023

De acordo com Ujué Agudo, pesquisadora espanhola que estuda a influência da IA nas decisões humanas, a tecnologia tem um papel na solução de problemas sociais. No entanto, pode reduzir a responsabilidade dos humanos à aprovação do trabalho de uma máquina, em vez de fazerem eles mesmos o trabalho necessário. “Se o sistema funcionar, é um sucesso do sistema. Se falhar, é um erro humano que não está sendo monitorado adequadamente. Uma abordagem melhor seria as pessoas poderem expressar sua decisão antes de ver o que a IA pensa”, disse Agudo, codiretora do Bikolabs, grupo da sociedade civil espanhola.

As autoridades espanholas estão avaliando a possibilidade de incorporar a IA ao VioGén, permitindo que o sistema colete dados de diferentes fontes e aprenda mais de forma autônoma. Ossorio, um dos criadores do VioGén que trabalha para o Ministério do Interior, afirmou que as ferramentas podem ser aplicadas em outras áreas, incluindo assédio no local de trabalho e crimes de ódio. E acrescentou que os sistemas nunca serão perfeitos, mas o julgamento humano também não. “Não importa o que façamos, sempre falharemos, porque estamos lidando com problemas insolúveis.”

Este mês, o governo espanhol convocou uma reunião de emergência depois que três mulheres foram mortas pelo ex-parceiro em um intervalo de 24 horas. Uma das vítimas, uma mulher de 30 anos da região central da Espanha, havia sido classificada pelo VioGén como de risco baixo. Em uma coletiva de imprensa, o ministro do Interior, Fernando Grande-Marlaska, declarou ainda ter “absoluta confiança” no sistema.

‘Sempre alegre’

Hemid, que foi morta nos arredores de Madri em 2022, nasceu na zona rural do Marrocos. Tinha 14 anos quando foi apresentada a el Banaisati em um casamento de família. Ele era dez anos mais velho que ela, que tinha 17 anos quando se casaram. Mais tarde, mudaram-se para a Espanha para que ele pudesse buscar um trabalho mais estável.

Amigos contaram que Hemid era extrovertida e sociável, muitas vezes vista correndo para levar os filhos à escola na hora certa. Aprendeu a falar espanhol e às vezes se juntava às crianças que jogavam futebol no parque. “Estava sempre alegre”, disse Amelia Franas, uma amiga cujos filhos estudavam na mesma escola que os filhos de Hemid.

Poucas pessoas sabiam que o abuso era uma constante no casamento de Hemid. Ela falava pouco sobre sua vida doméstica, segundo amigos, e nunca chamou a polícia ou denunciou el Banaisati antes do incidente de janeiro de 2022.

O VioGén tem o objetivo de identificar sinais de perigo que os humanos podem ignorar, mas, no caso de Hemid, parece que a polícia deixou passar alguns indícios. Seus vizinhos disseram ao “Times” que não foram entrevistados, nem os administradores da escola de seus filhos, que relataram ter visto sinais de problemas.

Membros da família disseram que el Banaisati tinha uma forma de câncer com risco de vida que tornava seu comportamento errático. Muitos culparam a discriminação inerente ao sistema criminal da Espanha, que ignora a violência contra mulheres imigrantes, especialmente muçulmanas.

A polícia não divulgou uma cópia da avaliação feita pelo VioGén que produziu a pontuação de baixo risco de Hemid. Uma cópia de um relatório policial diferente compartilhado com o “Times” observou que Hemid estava cansada durante o interrogatório e queria terminar a entrevista e voltar para casa.

Poucos dias depois da agressão de janeiro de 2022, Hemid obteve uma medida protetiva contra o marido. Mas familiares e amigos relatam que el Banaisati praticamente ignorou a medida. Ele se mudou para um apartamento a menos de 500 metros de onde Hemid morava e continuou a ameaçá-la.

Melguizo, cunhado de Hemid, contou que pediu ajuda ao defensor público designado para ela, mas que foi informado de que a polícia não faria nada, pois sua classificação de risco era baixa.

Um dia depois de ter sido morta a facadas, Hemid tinha uma audiência no tribunal para dar entrada oficialmente no pedido de divórcio.

c. 2024 The New York Times Company