I.A. para prever gravidez na adolescência ou colonialismo digital em um sistema patriarcal por design?

Paz Peña e Joana Varon

Estudo de caso: Plataforma Tecnológica de Intervenção Social (Plataforma Tecnológica de Intervención Social)*/Projeto Horus – Argentina e Brasil

Digamos que você tenha acesso a um banco de dados com informações sobre 12.000 mulheres, de 10 a 19 anos de idade, que vivem em alguma província pobre da América do Sul. Os conjuntos de dados incluem idade, bairro, etnia, país de origem, nível de escolaridade da pessoa chefe da família, presença de deficiências físicas e mentais, número de pessoas que dividem a mesma casa e a disponibilidade ou não de água quente. Que conclusões você extrairia desse banco de dados? Ou, talvez, a pergunta devesse ser: É sequer desejável tirar qualquer conclusão? Às vezes, e infelizmente com frequência maior do que nunca, a simples possibilidade de extrair grandes quantidades de dados é uma desculpa boa o suficiente para “fazê-los falar” e, o pior de tudo, para que se tomem decisões com base nisso. O banco de dados descrito acima existe. E é usado por autoridades públicas, inicialmente no município de Salta, Argentina, em um piloto desde 2015, sob o nome de Plataforma Tecnológica de Intervenção Social (em espanhol: Plataforma Tecnológica de Intervención Social). Em tese, o objetivo do sistema era combater a evasão escolar e a gravidez na adolescência.

Quem o desenvolve?

O projeto começou em uma parceria entre o Ministério da Primeira Infância da Província de Salta, Argentina, e a Microsoft. O sistema é apresentado por um representante de ambos como uma ferramenta preditiva muito precisa, quase mágica: “Algoritmos inteligentes permitem identificar características nas pessoas que podem resultar em algum desses problemas e alertar o governo para trabalhar na sua prevenção” (tradução livre), diz o representante da Microsoft Azure, o sistema de aprendizado de máquina do programa. “Com tecnologia, baseando-se em nome, sobrenome e endereço, você consegue prever com cinco ou seis anos de antecedência qual menina, futura adolescente, está 86% predestinada a ter uma gravidez na adolescência” (tradução livre), declarou Juan Manuel Urtubey, político conservador e governador de Salta na época da implantação do piloto.

Auditorias do sistema e outras críticas

Ocorre que prever… e até predestinar alguém para a gravidez não é tão simples, nem para matemáticos, nem para adivinhos. Não por acaso, começaram a surgir críticas à Plataforma Tecnológica de Intervención Social. Alguns chamaram o sistema de uma mentira, uma inteligência que não pensa, uma alucinação e um risco para os dados pessoais sensíveis de mulheres e crianças pobres. Uma análise técnica muito completa foi publicada pelo Laboratorio de Inteligencia Artificial Aplicada (LIAA) da Universidade de Buenos Aires. Segundo o LIAA, que analisou a metodologia postada no GitHub pelo engenheiro da Microsoft, os resultados foram falsamente superdimensionados devido a erros estatísticos na metodologia; o banco de dados é tendencioso; ele não leva em consideração as sensibilidades de relatar uma gravidez indesejada e, portanto, os dados coletados são inadequados para se fazer qualquer previsão futura e é provável que inclua mais gravidezes de um determinado segmento da sociedade que de outros, estigmatizando os pobres. Segundo Luciana Ferrer, pesquisadora do LIAA:

“Se você presumir que as pessoas que responderam às pesquisas disseram a verdade quanto a estar grávida antes ou no momento da pesquisa, é provável que nossos dados sejam imprecisos. Em um tema tão delicado como a gravidez na adolescência, seria razoável supor que muitas adolescentes não se sintam seguras para dizer a verdade, sobretudo se tiverem feito ou desejem fazer um aborto (na Argentina, assim como em vários países da América Latina, o acesso ao aborto seguro só era legalizado em casos de estupro ou quando a saúde da mãe estivesse em risco. A situação no país mudou apenas em dezembro de 2020, quando um projeto de lei histórico foi aprovado legalizando a liberdade de escolha para interromper a gravidez até a 14ª semana). Isso implica que com esses dados aprenderemos com informações tendenciosas, influenciadas pelo fato de que em alguns segmentos privilegiados da população havia acesso ao aborto seguro e, em outros, a questão era um tabu, portanto, algo que a adolescente esconderia em uma entrevista”(tradução livre).

É interessante notar que o Ministério da Primeira Infância trabalhou durante anos com a ONG antiaborto Fundación CONIN, para promover este sistema. A declaração de Urtubey mencionada acima foi feita no meio da campanha pela mudança da lei para legalizar o aborto na Argentina, uma demanda social que em 2018 tomou conta do noticiário local e internacional por meses. A ideia de que algoritmos pudessem prever a gravidez na adolescência antes que acontecesse era a desculpa perfeita para que ativistas antimulheres e anti-direitos sexuais e reprodutivos afirmassem que as leis de aborto seguro eram desnecessárias. De acordo com essas narrativas, se tivessem informações suficientes sobre as famílias pobres, políticas públicas conservadoras poderiam ser implantadas para prever e evitar o aborto de mulheres pobres. Além disso, havia também uma crença comum, porém equivocada, de que “se algo for recomendado por um algoritmo, é matemático, então deve ser verdadeiro e irrefutável”.

Além disso, também é importante destacar que o sistema optou por trabalhar em uma base de dados composta apenas de dados femininos. Esse foco específico em um determinado sexo também reforça os papéis patriarcais de gênero e, em última análise, culpa as adolescentes do sexo feminino pela gravidez indesejada, como se uma criança pudesse ser concebida sem esperma. Pior ainda, também pode ser vista como uma iniciativa que parte de uma lógica de responsabilização da vítima, sobretudo se considerarmos que a base de dados inclui meninas de 10 anos e de menores apenas um pouco mais velhas, cujas gravidezes somente poderiam resultar de violência sexual. Como uma máquina conseguiria dizer que você provavelmente seria vítima de agressão sexual? E quão cruel seria conceber tal cálculo? No entanto, mesmo diante de diversas críticas, a iniciativa continuou a ser implantada. E o que é pior, ideias ruins vendidas como inovadoras se espalham rapidamente: o sistema agora está sendo implementado em outras províncias argentinas, como La Rioja, Chaco e Terra do Fogo. Também foi exportado para a Colômbia, onde foi implementado pelo menos no município de La Guajira, e, como veremos, para o Brasil.

Da Argentina para o Brasil

Outra variação do mesmo projeto também chegou ao Governo Federal Brasileiro, por meio de uma parceria entre o Ministério da Cidadania e a Microsoft. Supostamente, em setembro de 2019, o Brasil era o 5º país da América Latina a receber o Projeto Horus, apresentado na imprensa como uma “solução tecnológica para monitorar programas sociais com foco no desenvolvimento infantil”. A primeira cidade a testar o programa foi Campina Grande, no Estado da Paraíba, no Nordeste do Brasil, uma das regiões mais pobres do país. Entre as autoridades e instituições presentes à reunião de lançamento estava um representante da Microsoft, um do Ministério da Primeira Infância do município de Salta e membros do Ministério da Cidadania do Brasil. Romero Rodrigues, prefeito de Campina Grande, é também ligado a igrejas evangélicas.

Análise

Por meio de pedidos de acesso a informações (anexo I), consultamos a Secretaria Nacional de Atenção à Primeira Infância (SNAPI) e a Subsecretaria de Tecnologia da Informação (STI) daquele Ministério para solicitar mais informações sobre a parceria. Essas instituições informaram que:

“O Ministério da Cidadania firmou junto a Microsoft Brasil LTDA. o acordo de cooperação técnica n° 47/2019, para a consecução de prova de conceito de ferramenta de inteligência artificial para subsidiar a melhoria das ações do Programa Criança Feliz/Primeira Infância (Criança Feliz/Primeira Infância)”.

O Ministro da Cidadania do Brasil, que assinou o acordo, é Osmar Gasparini Terra que, acredite ou não, é simpatizante do terraplanismo, uma teoria que não acredita que a Terra tenha formato esférico. Assim como a negação da mudança climática e o criacionismo, alguns dizem que a teoria terraplanista tem sua base no fundamentalismo cristão. Terra também tinha um discurso negacionista sobre a pandemia da covid-19, mas, neste caso específico, ele acreditava na matemática e na I.A. como única ferramenta para produzir diagnósticos para informar políticas públicas, conforme registrado no convênio:

“O MINISTÉRIO deseja desenvolver um trabalho de análise para o programa Criança Feliz, utilizando ferramentas tecnológicas de processamento de dados baseado em inteligência artificial como mecanismo de diagnóstico voltado orientado a detectar situações de vulnerabilidades sociais como guia para formulação de políticas públicas preventivas e transformadoras.”

Assim como nos casos chileno e argentino, uma visão neoliberal estava por trás da lógica de acreditar em um algoritmo para ““automatizar, prever, identificar, vigiar, detectar, mirar e punir os pobres”. Algo que também ficou explícito no acordo, quando este afirma que o objetivo do sistema era:

“a otimização de recursos e a construção de iniciativas que possam prover a melhoria da oferta dos serviços voltados à primeira infância, de modo mais customizado e com maior efetividade”.

Reafirmando, portanto, a lógica de automatizar políticas neoliberais. Mais especificamente, estabelecer um mecanismo para um Estado de Bem-Estar Digital, fortemente dependente da coleta de dados e das conclusões que deles emergem:

“A cooperação objetiva construir, em conjunto, uma solução que coleta de dados através de formulários eletrônicos e uso de ferramentas analíticas e de inteligência artificial sobre esses dados para subsidiar ações do programa Criança Feliz.”

Quando questionados sobre os bancos de dados usados, listaram:

Sistema Único de Assistência Social – SUAS;
Cadastro Único;
CADSUAS, do Ministério de Desenvolvimento Social.

Todos essas são bases de dados de programas sociais no Brasil, neste caso, usados sob a lógica de vigilância de comunidades vulneráveis, que não apenas são pobres, mas também crianças. Tudo isso em parceria com uma empresa estrangeira. A Microsoft teve acesso a todos esses bancos de dados? Qual foi a contraprestação da empresa para celebrar o acordo, visto que não foi acordado qualquer repasse de recursos financeiros:

“O presente Acordo não implicará repasse de recursos financeiros entre as partes. Cada uma das partes assumirá seus próprios custos em decorrência dos recursos alocados na execução do escopo e suas atribuições, inexistindo qualquer obrigatoriedade prévia de assunção de obrigações a partir dos seus resultados”.

A Microsoft teve acesso ao banco de dados dos brasileiros? A Microsoft está usando bancos de dados dos pobres da América Latina para treinar seus sistemas de aprendizado de máquina? Tentamos agendar uma entrevista com um representante da Microsoft no Brasil que falava sobre o projeto na mídia, mas, após o envio das perguntas, a entrevista previamente agendada foi cancelada. Estas foram as perguntas enviadas à Microsoft:

Considerando o acordo de cooperação técnica firmado em setembro de 2019 entre o Ministério da Cidadania e a Microsoft para a consecução de prova de conceito para implementar ferramentas de inteligência artificial que subsidiem melhoria das ações do Programa Criança Feliz:
- Qual é o resultado da prova de conceito?
- Quais conjuntos de dados foram utilizados pelo algoritmo para detectar situações de vulnerabilidade social?
- Que tipo de ações seriam sugeridas pela plataforma em caso de detecção de vulnerabilidade e risco?
- Quais são os próximos passos nesta prova de conceito?
A empresa possui outros contatos com o Ministério da Cidadania ou outros Ministérios do governo brasileiro para provas de conceito ou implantação de projetos de inteligência artificial em questões sociais?
A empresa possui alguma política interna de fomento à pesquisa e ao desenvolvimento de atividades de I.A. e do setor público voltadas ao país?

Como não obtivemos a posição da Microsoft, pedimos também ao Ministério mais informações sobre a prometida “maior eficácia”, que, no entanto, nunca foi comprovada. Quando o acordo foi assinado, em setembro de 2019, já se haviam publicado diversas críticas analisando o caso de Salta, embora o acordo apenas reconhecesse a “experiência e inteligência adquirida” pela Microsoft, conforme abaixo:

“CONSIDERANDO que a MICROSOFT já desenvolveu um projeto semelhante (…) com a PROVÍNCIA DE SALTA, na República Argentina, e pode se valer toda experiência e inteligência adquirida com o mesmo, pelo presente, é estabelecida uma cooperação para eventual desenvolvimento, adequação e uso de uma plataforma no Brasil.”

Por isso, solicitamos informações ao Ministério sobre margens de erro e informações sobre o resultado da prova de conceito. Eles informaram:

“(…) não existem informações referentes a margem de erro empregada nas tecnologias envolvidas.”

Afirmaram ainda que o acordo vigorou por seis meses, contados a partir de 23 de setembro de 2019. Portanto, o acordo não estava mais em vigor no momento da resposta (18 de dezembro de 2020), como reafirmado:

“Assim, salientamos que tal tecnologia não se encontra em implementação pelo Programa Criança Feliz, desta forma, não podemos atender a solicitação de dados estatísticos sobre o seu uso e sua efetividade”.

Essa afirmação causa estranheza, visto que no plano de trabalho, anexo ao acordo, tanto à Microsoft quanto ao Ministério foram atribuídas as atividades de análise e avaliação dos resultados. Mas, diante dessas circunstâncias e respostas, poderíamos dizer que a tentativa de transpor o sistema para o Brasil foi outra manifestação do extrativismo colonial, uma vez que, supostamente, nem mesmo o governo brasileiro manteve registro dos resultados da prova de conceito, uma caixa fechada. A única coisa que sabemos é que, segundo o acordo, a Microsoft isentava-se de qualquer responsabilidade por possíveis danos causados pelo projeto:

“A MICROSOFT não garante nem assume responsabilidade por perdas e danos de qualquer tipo que possam decorrer, de forma exemplificativa: (i) da adequação das atividades previstas neste Acordo aos propósitos do MINISTÉRIO ou pela entrega de qualquer solução efetiva; e (ii) pela qualidade, legalidade, confiabilidade e utilidade dos serviços, informações, dados, arquivos, produtos e qualquer tipo de material utilizados pelas outras partes ou por terceiros.”

Conclusões

Os sistemas de I.A. examinados nos estudos de caso mostram que sua concepção e uso pelos Governos atendem a um continuum de políticas neoliberais que abundaram na América Latina, em graus variados, durante os últimos 40 anos (López, 2020). Por um lado, são instrumentos que automatizam e conferem o status de resolução tecnológica a decisões ideológicas: a alocação de recursos (Alston, 2019). Neste caso, trata-se principalmente de usar big data para produzir uma classificação mais detalhada de crianças e adolescentes pobres (López, 2020) e, um passo adiante, automatizar a definição do seu risco social. A abordagem da infância vulnerável é uma abordagem neoliberal clássica, aplicada por organizações como o Banco Mundial na região, e provém da ideia da pobreza como um problema individual (não sistêmico) e dos assistentes sociais como protetores de pessoas “em risco” (Muñoz Arce, 2018).

Por outro lado, esses sistemas de I.A. constituem um novo estágio na tecnocratização das políticas públicas. Os níveis de participação na sua concepção e a transparência do processo são questionáveis; no caso do Brasil, o convênio de prova de conceito previa um plano de trabalho de seis meses, o que deixa claro que não havia a intenção de se conduzir um processo inclusivo mais amplo com a população-alvo, mas tão somente a de implementar uma ferramenta tecnológica. Assim, não apenas os cidadãos brasileiros não tiveram acesso a qualquer dado de avaliação do piloto, mas também as pessoas afetadas por esses sistemas, ou seja, crianças, adolescentes e famílias pobres, sequer foram objeto de consulta, por não serem reconhecidas como partes interessadas. Da mesma forma, o consentimento para usar os dados com o objetivo de receber ou não benefícios sociais abre toda uma discussão sobre a ética desses sistemas, discussão que segue sem solução.

Da mesma forma, há evidências de que o uso de I.A. para prever possíveis vulnerabilidades não só não funciona bem no atendimento social de crianças e adolescentes (Clayton et al., 2020), como também acaba sendo bastante oneroso para os Governos, ao menos nos estágios iniciais, o que parece ser contrário à doutrina neoliberal (Bright et al. 2019). Quantas horas de recursos humanos de servidores públicos foram usadas em uma prova de conceito cujos resultados não estão documentados ou disponíveis ao público?

Embora exista a noção de tecnologias como um sistema sociotécnico, a visão da I.A. como um processo objetivo prevalece, tanto na coleta quanto no tratamento de dados. Isso é preocupante de várias maneiras. Primeiro, porque Governos e desenvolvedores prestam pouca atenção aos vieses de classe social e raça, reafirmando a ideia racial do daltonismo racial (colorblindness) (Noble, 2018; Benjamin, 2019). Em segundo lugar, é esperado que as falhas da tecnologia na previsão de risco entre crianças e adolescentes sejam blindadas pela intervenção humana, dando à máquina uma certa impunidade para continuar trabalhando. No entanto, não há estudos de campo no caso sob análise que analisem como os assistentes sociais que interagem com a máquina lidam com o “viés de automação”, entendido como a maior valorização da informação automatizada do que de nossas próprias experiências (Bridle, 2018).

Em resumo, podemos dizer que a “Plataforma Tecnológica de Intervención Social” e o Projeto Horus são apenas um exemplo bastante eloquente de como a pretensa neutralidade da Inteligência Artificial tem sido cada vez mais implementada em alguns países da América Latina para apoiar políticas públicas potencialmente discriminatórias que poderiam prejudicar os direitos humanos das pessoas sem privilégios, bem como para monitorar e censurar as mulheres e seus direitos sexuais e reprodutivos. Analisando nosso quadro analítico da I.A. Opressiva, poderíamos dizer que preenche todos os quesitos:

Links para os pedidos de acesso a informação e respostas do governo brasileiro

* A seção sobre o componente argentino deste estudo de caso foi elaborada e publicada originalmente no artigo “Decolonising AI: A transfeminist approach to data and social justice” [Descolonizando a I.A.: uma abordagem transfeminista a dados e justiça social [T1] , em tradução livre], escrito pelas mesmas autoras deste relatório para a publicação Giswatch: Artificial Intelligence Human Rights 2019, disponível em: https://www.giswatch.org/node/6203

Bibliografia

Alston, Philip. 2019. Report of the Special rapporteur on extreme poverty and human rights. Promotion and protection of human rights: Human rights questions, including alternative approaches for improving the effective enjoyment of human rights and fundamental freedoms. A/74/48037. Seventy-fourth session. Item 72(b) of the provisional agenda.

Benjamin, R. (2019). Race after technology: Abolitionist tools for the new Jim code. Polity.

Birhane, Abeba (2019, July 18th). The Algorithmic Colonization of Africa. Real Life Magazine. www.reallifemag.com/the-algorithmic-colonization-of-africa/

Bridle, J. (2018). New Dark Age: Technology, Knowledge and the End of the Future. Verso Books.

Bright, J., Bharath, G., Seidelin, C., & Vogl, T. M. (2019). Data Science for Local Government (April 11, 2019). Available at SSRN: https://ssrn.com/abstract=3370217 or http://dx.doi.org/10.2139/ssrn.3370217

Clayton, V., Sanders, M., Schoenwald, E., Surkis, L. & Gibbons, D. (2020) MACHINE LEARNING IN
CHILDREN’S SERVICES SUMMARY REPORT. What Works For Children’s Social Care. UK.

Crawford, Kate. (2016, June 25th). Artificial Intelligence’s White Guy Problem. The New York Times. www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.htm

Daly, Angela et al. (2019). Artificial Intelligence Governance and Ethics: Global Perspectives. THE CHINESE UNIVERSITY OF HONG KONG FACULTY OF LAW. Research Paper No. 2019-15.

Davancens, Facundo.Predicción de Embarazo Adolescente con Machine Learning: https://github.com/facundod/case-studies/blob/master/Prediccion%20de%20Embarazo%20Adolescente%20con%20Machine%20Learning.md

Eubanks, V. (2018). Automating inequality: how high-tech tools profile, police, and punish the poor. First edition. New York, NY: St. Martin’s Press.

Kidd, Michael (2016). Technology and nature: a defence and critique of Marcuse. Volum IV, Nr. 4 (14), Serie nouă. 49-55. www.revistapolis.ro/technology-and-nature-a-defence-and-critique-of-marcuse/

Laboratorio de Inteligencia Artificial Aplicada. 2018. Sobre la predicción automática de embarazos adolescentes. www.dropbox.com/s/r7w4hln3p5xum3v/[LIAA]%20Sobre%20la%20predicci%C3%B3n%20autom%C3%A1tica%20de%20embarazos%20adolescentes.pdf?dl=0 y https://liaa.dc.uba.ar/es/sobre-la-prediccion-automatica-de-embarazos-adolescentes/

López, J. (2020). Experimentando con la pobreza: el SISBÉN y los proyectos de analítica de datos en Colombia. Fundación Karisma. Colombia.

Masiero, Silvia & Das, Soumyo (2019). Datafying anti-poverty programmes: implications for data justice. Information, Communication & Society, 22:7, 916-933.

Muñoz Arce , G. (2018): The neoliberal turn in Chilean social work: frontline struggles against
individualism and fragmentation, European Journal of Social Work, DOI:
10.1080/13691457.2018.1529657

Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.

O’Neal, Cathy. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown.