Por Paz Peña e Joana Varon
A Inteligência Artificial (I.A.) é uma disciplina que visa criar máquinas que emulem funções cognitivas, como aprendizagem e resolução de problemas. É chamada de artificial porque, ao contrário da inteligência natural, comum a seres humanos e outros seres vivos, que envolve consciência e emoções, é manifestada por máquinas por meio de processamento computacional. Sua definição pode incluir uma ampla variedade de métodos e ferramentas, tais como aprendizado de máquina ou automático (em inglês: machine learning), reconhecimento facial, reconhecimento de fala etc. O Aprendizado de Máquina é o campo mais comumente associado à I.A. e consiste em um método de análise de dados que automatiza modelos analíticos, identificando padrões que dão às máquinas a capacidade de “aprender” a partir de dados sem que tenham recebido instruções explícitas sobre como fazê-lo.
De acordo com a “Algorithmic Accountability Policy Toolkit”, [Kit de Ferramentas de Políticas de Responsabilização Algorítmica, em tradução livre], lançado pelo AINOW, a I.A. deve ser entendida como um desenvolvimento das práticas sociais dominantes dos engenheiros e cientistas da computação que projetam os sistemas, a infraestrutura industrial e as empresas que operam esses sistemas. Portanto, “uma definição mais completa de I.A. inclui abordagens técnicas, práticas sociais e poder industrial.” (AINOW, 2018).
Inteligência Artificial no setor público
Sistemas de I.A. baseiam-se em modelos que são representações, universalizações e simplificações abstratas de realidades complexas nos quais muitas informações são deixadas de fora por decisão de seus criadores. Como aponta Cathy O’Neil em seu livro “Weapons of Math Destruction” [Armas de Destruição Matemática, em tradução livre]: “[M]odelos, apesar de sua reputação de imparcialidade, refletem objetivos e ideologia. […] Nossos próprios valores e desejos influenciam nossas escolhas, desde os dados que escolhemos coletar até as perguntas que fazemos. Modelos são opiniões incorporadas na matemática”. (O’Neil, 2016, tradução livre).
Consequentemente, algoritmos são criações humanas sujeitas a falhas. Os seres humanos estão sempre presentes na construção de sistemas automatizados de tomada de decisão: são eles que determinam os objetivos e usos dos sistemas, que definem quais dados devem ser coletados para tais objetivos e usos, que coletam esses dados, que decidem como capacitar as pessoas que usam esses sistemas, avaliam o desempenho do software e, em última análise, agem segundo as decisões e avaliações feitas pelos sistemas.
Mais especificamente, como afirma Tendayi Achiume, Relator Especial sobre formas contemporâneas de racismo, discriminação racial, xenofobia e intolerância relacionadas, no relatório “Racial discrimination and emerging digital technologies” [Discriminação racial e tecnologias digitais emergentes, em tradução livre], os bancos de dados usados nesses sistemas são resultado do design humano e podem ser tendenciosos de várias formas, potencialmente levando – intencionalmente ou não – à discriminação ou à exclusão de certas populações, especialmente minorias em questões de identidade de raça, etnia, religião e gênero (Tendayi, 2020).
Diante desses problemas, deve-se reconhecer que parte da comunidade da tecnologia tem feito várias tentativas para definir matematicamente “justiça” e, assim, atender a um padrão demonstrável sobre o tema. Da mesma forma, várias organizações, privadas e públicas, têm empreendido esforços para estabelecer padrões éticos para a I.A. A visualização de dados “Principled Artificial Intelligence” [Inteligência Artificial com Princípios, em tradução livre] (Berkman Klein, 2020) mostra a variedade de quadros éticos e baseados em direitos humanos que surgiram em diferentes setores a partir de 2016 com o objetivo de orientar o desenvolvimento e o uso de sistemas de I.A. O estudo revela “um consenso crescente em torno de oito tendências temáticas principais: privacidade, responsabilização, proteção e segurança, transparência e explicabilidade, justiça e não discriminação, controle humano da tecnologia, responsabilidade profissional e promoção dos valores humanos” (tradução livre). No entanto, como podemos ver dessa lista, nenhum desses consensos é impulsionado por princípios de justiça social. Em vez de perguntar como desenvolver e implantar um sistema de I.A., não deveríamos antes perguntar “por que o construir?”, “é realmente necessário?”, “a pedido de quem?”, “quem se beneficia dele?”, “quem é prejudicado?” com a implantação de um determinado sistema de I.A.? Deveria tal sistema sequer ser desenvolvido e implantado?
![“Principled Artificial Intelligence” [Inteligência Artificial com Princípios, em tradução livre] (Berkman Klein, 2020)](https://wilkins.law.harvard.edu/misc/PrincipledAI_FinalGraphic.jpg){kind=link}
Apesar de todas essas questões, muitos Governos ao redor do mundo vêm usando cada vez mais ferramentas algorítmicas de tomada de decisão para determinar a distribuição de bens e serviços, incluindo educação, serviços públicos de saúde, policiamento e habitação, entre outros. Para além de princípios, mais empiricamente, principalmente nos Estados Unidos, onde alguns desses projetos foram desenvolvidos além das fases-piloto, os programas de Inteligência Artificial têm sido confrontados com evidências de julgamentos tendenciosos e danos causados por decisões automatizadas, e enfrentado críticas em várias frentes. Porém, mais recentemente, governos da América Latina também vêm seguindo a onda de implantar sistemas de I.A. em serviços públicos, algumas vezes com o apoio de empresas dos EUA que usam a região como um laboratório de ideias que, talvez pelo temor de críticas em seus países de origem, sequer são testadas antes nos EUA.
Com o objetivo de construir um kit de ferramentas feminista anticolonial baseado em casos para questionar esses sistemas a partir de perspectivas que vão além da crítica ao Norte Global, realizamos pesquisa documental e aplicamos um questionário distribuído em redes de direitos digitais na região, e mapeamos projetos nos quais sistemas algorítmicos de tomada de decisões estão sendo implantados por governos com prováveis implicações negativas em matéria de igualdade de gênero e todas as suas interseccionalidades. Ao contrário de muitos projetos e políticas de I.A., que tendem a se desenvolver sob o lema de startups “mova-se rápido e quebre coisas” (em inglês: move fast and break things), nossa compilação de casos parte do seguinte pressuposto: enquanto você não provar que não está causando danos, se seus alvos são comunidades marginalizadas, você muito provavelmente está causando danos.
Como resultado, até abril de 2021, mapeamos 24 casos no Chile, Brasil, Argentina, Colômbia e Uruguai, que pudemos classificar em cinco categorias: sistema judicial, educação, policiamento, benefícios sociais e saúde pública. Vários deles estão em estágio inicial de implantação ou são desenvolvidos como pilotos.
Até agora, realizamos a tarefa de analisar possíveis danos causados por programas de I.A. implantados nos campos da educação e benefícios sociais no Chile, na Argentina e no Brasil. Como resultado disso, com base em nossa revisão da bibliografia existente e em nossa análise baseada em casos, estamos gradualmente expandindo um quadro baseado em casos testado empiricamente para servir como um dos instrumentos do nosso kit de ferramentas anticolonial feminista. Com sorte, será um método capaz de nos ajudar a formular questões estruturais sobre se um determinado sistema governamental de I.A. pode ou não implicar possíveis danos a diversas agendas feministas.
Possíveis danos causados pela implantação de tomada de decisão algorítmica em políticas públicas
A seguir, apresentamos um resumo das críticas que têm sido feitas a sistemas de I.A. implantados pelo setor público, que possuem pontos de intersecção e se retroalimentam. Com base em uma ampla revisão bibliográfica e em uma análise fundamentada em casos, esta é uma tentativa de criar um quadro analítico em constante evolução (work-in-progress), que ultrapasse os discursos de justiça, de uma I.A. ética ou centrada em pessoas e busque ser uma estrutura holística que considere as relações de poder a fim de questionar a ideia de implantar sistemas de I.A. em vários campos do setor público:
A. Vigilância dos pobres: transformando pobreza e vulnerabilidade em dados legíveis automaticamente
O ex-Relator das Nações Unidas sobre Pobreza Extrema e Direitos Humanos, Philip Alston, criticou o fenômeno segundo o qual “os sistemas de proteção e assistência social são cada vez mais impulsionados por dados e tecnologias digitais que são usados para automatizar, prever, identificar, vigiar, detectar, mirar e punir.” (A/74/48037 2019, tradução livre). Essas fontes de dados detalhados permitem às autoridades inferir movimentos, atividades e comportamento das pessoas, não sem ter implicações éticas, políticas e práticas a respeito de como os setores público e privado veem e tratam as pessoas. De acordo com Linnet Tylor, em seu artigo “What is data justice?” (TYLOR, 2017) [O que é justiça de dados?, em tradução livre], isso é ainda mais desafiador nos casos de estratos da população de baixa renda, uma vez que a capacidade das autoridades de coletar dados estatísticos precisos sobre eles, que no passado era limitada, agora é o alvo de sistemas de classificação por regressão que perfilam, julgam, punem e vigiam.
A maioria desses programas se aproveita da tradição de vigilância estatal sobre populações vulneráveis (Eubanks, 2018, tradução livre), transforma sua existência em dados e agora usa algoritmos para definir a concessão de benefícios sociais pelos Governos. Analisando o caso dos EUA, Eubanks mostra como o uso de sistemas de I.A. está sujeito a uma longa tradição de instituições que gerem a pobreza e que buscam, por meio dessas inovações, se adaptar e manter seu desejo de conter, monitorar e punir os pobres. Trata-se, portanto, de transformar pobreza e vulnerabilidade em dados legíveis automaticamente, com consequências reais na vida e na subsistência dos cidadãos envolvidos. (Masiero & Das, 2019). No mesmo sentido, Cathy O’Neil (2016), analisando os usos da I.A. nos Estados Unidos (EUA), afirma que muitos sistemas de I.A. “tendem a punir os pobres”, o que significa que é cada vez mais comum que pessoas ricas sejam beneficiadas por interações pessoais, enquanto os dados dos pobres são tratados por máquinas que tomam decisões a respeito de seus direitos.
Isso se torna ainda mais relevante quando consideramos que o sistema de classes sociais possui um poderoso componente de gênero. É comum que as políticas públicas mencionem a “feminização da pobreza”. De fato, na IV Conferência das Nações Unidas sobre a Mulher, realizada em Pequim, em 1995, concluiu-se que 70% das pessoas pobres do mundo eram mulheres. Os motivos pelos quais a pobreza afeta mais as mulheres não têm a ver com motivos biológicos, mas com as estruturas de desigualdade social que dificultam a superação da pobreza pelas mulheres, tais como o acesso à educação e ao emprego (Aguilar, 2011).
B. Racismo integrado
Para o Relator Especial da ONU, E. Tandayi (2020), as tecnologias digitais emergentes também devem ser entendidas como capazes de criar e manter a exclusão racial e étnica em termos sistêmicos ou estruturais. Isso é também o que pesquisadores de tecnologia dedicados a raça e I.A. nos Estados Unidos, tais como Ruha Benjamin, Joy Buolamwini, Timnit Gebru e Safiya Noble destacam em seus estudos de caso, como também o apontam, na América Latina, Nina da Hora, Tarcisio Silva e Pablo Nunes, todos do Brasil, ao investigar tecnologias de reconhecimento facial por algoritmos de ferramentas de busca. Ruha Benjamin (2019) discute especificamente como o uso de novas tecnologias reflete e reproduz as injustiças raciais existentes na sociedade estadunidense, ainda que elas sejam promovidas e percebidas como mais objetivas ou progressistas do que sistemas discriminatórios de épocas passadas. Nesse sentido, para a autora, quando a I.A. busca determinar o quanto pessoas de todas as classes merecem oportunidades, os desenvolvedores dessas tecnologias constroem um sistema de castas digital estruturado sobre a discriminação racial existente.
A partir do próprio desenvolvimento da tecnologia, em sua pesquisa, Noble (2018) demonstra como ferramentas de busca comerciais como o Google não apenas conciliam, como também são afetadas por uma série de imperativos comerciais que, por sua vez, são sustentados por políticas econômicas e de informação que acabam por endossar a mercantilização das identidades femininas. Nesse caso, a autora expõe o tema ao analisar uma série de pesquisas no Google em que mulheres negras acabam sendo sexualizadas pelas informações contextuais que o mecanismo de pesquisa exibe (por exemplo, vinculando-as a mulheres selvagens e sexualizadas).
Outro estudo notável é o de Buolamwini & Gebru (2018), que analisaram três sistemas comerciais de reconhecimento facial que permitem classificar rostos por gênero. Elas descobriram que os sistemas apresentam taxas de erro mais altas para mulheres de pele mais escura do que para qualquer outro grupo, com as taxas de erro mais baixas sendo as referentes aos homens de pele clara. As autoras atribuem esses preconceitos de raça e gênero à composição dos conjuntos de dados usados para treinar esses sistemas, esmagadoramente compostos de indivíduos de pele mais clara com aparência masculina.
C. Patriarcal desde o Projeto: sexismo, heteronormatividade compulsória e binaridade de gênero
Muitos sistemas de I.A. funcionam classificando as pessoas segundo uma visão binária de gênero, bem como reforçando antiquados estereótipos de gênero e orientação sexual. Um estudo recente de coautoria de Shakir Mohamed, cientista sênior da DeepMind, expõe como a discussão sobre justiça algorítmica ignorou a orientação sexual e a identidade de gênero, com impactos concretos na “censura, linguagem, segurança online, saúde e emprego”, levando à discriminação e à exclusão de pessoas LGBT+.
O gênero foi analisado de várias maneiras na Inteligência Artificial. West, Whittaker e Crawford (2019) argumentam que a crise de diversidade na indústria e as questões de sistemas tendenciosos de I.A. (especialmente no que se refere a raça e gênero) são faces inter-relacionadas do mesmo problema. No passado, as pesquisas costumavam examinar essas questões isoladamente, mas evidências crescentes mostram que elas estão intimamente interligadas. No entanto, alertam as autoras, apesar de todas as evidências sobre a necessidade de diversidade nos campos da tecnologia, tanto na academia quanto na indústria, esses indicadores estagnaram.
Inspiradas por Buolamwini & Gebru (2018), Silva e Varon (2021) pesquisaram como tecnologias de reconhecimento facial afetam pessoas trans e concluíram que, embora os principais órgãos públicos no Brasil já utilizem esses tipos de tecnologia para confirmar a identidade para se ter acesso a serviços públicos, há pouca transparência sobre a precisão dos mesmos (apontando falsos positivos ou falsos negativos), bem como sobre privacidade e proteção de dados frente às práticas de compartilhamento de dados entre órgãos da administração pública e mesmo entre entidades privadas.
No caso da Venezuela, em meio a uma longa crise humanitária, o Estado implementou sistemas biométricos para controlar a aquisição de bens de primeira necessidade, resultando em várias denúncias de discriminação contra estrangeiros e pessoas trans. Segundo Díaz Hernández (2021), a legislação para proteger pessoas trans é praticamente inexistente. Não lhes é concedido o reconhecimento de sua identidade, o que faz com que essa tecnologia ressignifique o valor de seus corpos “e os transforme em corpos inválidos, que ficam, portanto, à margem do sistema e à margem da sociedade” (p.12, tradução livre).
No caso dos programas de gestão da pobreza por meio de big data e sistemas de Inteligência Artificial, é fundamental observar como as mulheres pobres estão particularmente sujeitas à vigilância estatal e como isso leva à reprodução das desigualdades econômicas e de gênero (Castro & López, 2021).
D. Extrativismo colonial de corpos de dados e territórios
Autores como Couldry e Mejias (2018) e Shoshana Zuboff (2019) analisam o estágio atual do capitalismo, em que a produção e a extração de dados pessoais naturalizam a apropriação colonial da vida em geral. Para tanto, opera uma série de processos ideológicos nos quais, por um lado, os dados pessoais são tratados como matéria-prima, naturalmente disponível para a expropriação de capital e, por outro, as empresas são consideradas as únicas capazes de tratar os dados e, portanto, apropriar-se deles.
Com referência a colonialismo e Inteligência Artificial, Mohamed et al. (2020) examinam como a colonialidade se apresenta em sistemas algorítmicos por meio de opressão algorítmica institucionalizada (a subordinação injusta de um grupo social às custas do privilégio de outro), exploração algorítmica (formas pelas quais os atores institucionais e empresas tiram proveito de pessoas já frequentemente marginalizadas em benefício desequilibrado de tais setores) e desapropriação algorítmica (centralização do poder em poucos e desapropriação do poder de muitos), numa análise que busca evidenciar as permanências históricas das relações de poder.
Crawford (2021) preconiza uma visão mais abrangente da Inteligência Artificial como forma crítica de entender que esses sistemas dependem da exploração: por um lado, de recursos energéticos e minerais, de mão de obra barata e, além disso, de nossos dados em escala. Em outras palavras, a I.A. é uma indústria extrativista.
Todos esses sistemas fazem uso intensivo de energia e dependem fortemente de recursos minerais, às vezes extraídos de áreas onde estão disponíveis. Só na América Latina, temos o triângulo do lítio na Argentina, Bolívia e Chile, bem como vários depósitos de minerais conhecidos como 3TGs, pelas letras iniciais de seu nome em inglês (estanho, tungstênio, tântalo e ouro) na região amazônica, todos eles usados em dispositivos eletrônicos de ponta. Como afirmam Danae Tapia e Paz Peña, as comunicações digitais são construídas sobre a exploração, embora “análises sociotécnicas do impacto ambiental das tecnologias digitais sejam quase inexistentes na comunidade hegemônica de direitos humanos que trabalha no contexto digital”. (Tapia & Peña, 2021, tradução livre). E, para além do impacto ambiental, Camila Nobrega e Joana Varon também afirmam que as narrativas da economia verde, em conjunto com os tecnossolucionismos, estão “ameaçando diversas formas de existência, de usos históricos e de gestão coletiva de territórios”, não sendo por acaso que as autoras tenham descoberto que a empresa Alphabet Inc., controladora do Google, está explorando minerais 3TGs em regiões da Amazônia onde existe conflito fundiário com povos indígenas (Nobrega & Varon, 2021).
E. Automatização das políticas neoliberais
Segundo Payal Arora (2016), os discursos a respeito do big data têm uma conotação esmagadoramente positiva graças à ideia neoliberal de que a exploração com fins lucrativos dos dados dos pobres por empresas privadas apenas beneficiará a população. Do ponto de vista econômico, os estados de bem-estar digital estão profundamente entrelaçados com a lógica do mercado capitalista e, em particular, com as doutrinas neoliberais que buscam reduzir drasticamente o orçamento geral do sistema de bem-estar social, incluindo o número de beneficiários, a eliminação de alguns serviços, a introdução de exigências e formas intrusivas de condições à concessão de benefícios, a tal ponto que – como Alston afirmou (2019) – os cidadãos não mais se veem como sujeitos de direitos, mas como requerentes de serviços (Alston, 2019, Masiero & Das, 2019). Nesse sentido, é interessante verificar que os sistemas de I.A., em seus esforços neoliberais de destinar os recursos públicos, também classificam quem é o sujeito pobre por meio de mecanismos automatizados de exclusão e inclusão (López, 2020).
F. Precarização do Trabalho
Com foco específico na inteligência artificial e nos algoritmos das empresas do Big Tech, a antropóloga Mary Gray e o cientista da computação Siddharth Suri apontam o “trabalho fantasma” ou o trabalho invisível que impulsiona as tecnologias digitais. Rotulagem de imagens e limpeza de bancos de dados são trabalhos manuais, muitas vezes realizados em condições de trabalho insalubres “para fazer a Internet parecer inteligente”. As comunidades dedicadas a esses empregos têm condições de trabalho muito precárias, normalmente marcadas por trabalho em excesso, mal remunerado, sem benefícios sociais ou estabilidade, muito diferentes das condições de trabalho dos criadores de tais sistemas (Crawford, 2021). Quem cuida do seu banco de dados? Como sempre, as profissões do cuidado não são reconhecidas como trabalho valioso.
G. Falta de transparência
De acordo com o AINOW (2018), quando órgãos públicos adotam ferramentas algorítmicas sem transparência, responsabilização e supervisão externa adequadas, seu uso pode ameaçar as liberdades civis e exacerbar problemas existentes nos órgãos públicos. Na mesma linha, a OCDE (Berryhill et al., 2019) postula que a transparência [por parte de] é estratégica para fomentar a confiança do público na ferramenta.
Opiniões mais críticas comentam a abordagem neoliberal quando a transparência depende da responsabilidade dos indivíduos, uma vez que eles não têm o tempo necessário ou o desejo de se comprometer com formas mais significativas de transparência e de consentimento online (Annany & Crawford, 2018). Assim, intermediários do governo com entendimento e independência específicos deveriam desempenhar seu papel aqui (Brevini & Pasquale, 2020). Além disso, Annany & Crawford (2018) sugerem que o que a visão atual de transparência em I.A. faz é fetichizar o objeto da tecnologia, sem entender que a tecnologia é um conjunto de atores humanos e não humanos, pelo que, para entender o funcionamento da I.A., é preciso ir além de simplesmente olhar para o objeto.
Análise baseada em casos:
Além de proeminentes acadêmicos antirracistas e feministas que se dedicam à análise da implantação de sistemas de I.A. nos Estados Unidos, queremos contribuir com a construção de lentes feministas para questionar sistemas de I.A. com base em nossas experiências latino-americanas e inspiradas por teorias feministas descoloniais. Por isso, no próximo post, vamos nos concentrar na análise de casos da América Latina através destas lentes:
a) Sistema de Alerta Infantil (Sistema Alerta Niñez – SAN, Chile)
Bibliography
Aguilar, P. L. (2011). La feminización de la pobreza: conceptualizaciones actuales y potencialidades analíticas. Revista Katálysis, 14(1),126-133
AINOW. 2018. Algorithmic Accountability Policy Toolkit. https://ainowinstitute.org/aap-toolkit.pdf
Alston, Philip. 2019. Report of the Special rapporteur on extreme poverty and human rights. Promotion and protection of human rights: Human rights questions, including alternative approaches for improving the effective enjoyment of human rights and fundamental freedoms. A/74/48037. Seventy-fourth session. Item 72(b) of the provisional agenda.
Ananny, M., & Crawford, K. (2018). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society, 20(3), 973–989. https://doi.org/10.1177/1461444816676645
Arora, P. (2016). The Bottom of the Data Pyramid: Big Data and the Global South. International Journal of Communication, 10, 1681-1699.
Benjamin, R. (2019). Race after technology: Abolitionist tools for the new Jim code. Polity.
Berryhill, J., Kok Heang, K., Clogher, R. & McBride, K. (2019). Hello, World: Artificial Intelligence and its Use in the Public Sector. OECD.
Brevini, B., & Pasquale, F. (2020). Revisiting the Black Box Society by rethinking the political economy of big data. Big Data & Society. https://doi.org/10.1177/2053951720935146
Bridle, J. (2018). New Dark Age: Technology, Knowledge and the End of the Future. Verso Books.
Bright, J., Bharath, G., Seidelin, C., & Vogl, T. M. (2019). Data Science for Local Government (April 11, 2019). Available at SSRN: https://ssrn.com/abstract=3370217 or http://dx.doi.org/10.2139/ssrn.3370217
Buolamwini, J. & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, in PMLR 81:77-91Castro, L. & López, J. (2021). Vigilanco a las “buenas madres”. Aportes desde una perspectiva feminista para la investigación sobre la datificación y la vigilancia en la política social desde Familias En Acción. Fundación Karisma. Colombia.
Couldry, N., & Mejias, U. (2019). Data colonialism: rethinking big data’s relation to the contemporary subject. Television and New Media, 20(4), 336-349.
Crawford, K. (2021). Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press.
Díaz Hernández, M. (2020) Sistemas de protección social en Venezuela: vigilancia, género y derechos humanos. In Sistemas de identificación y protección social en Venezuela y Bolivia. Impactos de género y otros tipos de discriminación. Derechos Digitales.
Eubanks, V. (2018). Automating inequality: how high-tech tools profile, police, and punish the poor. First edition. New York, NY: St. Martin’s Press.
López, J. (2020). Experimentando con la pobreza: el SISBÉN y los proyectos de analítica de datos en Colombia. Fundación Karisma. Colombia.
Masiero, S., & Das, S. (2019). Datafying anti-poverty programmes: implications for data justice. Information, Communication & Society, 22(7), 916-933.
Mohamed, S., M. Png & W. Isaac. (2020). Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. Philosophy & Technology. https://doi.org/10.1007/s13347-020-00405-8
Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.
Nobrega, C; Varon, J. (2021). Big tech goes green(washing): feminist lenses to unveil new tools in the master’s house. Giswatch, APC. Available at: https://www.giswatch.org/node/6254
O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown.
Silva M.R. & Varon, J. (2021). Reconhecimento facial no setor público e identidades trans: tecnopolíticas de controle e ameaça à diversidade de gênero em suas interseccionalidades de raça, classe e território. Coding Rights.
Taylor, L. (2017). What is data justice? The case for connecting digital rights and freedoms globally. Big Data & Society, July-December, 1-14. https://journals.sagepub.com/doi/10.1177/2053951717736335
Tapia, D; Peña. P. (2021). White gold, digital destruction: Research and awareness on the human rights implications of the extraction of lithium perpetrated by the tech industry in Latin American ecosystems. Giswatch, APC. Available at: https://www.giswatch.org/node/6247
Tendayi Achiume, E. (2020). Racial discrimination and emerging digital technologies: a human rights analysis. Report of the Special Rapporteur on contemporary forms of racism, racial discrimination, xenophobia and related intolerance. A/HRC/44/57. Human Rights Council. Forty-fourth session. 15 June–3 July 2020.
West, S.M., Whittaker, M. and Crawford, K. (2019). Discriminating Systems: Gender, Race and Power in AI. AI Now Institute.
Zuboff, S. (2019). The age of surveillance capitalism: the fight for a human future at the new frontier of power. Profile Books.