Protegendo o Neoliberalismo: “Aceitabilidade Social” como Forma de Evitar a Responsabilização Social da Inteligência Artificial

Paz Peña

Estudo de caso: Sistema de Alerta Infantil (Sistema Alerta Niñez – SAN) – Chile

O Sistema de Alerta Infantil (SAN) é um software que fornece dados complementares aos dados coletados no Chile pelos chamados Escritórios Locais da Infância (OLN, na sigla em espanhol para Oficinas Locales de la Niñez), a fim de apoiar a tomada de decisões pelos gestores desses OLNs ao oferecer apoio às crianças e suas famílias, considerando as necessidades individuais de cada criança e adolescente (NNA, na sigla em espanhol para Niños, Niñas y Adolescentes), bem como fatores familiares e ambientais.

Diversos pedidos de acesso a informações públicas enviados ao governo deixaram claro que o SAN é mais uma ferramenta – e não a principal – à disposição desses gestores para priorizar os casos identificados por meio de alertas presenciais, ou seja, aqueles gerados e verificados por pessoas que interagem diretamente com as crianças e adolescentes (NNA) e suas famílias. No entanto, como a Derechos Digitales apontou em seu relatório sobre o sistema, o sistema de I.A. foi projetado primeiro, e só depois veio a institucionalidade com a criação dos OLNs.

O software baseia-se no uso de Modelagem Preditiva de Risco (PRM, na sigla em inglês para Predictive Risk Modeling). Tem por objetivo identificar crianças e adolescentes (NNA) em risco de violação de direitos e as famílias que necessitam de apoio para aperfeiçoar seu papel de proteção à criança, com base em dados administrativos, detectando um conjunto de condições dos indivíduos, dos familiares, do ambiente e dos colegas que tendem a ocorrer quando existe um alto risco de violação de direitos.

A ideia é que a ferramenta seja executada periodicamente (por exemplo, uma vez por mês) sobre a lista de crianças e adolescentes (NNA) nas bases de dados do Ministério do Desenvolvimento Social e Família (MDSF, na sigla em espanhol para Ministério de Desarrollo Social y Familia). A ferramenta pontua cada indivíduo. A pontuação pode então ser usada para priorizar NNAs e famílias já conhecidas pelo software, como aquelas identificadas por profissionais que interagem com NNAs e suas famílias no âmbito do sistema de proteção social, como é o caso dos funcionários do Chile Cresce Contigo (ChCC, na sigla em espanhol para Chile Crece Contigo). Além disso, as NNAs que receberem uma pontuação de risco mais elevada e que ainda não estejam em contato com outros programas estatais poderiam ser contatadas ativamente. De acordo com o governo, a priorização tem uma finalidade preventiva, sob responsabilidade do Escritório Local da Infância, que fornecerá programas de apoio e prevenção benéficos para a NNA e sua família.

Para identificar NNAs nessas circunstâncias, foi necessário treinar o modelo por meio da análise de NNAs que já haviam sofrido violação de seus direitos, para então estudar o curso de suas vidas e identificar as condições familiares vivenciadas por essas NNAs antes que as violações ocorressem. Crianças e adolescentes que enfrentem no presente essas condições são aquelas que poderiam – potencialmente – precisar de apoio para mitigar os fatores de risco que as cercam.

Quem desenvolve o piloto do SAN?

O piloto e a respectiva consultoria foram desenvolvidos em parceria entre duas universidades: o Centro de Análise de Dados Sociais (CSDA, na sigla em inglês para Centre for Social Data Analytics) da Universidade de Tecnologia de Auckland (AUT Ventures Limited) e o Laboratório de Inovação Pública (GobLab) da Universidade Adolfo Ibáñez.

O piloto – desenvolvido com recursos públicos por meio de edital público – foi concedido a essas duas universidades após o anúncio público feito em março de 2018 pelo presidente do Chile, Sebastián Piñera, a respeito do Grande Pacto Nacional pela Infância, que incluiu entre suas medidas a criação do um sistema de alerta precoce, denominado “Alerta Infantil”. O diretor do GobLab convidou a professora Rhema Vaithianathan, codiretora do Center for Social Data Analytics, ao Chile e, em Santiago, eles tiveram uma série de reuniões com autoridades.

Auditoria do SAN

Segundo informações do governo, “após alguns meses de funcionamento do Sistema Piloto de Alerta Infantil, foi identificada a necessidade de iniciar uma auditoria algorítmica para estudar e avaliar a hipotética existência de vieses, tanto nos dados utilizados para o treinamento do modelo quanto nas características utilizadas para o modelo de produção”. Os resultados implicariam a implementação de aprimoramento do modelo. Esta auditoria algorítmica foi financiada pelo Banco Interamericano de Desenvolvimento (BID) e realizada pela consultoria espanhola Eticas Research Consulting. O governo chileno negou-se a dividir conosco os resultados desta auditoria [T1] .

Controvérsia internacional sobre os sistemas

Nesta seção, mencionamos especificamente às controvérsias enfrentadas pelo CSDA e seus projetos:

Allegheny Family Screening Tool (AFST), EUA

A Ferramenta de Triagem Familiar de Allegheny (AFST, na sigla em inglês para Allegheny Family Screening Tool), é uma ferramenta de modelagem de risco preditiva projetada para auxiliar nas decisões de triagem das solicitações de bem-estar infantil no Condado de Allegheny, na Pensilvânia, EUA. O Center for Social Data Analytics desenvolveu o algoritmo.

Em seu livro, “Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor” [Automatizando a Desigualdade: Como as Ferramentas de Alta Tecnologia Perfilam, Policiam e Punem os Pobres, em tradução livre] (2018), a Dra. Virginia Eubanks menciona o AFST como exemplo de sistema que realiza sobreamostragem de famílias que dependiam de programas públicos de assistência e, por isso, tendia a vigiar e punir excessivamente as famílias pobres e da classe trabalhadora.

Um relatório entregue ao Chile pelo Center for Social Data Analytics analisa o caso AFST e menciona a controvérsia com Eubanks nos seguintes termos: “Uma exceção à tendência geral de relatórios positivos foi um livro de Virginia Eubanks (2018). Ela estava preocupada que o AFST consistisse em perfilamento da pobreza, isto é, que culminasse em mais crianças sendo removidas de suas famílias apenas porque eram pobres. O Condado contestou as alegações dela e postou uma refutação ponto a ponto em seu site” (tradução livre).

Efetivamente, após essa polêmica pública com o condado, Eubanks afirmou: “Meu ponto principal não é que devamos esperar para erradicar totalmente a pobreza antes de tentar melhorar os Serviços para Crianças, Jovens e Família, mas que a AFST só tem acesso aos dados coletados em famílias que usam serviços públicos, e não das que acessam recursos privados para apoio parental. Considerando que isso resultará em pontuações de risco mais altas e mais escrutínio de famílias pobres e da classe trabalhadora, acredito que o sistema é injusto e discriminatório” (tradução livre).

Vulnerable Children PRM, Nova Zelândia

A iniciativa foi realizada pelo governo da Nova Zelândia entre 2011 e 2015 para desenvolver um algoritmo que permitisse aos serviços de proteção à criança prever futuros maus-tratos infantis no momento do nascimento e impedi-los antes que ocorressem (Ballantyne,, 2019). Dois modelos foram criados, mas nenhum foi implementado. A versão 1 destinava-se ao uso com famílias cadastradas no sistema público de assistência social. A versão 2 devia ser usada quando uma criança nascesse. O projeto foi liderado pela Dra. Rhema Vaithianathan, à época parte da Universidade de Auckland, atualmente no CSDA, com o objetivo de construir um Modelo de Predição de Risco (PRM) a ser testado retrospectivamente em crianças nascidas entre 2003 e 2006 O objetivo era comparar as previsões do modelo com o que tinha realmente acontecido com as crianças. Tratava-se de um estudo puramente observacional. Nenhuma política foi alterada e nenhum funcionário da linha de frente teria acessado as pontuações fornecidas pela predição.

Não há informações claras sobre por que a implementação do sistema foi interrompida, mas, aparentemente, a Ministra responsável tinha preocupações éticas de que o estudo observacional pudesse identificar crianças em risco, sem resolver realmente caso algum (Ballantyne, 2019).

Mas o desconforto com o projeto também estava relacionado ao seu conteúdo. Anne Tolley, então Ministra do Desenvolvimento Social, disse ao Stuff em 2015: “Sobre para onde isso vai, existe outra grande questão ética. Porque sabe lá deus se nós realmente queremos pessoas com pranchetas batendo na porta das pessoas e dizendo: ‘Olá, sou do governo, estou aqui para ajudar porque seus filhos vão acabar na prisão?’ Eu simplesmente não vejo isso acontecendo” (tradução livre). A posição de Tolley ficou clara em sua anotação a um documento informativo, que dizia: “Não sob minha supervisão. Crianças não são ratos de laboratório” (tradução livre).

Controvérsias sobre o SAN no Chile

Assim que a criação do sistema foi anunciada publicamente, grupos da sociedade civil que trabalhavam em prol dos direitos da criança afirmaram que, além da vigilância, o sistema “implicava a imposição de uma forma específica de normatividade sociocultural”, também “validando socialmente formas de estigmatização, discriminação e até criminalização da diversidade cultural existente no Chile” (tradução livre). Isso afetava particularmente os povos indígenas, migrantes e pessoas de baixa renda, e ignorava que a crescente diversidade cultural “exigia maior sensibilidade, visibilidade e respeito, bem como a inclusão de abordagens culturalmente relevantes às políticas públicas” (Sociedad Civil de Chile Defensora de los Derechos Humanos del Niño et al., 2019). Nesse sentido, Francisca Valverde, do grupo de organizações Bloque por la Infancia e diretora executiva da Asociación Chilena Pro Naciones Unidas (ACHNU), argumenta que esse tipo de sistema estigmatiza as crianças pobres e não prestigia a proteção de crianças e adolescentes em diferentes territórios, incluindo os das classes sociais mais elevadas.

Análise

Em seus discursos públicos, o governo chileno destaca o “Alerta Infantil” como um mecanismo neoliberal de direcionamento de programas sociais, em vez de um software ou sistema de inteligência artificial.

A razão por trás disso pode ser estratégica, dada a polêmica que sistemas semelhantes ao SAN têm enfrentado tanto nos Estados Unidos quanto na Nova Zelândia. Isso faz total sentido quando documentos explicativos do governo, apresentados segundo a lei de acesso a informações e transparência, enfatizam repetidamente que o “Alerta Infantil” é uma fonte de informação adicional para os Escritórios Locais da Infância, mas que a decisão final é tomada por humanos. Na verdade, deve-se notar que esta última observação é uma das recomendações feitas pelo CSDA (Nova Zelândia) e GobLab (Chile), que analisaram os sistemas de I.A. dos EUA e da Nova Zelândia acima referidos (alguns dos quais foram desenvolvidos por parte da equipe do CSDA).

No entanto, parece difícil comprovar com evidências – neste ponto em que ainda é um modelo recente – que os resultados produzidos por um sistema de I.A. especialmente projetado para a situação não sejam considerados um fato neutro pelos assistentes sociais. Por um lado, pode haver pressões para que o façam, devido ao investimento feito no sistema e ao fato de que os Escritórios Locais da Infância terem sido concebidos a partir desta ferramenta tecnológica. Além disso, ainda não foi estudado como o sistema interage com os profissionais e se a alegada neutralidade das tecnologias digitais acaba influenciando a tomada de decisão final.

Em todo caso, a classificação de risco gerada pelo “Alerta de Infância” parece atender bem à lógica das políticas públicas neoliberais que o Chile tem implementado, especialmente no que diz respeito à infância, da ditadura de Augusto Pinochet (1973-1990) em diante. Por um lado, a abordagem do Estado à infância é permeada por discursos que concebem modelos lineares de desenvolvimento individual, que consideram quase que exclusivamente a dimensão psíquica individual, sem a inserir em processos governamentais que produzem consequências em outras dimensões igualmente relevantes das crianças; ou seja, a infância é vista não como sujeito capaz de afetar o tecido social, mas como um objeto que deve ser protegido do mundo adulto (Schöngut, 2017). Isso pode ser verificado, por exemplo, no uso da palavra “sintoma” (geralmente relacionada a alguma doença) pelo subsecretário da criança, ao se referir ao SAN:

“Estamos implantando um sistema de alerta denominado ‘Alerta Infantil’, que terá como objetivo prever os primeiros sintomas que, por exemplo, podem levar uma criança a abandonar a escola, ter o primeiro contato com drogas ou cometer um crime pela primeira vez, e assim começar a entender diretamente o que está acontecendo com aquela criança, com sua família. Tudo isso será feito por meio de cruzamento de informações, o que nos permitirá determinar quais crianças estão em fase de alerta ou em risco” (tradução livre).

A vulnerabilidade é associada ao conceito de “doença social” (definida pela evasão escolar, drogas e crime) e existem sintomas desta doença que incidem não só nas NNAs, mas também no seu ambiente. A Inteligência Artificial torna-se, então, uma ferramenta de diagnóstico automatizado que permite “ordenar a fila” (outra metáfora frequentemente usada pelas autoridades para se referir à I.A.) para tornar mais eficientes os programas oferecidos pelo Estado para prevenir doenças sociais.

Nesse sentido, em vez de oferecer um sistema focado nas garantias sociais, o Estado chileno automatiza as decisões de alocação, o que é um mecanismo clássico das políticas neoliberais, especialmente para as crianças, no Chile (Cubillos, 2019). Assim, o SAN buscaria, mais do que pontuar crianças e adolescentes, reduzir gastos por meio do aumento da eficácia das intervenções programáticas, oferecendo à tecnocratização neoliberal o fundamento para decisões automatizadas dadas pela tecnologia de ponta. A propósito, este instrumento foi projetado e implantado sem debate público no país. Nesse sentido, é interessante como as autoridades recorrem ao lado inovador das tecnologias para apresentar como revolucionário um instrumento que, ao contrário, perpetua uma política que no Chile tem mais de 40 anos. A subsecretária de Avaliação Social, Alejandra Candia, disse:

“Este instrumento inovador de focalização preventiva permitirá ao Governo mudar o curso de vida de centenas de crianças em risco de vulnerabilidade, permitindo-nos alcançar quem necessita de ajuda a tempo de evitar situações complexas que muitas vezes acabam sendo irreversíveis para elas e também para suas famílias” (tradução livre).

Contratando com o discurso do governo, há o dos desenvolvedores do piloto do SAN, realizado no ambiente acadêmico por dois centros especializados que trabalham com dados em universidades da Nova Zelândia e do Chile. Esse aspecto pode ser o motivo pelo qual nenhuma das palavras típicas da tecnologia, como inovação, modernidade e futuro, apareça nas suas conclusões.

Apesar dessa ausência, os desenvolvedores afirmam reiteradamente que a I.A. é uma tecnologia desejável: embora mencionem as possibilidades de melhorias e a necessidade de sempre verificar a qualidade, em nenhum momento a questionam enquanto tecnologia ou ferramenta válida de apoio a políticas públicas. Mais do que responder às críticas sobre o sistema, eles recomendam preparar-se com antecedência para tais críticas e ter as respostas à mão.

Nesse sentido, seu raciocínio nas conclusões e recomendações concentra-se em enfatizar o conceito de “aceitabilidade do serviço” pela sociedade. Em primeiro lugar, isso sugere que os desenvolvedores entendem que as tecnologias são parte de sistemas sociotécnicos (“Mesmo os serviços mais bem projetados do mundo podem não ter sucesso se as famílias não os adotarem”, em Vaithianathan, 2019, tradução livre). E em segundo lugar – e como apontamos anteriormente –, isso pode ser devido à experiência dos desenvolvedores com críticas à implementação de outros sistemas em que trabalharam.

A “aceitabilidade do serviço” não é um conceito estritamente tecnológico, mas comunicacional. Basicamente, consiste em melhorar a comunicação para apresentar o PRM à sociedade. Não se trata de introduzir uma melhoria no sistema ou simplesmente de não o implementar. Em vez disso, trata-se de tirar vantagem da capacidade dos humanos de induzir e seduzir por meio da comunicação a respeito de sistemas não humanos. Em outras palavras, a “aceitabilidade do serviço” é um fator humano que, de certa forma, blinda a máquina da obrigação de entregar responsabilização social.

Assim, por exemplo, muitas das recomendações dos desenvolvedores do piloto giram em torno da capacitação de pessoas para melhorar a comunicação sobre o PRM. Em primeiro lugar, sugerem que a apresentação do sistema à comunidade afetada deva ser formulada de forma “positiva”, com base na ideia deliberada de, por um lado, esconder que o que o PRM fornece é precisamente uma classificação de risco social:

“O MDSF (Ministério do Desenvolvimento Social e Família) também deve considerar cuidadosamente como essas famílias são contatadas. Preparar diretrizes para trabalhadores do Ministério da linha de frente que equilibrem a necessidade de transparência com o desejo de ter famílias contatadas com uma formulação positiva, em vez de uma abordagem baseada na carência que enfatize os fatores de risco na vida da família”. (Vaithianathan et al, 2019, tradução livre)

E, por outro lado, recomenda-se que o Ministério identifique áreas onde a necessidade de apoio do Estado obrigue os cidadãos a aceitarem a implementação do PRM sem maiores questionamentos:

“É nossa recomendação que o MDSF se concentre no piloto com recém-nascidos, já que este é um momento de grande necessidade, mas também um momento em que as famílias estão abertas a aceitar apoio adicional.” (Vaithianathan et al, 2019, tradução livre).

A “aceitabilidade do serviço” como um escudo contra a responsabilização social do sistema não humano fica clara quando problemas hipotéticos de “desigualdade” do sistema são tratados, especificamente no que diz respeito a “raça” e situação socioeconômica. Sobre este último aspecto, em vez de vê-lo como um círculo de estigmatização da pobreza – tal como a crítica feita por Eubanks (2018) –, eles consideram o potencial do sistema de discriminar crianças e adolescentes mais ricos (embora estes não interajam com o sistema). Em qualquer caso, os escudos humanos devem arcar com os custos do software tendencioso: “Isso sugere que o pessoal da linha de frente deve estar mais atento para avaliar os fatores de risco entre as famílias mais ricas que tiverem sido alertadas” (Vaithianathan et al, 2019, tradução livre).

Além disso, é estranha a forma como os desenvolvedores descartam com tanta facilidade o viés de “raça” do SAN. Os desenvolvedores declararam: “No contexto chileno, sinceramente não vemos preocupações semelhantes em relação à raça” (Vaithianathan et al, 2019, tradução livre). É difícil entender o motivo dessa afirmação. Por um lado, como já mencionamos neste documento, as críticas públicas de organizações ligadas aos direitos da criança apontaram especificamente a discriminação racial como um problema. Além disso, há farta literatura sobre racismo e xenofobia no Chile (Tijoux, 2016). Da mesma forma, sequer examinam o problema da discriminação na perspectiva do desenvolvimento do sistema, e não apenas da coleta de dados. Essas omissões causam real preocupação, especialmente considerando as evidências de quão perigosa pode ser a ideia racista de acreditar que algoritmos não enxergam a cor da pele (Benjamin, 2019).

Outro argumento defendido pelos desenvolvedores é o da “licença social” para o uso de dados pessoais, que consistiria na legitimação pela sociedade do uso de tais dados. Em sua opinião, as críticas dirigidas à lei chilena de proteção de dados pessoais (promulgada em uma época em que o uso da Internet não era massivo) poderiam predispor o SAN a críticas. Porém, além de atender aos baixos padrões da legislação chilena, o que seria importante para o funcionamento dos sistemas de Inteligência Artificial seria a “licença social”:

“Felizmente, no Chile, o problema de obter uma licença social é um pouco mais simples, pois os cidadãos estão acostumados a terem seus dados tratados para estratificar sua situação socioeconômica com o objetivo de receber benefícios sociais. Essa prática conta com uma forte licença social devido aos benefícios que traz para famílias carentes”. (Vaithianathan et al, 2019, tradução livre).

No contexto do extrativismo de dados necessário para a Inteligência Artificial, é interessante que os desenvolvedores usem o conceito de “licença social”, que foi popularizado pelas Nações Unidas em 2004 para incentivar as empresas (principalmente nos setores extrativistas) a envolver os povos indígenas na seus projetos e obter seu consentimento antes de os implementar. O consentimento precisa ser livre, prévio e informado. Cabe perguntar se, no caso do SAN, existe consentimento adequado e, portanto, “licença social”, considerando que o uso de dados pessoais dos “beneficiários” anda de mãos dadas com o apoio do Estado, sem menção explícita a classificações de risco de vulnerabilidade quando o Estado pede o consentimento das famílias (Valderrama, 2021), e quando os desenvolvedores parecem acreditar que o “costume” de fornecer dados pessoais ao Estado é uma boa fonte de legitimidade.

Conclusão

A abordagem da infância vulnerável é uma abordagem neoliberal clássica, aplicada por organizações como o Banco Mundial na região, e provém da visão da pobreza como um problema individual (não sistêmico) e dos assistentes sociais como protetores de pessoas “em risco” (Muñoz Arce, 2018). O SAN, nesse contexto, é uma excelente oportunidade para refletir se esses sistemas permitirão ao Estado chegar mais cedo e mais bem preparado às crianças e adolescentes em risco social ou se, ao final, apenas aplicar o princípio neoliberal de controlar gastos sociais por meio de intervenções individuais mais eficientes. Seja qual for a resposta, é essencial questionar como essa tecnologia automatiza e confere o status de resoluções tecnológicas às decisões ideológicas baseadas nos princípios neoliberais (Alston, 2019).

Em sintonia com a lógica neoliberal, o SAN responde à tecnocratização das políticas públicas. Os níveis de participação na sua concepção e a transparência do processo são questionáveis, o que impacta a própria democracia. Em particular, as próprias pessoas afetadas por esses sistemas, ou seja, crianças e adolescentes pobres e suas famílias, nem mesmo são objeto de consulta, uma vez que não são reconhecidas como partes interessadas. Da mesma forma, o consentimento ao uso de dados com o objetivo de receber ou não apoio do Estado e sequer informar sobre a classificação preditiva de risco social realizada abre toda uma discussão ética sobre esses sistemas, que segue sem solução.

A adoção apressada desses instrumentos neoliberais também é preocupante porque é difícil dissolvê-los uma vez adotados (Eubanks, 2018). Isso é ainda mais preocupante se considerarmos os protestos contra políticas neoliberais em vários países da região nos últimos anos, que culminaram inclusive em um novo processo constitucional, como é o caso do Chile.

Da mesma forma, há evidências de que o uso de I.A. para prever possíveis vulnerabilidades não apenas não funciona bem no atendimento social de crianças e adolescentes (Clayton et al., 2020), como também acaba sendo bastante oneroso para os Governos, pelo menos nos estágios iniciais, o que parece contrariar a doutrina neoliberal (Bright et al. 2019).

Embora exista a noção de tecnologias como um sistema sociotécnico, a concepção da I.A. como um processo objetivo é predominante, tanto na coleta quanto no tratamento de dados. Isso é preocupante de várias maneiras. Primeiro, porque Governos e desenvolvedores prestam pouca atenção aos vieses de classe social e raça, reafirmando a ideia racial do daltonismo racial (colorblindness) (Noble, 2018; Benjamin, 2019).

Em segundo lugar, espera-se que as falhas da tecnologia na previsão de risco entre crianças e adolescentes sejam blindadas pela intervenção humana, dando à máquina uma certa impunidade para continuar trabalhando. No entanto, não há estudos de campo no caso sob análise que considerem como os assistentes sociais que interagem com a máquina lidam com o “viés de automação”, entendido como a maior valorização da informação automatizada do que de nossas próprias experiências (Bridle, 2018).

Convidamos as feministas a examinarem o SAN e esses modelos de risco social pelo menos sob duas perspectivas: primeiro, para questionar se big data e inteligência artificial conseguiriam algum dia refletir os elementos estruturais que influenciam o risco de vulnerabilidade e desigualdades sociais de nossas sociedades, ou se seriam apenas uma forma de conferir objetividade à responsabilidade dos indivíduos por meio dos dados entregues ao Estado. E, em segundo, como o SAN e esses modelos de risco social são um desenvolvimento da ideia de dados incorpóreos, em que as tecnologias artificialmente abstraem corpos, identidades e interações dos seus contextos sociais para ocultar seu funcionamento enquanto ferramenta de controle social, agravando suas consequências sobre as desigualdades sociais (Monahan, 2019).

Quadro Analítico da I.A. Opressiva elaborado por Joana Varon e Paz Peña. Design de Clarote para notmy.ai

Pedidos de transparência enviados ao governo chileno, respostas e documentos oficiais sobre o projeto:

Bibliografia

Alston, Philip. 2019. Report of the Special rapporteur on extreme poverty and human rights. Promotion and protection of human rights: Human rights questions, including alternative approaches for improving the effective enjoyment of human rights and fundamental freedoms. A/74/48037. Seventy-fourth session. Item 72(b) of the provisional agenda.

Ballantyne, N. (2019). THE ETHICS AND POLITICS OF HUMAN SERVICE TECHNOLOGY: THE CASE OF PREDICTIVE RISK MODELING IN NEW ZEALAND’S CHILD PROTECTION SYSTEM. January 2019The Hong Kong Journal of Social Work 53(01n02):15-27 DOI: 10.1142/S0219246219000044

Bridle, J. (2018). New Dark Age: Technology, Knowledge and the End of the Future. Verso Books.

Bright, J., Bharath, G., Seidelin, C., & Vogl, T. M. (2019). Data Science for Local Government (April 11, 2019). Available at SSRN: https://ssrn.com/abstract=3370217 or http://dx.doi.org/10.2139/ssrn.3370217

Clayton, V., Sanders, M., Schoenwald, E., Surkis, L. & Gibbons, D. (2020) MACHINE LEARNING IN CHILDREN’S SERVICES SUMMARY REPORT. What Works For Children’s Social Care. UK.

Cubillos Celis, P. (2019). Neoliberalismo, focalización e infancia en Chile: 1973-2010. Revista Mexicana de Sociología, 81(3). doi:http://dx.doi.org/10.22201/iis.01882503p.2019.3.57923

Monahan, T. (2009). Dreams of Control at a Distance: Gender, Surveillance, and Social Control. Cultural Studies. Critical Methodologies, 9(2), 286–305. https://doi.org/10.1177/1532708608321481

Muñoz Arce, G. (2018): The neoliberal turn in Chilean social work: frontline struggles against individualism and fragmentation, European Journal of Social Work, DOI: 10.1080/13691457.2018.1529657

Schöngut, N. (2017). Ensamblajes socio-técnicos para la producción de intervenciones psicosociales en un programa del Servicio Nacional de Menores de Chile. Psicoperspectivas. Individuo y Sociedad, Vol. 16, No. 3.

Sociedad Civil de Chile Defensora de los Derechos Humanos del Niño et al. (2019, 28 enero). Día Internacional de la protección de datos. Carta abierta de la Sociedad Civil de Chile Defensora de los Derechos Humanos del Niño. ONG Emprender con Alas.

Tijoux, M.E. (2016). Racismo en Chile. La piel como marca de la inmigración. Editorial: Universitaria. Santiago, Chile.

Vaithianathan, R., Benavides, D., Taskova, K., Hermosilla, MP., Letelier, A., Escobar, J., Garretón, M. & Kulick, E. (2019). Informe Final: Propuesta de instrumento de focalización para la identificación de niños, niñas y adolescentes en riesgo de vulneración de derechos. “Construcción del Instrumento de Focalización Alerta de Niñez”. 730566-13-LQ18. 27 de junio de 2019. Universidad Adolfo Ibáñez (UAI), Chile y Auckland University of Technology (AUT), Nueva Zelanda.

Valderrama, M. (2021). Chile: Sistema Alerta Niñez y la predicción del riesgo de vulneración de derechos de la infancia. Derechos Digitales.