Blindando al neoliberalismo: «Aceptabilidad social» para evitar la rendición de cuentas a la sociedad de la IA

Paz Peña

Estudio de caso: Sistema Alerta Niñez (SAN) – Chile

El Sistema de Alerta Niñez (SAN) es un software que complementa los datos recogidos en Chile por las denominadas Oficinas Locales de la Niñez (OLN), con el fin de apoyar la toma de decisiones de los gestores de estas OLN a la hora de ofrecer apoyo a los niños y sus familias, considerando las necesidades individuales de cada niño, niña y adolescente (NNA), así como los factores familiares y ambientales.

Varias solicitudes de información pública presentadas al gobierno han dejado en claro que SAN es una herramienta adicional -y no la principal- con la que cuentan estos gestores para priorizar los casos identificados a través de las alertas in situ, es decir, aquellas generadas y verificadas por las personas que interactúan directamente con los niños, niñas y adolescentes (NNA) y sus familias. Sin embargo, como ha señalado Derechos Digitales en su informe sobre el sistema, primero se diseñó el sistema de IA y luego vino la institucionalidad con la creación de las OLN.

El software se basa en el uso de Modelos Predictivos de Riesgo (MPR). Su objetivo es identificar a los niños, niñas y adolescentes (NNA) que se encuentran en riesgo de vulneración de derechos y a las familias que requieren apoyo para potenciar su rol de brindar protección a la infancia, a partir de datos administrativos, detectando un conjunto de condiciones individuales, familiares, ambientales y de pares que tienden a presentarse cuando existe un alto riesgo de vulneración de derechos.

La idea es que la herramienta se ejecute periódicamente (por ejemplo, una vez al mes) a través de la lista de niños y adolescentes (NNA) en las bases de datos del Ministerio de Desarrollo Social y Familia (MDSF). La herramienta puntúa a cada individuo. El puntaje puede ser utilizado para priorizar a los NNA y familias ya conocidas por el software, como los identificados por los profesionales que interactúan con los NNA y sus familias en el sistema de protección social, caso de los trabajadores de Chile Crece Contigo (ChCC).

Además, los NNA que obtuvieran un mayor puntaje de riesgo y que aún no estuvieran en contacto con otros programas del Estado podrían ser contactados proactivamente. Según el gobierno, la priorización tiene un propósito preventivo, bajo la responsabilidad de la Oficina Local de la Infancia, que brindará programas de apoyo y prevención beneficiosos para el NNA y su familia.

Para identificar a los NNA en estas circunstancias, fue necesario entrenar el modelo a través del análisis de los NNA que ya habían sido objeto de vulneración de sus derechos, para luego estudiar su trayectoria de vida e identificar las condiciones familiares que vivían estos NNA antes de que se produjeran las vulneraciones. Los niños, niñas y adolescentes que enfrentan estas condiciones en la actualidad serían los que podrían – potencialmente – necesitar apoyo para mitigar los factores de riesgo que los rodean.

¿Quién desarrolla el piloto SAN?

El piloto y la consultoría asociada se desarrollaron en asociación entre dos universidades: el Centre for Social Data Analytics (CSDA) de la Auckland University of Technology (AUT Ventures Limited) y el Public Innovation Laboratory (GobLab) de la Universidad Adolfo Ibáñez.

El piloto -que se desarrolló con fondos públicos a través de un proceso de licitación pública- fue adjudicado a estas dos universidades tras el anuncio público realizado en marzo de 2018 por el presidente chileno Sebastián Piñera sobre el Gran Acuerdo Nacional por la Infancia, que incluía entre sus medidas la creación de un sistema de alerta temprana, denominado «Alerta Infancia». El director de GobLab invitó a Chile al profesor Rhema Vaithianathan, codirector del Centre for Social Data Analytics, y en Santiago mantuvieron una serie de reuniones con autoridades.

Auditorías del SAN

Según la información del gobierno, «tras unos meses de funcionamiento del Sistema Piloto de Alerta Infantil, se identificó la necesidad de iniciar una auditoría algorítmica para estudiar y evaluar la hipotética existencia de sesgos, tanto en los datos utilizados para el entrenamiento del modelo como en las características utilizadas para el modelo de producción». Los resultados implicarían la aplicación de una mejora del modelo. Esta auditoría algorítmica fue financiada por el Banco Interamericano de Desarrollo (BID) y realizada por la consultora española Eticas Research Consulting. El gobierno chileno rechazó la posibilidad de conocer los resultados de esta auditoría.

Polémica internacional sobre los sistemas

En esta sección, nos referimos específicamente a las controversias a las que se enfrentan los CSDA y sus proyectos:

Allegheny Family Screening Tool (AFST), EE.UU.

Allegheny Family Screening Tool (AFST), es una herramienta de modelado de riesgo predictivo diseñada para ayudar a tomar decisiones de detección de llamadas de bienestar infantil en el condado de Allegheny, en Pensilvania, Estados Unidos. El Centro de Análisis de Datos Sociales desarrolló el algoritmo.

En su libro «Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor» (2018), la Dra. Virginia Eubanks se refiere al AFST como un ejemplo de un sistema que sobremuestrea los hogares que dependen de los programas de asistencia pública y, por lo tanto, tienden a sobrevigilar y sobrecastigar a las familias pobres y de clase trabajadora.

Un informe entregado a Chile por el Centro de Análisis de Datos Sociales analiza el caso de la AFST y se refiere a la polémica con Eubanks de la siguiente manera: «Una excepción a la tendencia general de informes positivos fue un libro de Virginia Eubanks (2018). A ella le preocupaba que AFST representara la elaboración de perfiles de pobreza, es decir, que culminara con la retirada de más niños de sus familias solo por ser pobres. El Condado rebatió sus afirmaciones y publicó una refutación punto por punto en su sitio web.»

Efectivamente, tras esta polémica pública con el condado, Eubanks declaró «Mi punto más importante no es que debamos esperar a erradicar por completo la pobreza antes de intentar mejorar los Servicios para Niños, Jóvenes y Familias, sino que la AFST sólo tiene acceso a los datos recogidos sobre las familias que utilizan los servicios públicos, no sobre las que acceden a recursos privados de apoyo a la crianza. Debido q que esto dará lugar a puntuaciones de riesgo más altas y a un mayor escrutinio de las familias pobres y de clase trabajadora, creo que el sistema es injusto y discriminatorio.»

Vulnerable Children PRM, Nueva Zelanda

La iniciativa fue emprendida por el gobierno neozelandés entre 2011 y 2015 para desarrollar un algoritmo que permitiera a los servicios de protección infantil predecir el futuro maltrato infantil en el momento del nacimiento y adelantarse a él antes de que se produzca (Bellanyne, 2019). Se crearon dos modelos, pero ninguno se implementó. La versión 1 estaba destinada a utilizarse con las familias registradas en el sistema de bienestar público. La versión 2 era para utilizarla cuando nacía un niño. El proyecto fue dirigido por el Dr. Rhema Vaithianathan, entonces de la Universidad de Auckland, ahora en el CSDA, con el fin de construir un modelo de riesgo predictivo para ser probado retrospectivamente para los niños nacidos entre 2003 y 2006. El objetivo era cotejar las predicciones del modelo con lo que realmente les había ocurrido a los niños. Se trataba de un estudio puramente observacional. Ninguna política cambió y ningún trabajador de primera línea tuvo acceso a las puntuaciones de las predicciones.

No hay información clara sobre el motivo por el que se detuvo la implantación del sistema, pero al parecer, el ministro responsable tenía reservas éticas por el hecho de que el estudio observacional podría identificar a las y los niños en riesgo, pero no abordar realmente ningún caso (Bellanyne, 2019).

Pero el malestar con el proyecto también estaba relacionado con su contenido. Anne Tolley, entonces ministra de Desarrollo Social dijo a Stuff en el 2015: «A partir de ahí, adónde va es otra gran cuestión ética. Porque, Dios sabe, ¿realmente queremos que personas con portapapeles toquen a la puerta de la gente y digan: ‘Hola, soy del gobierno, estoy aquí para ayudarle puesto sus hijos van a terminar en la cárcel’? Eso no va a ocurrir». La posición de Tolley quedó clara con su nota en el documento informativo: «No mientras yo esté a cargo. Los niños no son ratas de laboratorio».

Controversias sobre el SAN en Chile

Tan pronto como se anunció públicamente la creación de este sistema, los grupos de la sociedad civil que trabajan por los derechos de los NNA afirmaron que, además de la vigilancia, el sistema «implicaba la imposición de una cierta forma de normatividad sociocultural», también «validando socialmente formas de estigmatización, discriminación e incluso criminalización de la diversidad cultural existente en Chile». Esto particularmente afectaría a los pueblos indígenas, a los migrantes y a las personas de bajos ingresos, e ignoraría que la creciente diversidad cultural «exige mayor sensibilidad, visibilidad y respeto, así como la inclusión de enfoques culturalmente relevantes en las políticas públicas» (Sociedad Civil de Chile Defensora de los Derechos Humanos del Niño et al., 2019). En este sentido, Francisca Valverde, de la agrupación de organizaciones Bloque por la Infancia y directora ejecutiva de la Asociación Chilena Pro Naciones Unidas (ACHNU), sostiene que este tipo de sistema estigmatiza a las y los niños pobres y no pone énfasis en la protección de los NNA de los distintos territorios, incluidos los de clases sociales más altas.

Análisis

En sus discursos públicos, el gobierno chileno destaca al sistema de «Alerta de Infancia» como un mecanismo neoliberal de focalización de programas sociales y no como un software o sistema de inteligencia artificial.

La razón de ello puede ser estratégica, dada la controversia que sistemas similares al SAN han enfrentado tanto en Estados Unidos como en Nueva Zelanda. Esto tiene mucho sentido cuando los documentos explicativos del gobierno, facilitados en virtud de la legislación sobre transparencia, subrayan repetidamente que la SAN es una fuente más de información para las Oficinas Locales de Infancia, pero que la decisión final la toman los humanos. De hecho, cabe señalar que esta última observación es una de las recomendaciones realizadas por CSDA (Nueva Zelanda) y GobLab (Chile), que analizaron los sistemas de IA de EE.UU. y Nueva Zelanda mencionados anteriormente (algunos de los cuales fueron desarrollados por parte del equipo de CSDA).

Sin embargo, parece difícil demostrar con pruebas -en este punto en el que todavía es un modelo reciente- que los resultados producidos por un sistema de IA especialmente diseñado para la ocasión no sean considerados como un hecho neutral por los trabajadores sociales. Por un lado, puede haber presiones para que lo hagan, debido a la inversión realizada en el sistema y a que las Oficinas Locales de Infancia fueron diseñadas considerando esta herramienta tecnológica. También, porque aún no se ha estudiado cómo interactúa el sistema con los profesionales y si la supuesta neutralidad de las tecnologías digitales acaba influyendo en la toma de decisiones finales.

En todo caso, el puntaje de riesgo generado por «Alerta Infancia» parece servir bien a la lógica de las políticas públicas neoliberales que Chile ha implementado, especialmente en materia de infancia, desde la dictadura de Augusto Pinochet (1973-1990) en adelante. Por un lado, el enfoque estatal de la infancia está permeado por discursos que conciben modelos lineales de desarrollo individual, que consideran casi exclusivamente la dimensión psíquica individual, sin insertarla en procesos gubernamentales que producen consecuencias en otras dimensiones igualmente relevantes de los niños y niñas; es decir, la infancia es vista no como un sujeto capaz de incidir en el tejido social, sino como un objeto que debe ser protegido del mundo adulto (Schöngut, 2017).

Esto se puede ver, por ejemplo, en el uso de la palabra «síntoma» (generalmente relacionada con alguna enfermedad) por parte de la subsecretaria de la infancia, al referirse a la SAN:

«Estamos implementando un sistema de alerta que se llama «Alerta Infantil», que tendrá como objetivo prever los primeros síntomas que, por ejemplo, pueden llevar a un niño a abandonar la escuela, a tener su primer contacto con las drogas o a cometer un delito por primera vez, y así empezar a entender directamente lo que le está pasando a ese niño, a su familia. Todo esto se hará mediante el cruce de información, que permitirá determinar qué niños están en fase de alerta o de riesgo».

La vulnerabilidad está asociada al concepto de «enfermedad social» (determinada por la deserción escolar, las drogas y la delincuencia) y hay síntomas de esta enfermedad que se centran no sólo en los NNA sino también en su entorno. La Inteligencia Artificial, entonces, se convierte en una herramienta de diagnóstico automatizado que permite «ordenar la fila» (otra metáfora frecuentemente utilizada por las autoridades para referirse a la IA) para hacer más eficientes los programas que ofrece el Estado para prevenir las enfermedades sociales.

En este sentido, en lugar de ofrecer un sistema centrado en las garantías sociales, el Estado chileno automatiza las decisiones de focalización, mecanismo clásico de las políticas neoliberales, especialmente para la infancia, en Chile (Cubillos, 2019). Así, la SAN buscaría, más allá de la focalización de los niños, niñas y adolescentes, reducir el gasto a través de una mayor efectividad de las intervenciones programáticas, ofreciendo a la tecnocratización neoliberal el fundamento de las decisiones automatizadas por la tecnología de punta. Por cierto, este instrumento ha sido diseñado y desplegado sin una conversación abierta en el país. En este sentido, es interesante cómo las autoridades aprovechan el lado innovador de las tecnologías para presentar como revolucionario un instrumento que, por el contrario, perpetúa una política que en Chile tiene más de 40 años. La subsecretaria de Evaluación Social, Alejandra Candia, dijo:

«Este innovador instrumento de focalización preventiva permitirá al Gobierno cambiar el curso de vida de cientos de niños en riesgo de vulnerabilidad, permitiendo llegar a tiempo a quienes requieren ayuda para evitar situaciones complejas que muchas veces terminan siendo irreversibles para ellos y también para sus familias».

En contraste con el discurso del gobierno, está el de los desarrolladores del piloto del SAN, llevado a cabo en el ámbito académico por dos centros especializados que trabajan con datos en universidades de Nueva Zelanda y Chile. Este aspecto puede ser la razón de que no aparezca en sus conclusiones el lenguaje típico de la tecnología, como la innovación, la modernidad y el futuro.

A pesar de esta ausencia, los desarrolladores afirman repetidamente que la IA es una tecnología deseable: aunque hacen referencia a las posibilidades de mejora y a la necesidad de comprobar siempre la calidad, en ningún momento la cuestionan como tecnología ni como herramienta válida para apoyar las políticas públicas. Más que responder a las críticas sobre el sistema, recomiendan prepararse de antemano para ellas y tener las respuestas a mano.

En este sentido, su razonamiento en las conclusiones y recomendaciones se centra en destacar el concepto de «aceptabilidad del servicio» por parte de la sociedad. Por un lado, esto sugiere que los desarrolladores entiendan que las tecnologías forman parte de los sistemas sociotécnicos («Incluso los servicios mejor diseñados del mundo podrían no tener éxito si las familias no los adoptan», en Vaithianathan, 2019). Y, en segundo lugar -y como indicamos anteriormente- esto puede deberse a la experiencia de los desarrolladores con las críticas sobre la implementación de otros sistemas en los que han trabajado.

La «aceptabilidad del servicio» no es un concepto estrictamente tecnológico, sino comunicacional. Básicamente, consiste en mejorar la comunicación para presentar el MPR a la sociedad. No se trata de introducir una mejora en el sistema ni de no implementarlo. Se trata más bien de aprovechar la capacidad de los humanos para inducir y seducir comunicacionalmente sobre los sistemas no humanos. En otras palabras, la «aceptabilidad del servicio» es un factor humano que, en cierto modo, protege a la máquina de proveer a la sociedad una rendición de cuentas.

Así, por ejemplo, muchas de las recomendaciones de los desarrolladores del piloto giran en torno a la formación de los humanos para mejorar la comunicación sobre el MPR. En primer lugar, sugieren que la presentación del sistema a la comunidad afectada debe formularse de forma «positiva», partiendo de la idea deliberada de, por un lado, ocultar que lo que la MPR proporciona precisamente es una clasificación del riesgo social:

«El MDSF (Ministerio de Desarrollo Social y de la Familia) debería también considerar cuidadosamente cómo se contacta con estas familias. Preparar directrices para los trabajadores de primera línea del Ministerio que equilibren la necesidad de transparencia con el deseo de que las familias sean contactadas con una formulación positiva, en lugar de un enfoque basado en las deficiencias que enfatiza los factores de riesgo en la vida de la familia» (Vaithianathan et al, 2019).

Y, por otro lado, se recomienda que el Ministerio identifique las áreas en las que la necesidad de apoyo por parte del Estado fuerza a los ciudadanos a aceptar la aplicación del MPR sin más cuestionamientos:

«Es nuestra recomendación que el MDSF se centre en el piloto con los recién nacidos, ya que es un momento de alta necesidad, pero también un momento en el que las familias están abiertas a aceptar un apoyo adicional.» (Vaithianathan et al, 2019).

La «aceptabilidad del servicio» como escudo frente a la rendición de cuentas del sistema no humano a la sociedad, se pone de manifiesto cuando se abordan los hipotéticos problemas de «desigualdad» del sistema, concretamente en lo relativo a la «raza» y al estatus socioeconómico. Sobre este último aspecto, en lugar de verlo como un círculo de estigmatización de la pobreza -como ha sido la crítica de Eubanks (2018)-, consideran su potencial para discriminar a los niños y adolescentes más ricos (aunque no interactúen con el sistema). En cualquier caso, los escudos humanos deben asumir los costes del sesgo del software: «Esto indica que el personal de primera línea debería estar más atento a la evaluación de los factores de riesgo entre las familias más ricas que han sido alertadas» (Vaithianathan et al, 2019).

Además, es extraño que los desarrolladores descarten tan fácilmente el sesgo de «raza» en el SAN. Los promotores han declarado: «En el contexto chileno, francamente, no vemos preocupaciones similares con respecto a la raza» (Vaithianathan et al, 2019). Es difícil entender la razón de esta afirmación. Por un lado, como ya hemos mencionado en este documento, las críticas públicas de organizaciones cercanas a los derechos de la infancia señalan específicamente a la discriminación racial como un problema. Además, existe abundante literatura sobre el racismo y la xenofobia en Chile (Tijoux, 2016). Asimismo, ni siquiera examinan el problema del sesgo desde el punto de vista del desarrollo del sistema, y no sólo desde la recolección de datos. Estas omisiones son realmente preocupantes, sobre todo si se considera la evidencia sobre lo peligrosa que puede ser la idea racista de creer que los algoritmos no ven el color de la piel (Benjamin, 2019).

Otro argumento defendido por los promotores es la «licencia social» para el uso de datos personales, que consistiría en que la sociedad legitima el uso de dichos datos. En su opinión, las críticas dirigidas a la ley chilena de protección de datos personales (promulgada en una época en la que el uso de Internet no era masivo) pueden predisponer a SAN a las críticas. Sin embargo, además de cumplir con los bajos estándares de la legislación chilena, lo importante para el funcionamiento de los sistemas de Inteligencia Artificial sería la «licencia social»:

«Afortunadamente, en Chile, el problema de la obtención de la licencia social es algo más sencillo, ya que es costumbre de los ciudadanos que sus datos sean procesados para estratificar su condición socioeconómica con el fin de focalizar los beneficios sociales. Esta práctica ha tenido una fuerte licencia social debido a los beneficios que aporta a las familias necesitadas». (Vaithianathan et al, 2019).

En el contexto del extractivismo de datos necesario para la Inteligencia Artificial, es interesante que los desarrolladores utilicen el concepto de «licencia social», que fue popularizado por las Naciones Unidas en 2004 para alentar a las empresas (principalmente en los sectores extractivos) a involucrar a los pueblos indígenas en sus proyectos y obtener su consentimiento antes de implementarlos. El consentimiento tiene que ser libre, previo e informado. Cabe preguntarse si en SAN existe un consentimiento adecuado y, por tanto, una «licencia social», teniendo en cuenta que el uso de los datos personales de los «beneficiarios» va de la mano del apoyo del Estado, que no hay ninguna mención explícita a los rankings de riesgo de vulnerabilidad cuando el Estado busca el consentimiento de las familias (Valderrama, 2021), y que sus promotores parecen creer que la «costumbre» de proporcionar datos personales al Estado es una buena fuente de legitimidad.

Conclusión

El enfoque de infancia vulnerable es una clásica toma neoliberal, impuesta por entidades como el Banco Mundial en la región, y proviene de la idea de la pobreza como un problema individual (no sistémico) y de los asistentes sociales como protectores de las personas «en riesgo» (Muñoz Arce, 2018). SAN, en este contexto, es una excelente oportunidad para pensar si estos sistemas permiten que el Estado llegue antes y mejor preparado a los niños y adolescentes en riesgo social o al final sólo siguen el principio neoliberal de controlar el gasto social haciendo más eficientes las intervenciones individuales. Sea cual sea la respuesta, es imprescindible cuestionar cómo esta tecnología automatiza y otorga el grado de resoluciones tecnológicas a las decisiones ideológicas basadas en los principios neoliberales (Alston, 2019).

En continuidad con la lógica neoliberal, SAN responde a la tecnocratización de las políticas públicas. Los grados de participación en su diseño y la transparencia del proceso son dudosos, lo que se traduce en un impacto en la propia democracia. En particular, las mismas personas afectadas por estos sistemas, es decir, los niños, niñas y adolescentes pobres y sus familias, ni siquiera son objeto de consulta ya que no se les reconoce como partes interesadas. Asimismo, el consentimiento para utilizar sus datos presentados para obtener o no el apoyo del Estado o ni siquiera informar sobre esta clasificación predictiva de riesgo social abre toda una discusión sobre la ética de estos sistemas que no ha sido resuelta.

La adopción apresurada de estos instrumentos neoliberales también es preocupante porque es difícil disolverlos una vez adoptados (Eubanks, 2018). Esto es aún más preocupante si consideramos las protestas contra las políticas neoliberales en varios países de la región en los últimos años, que han terminado incluso en un nuevo proceso constitucional, como es el caso de Chile.

Asimismo, hay evidencias de que el uso de la IA para predecir posibles vulnerabilidades no sólo no funciona bien en la atención social de niños y adolescentes (Clayton et al., 2020), sino que acaba siendo bastante costoso para los Estados, al menos en las primeras etapas, lo que parece ser contrario a la doctrina neoliberal (Bright et al. 2019).

Aunque existe la noción de las tecnologías como un sistema sociotécnico, prevalece la concepción de la IA como un proceso objetivo, tanto en la recolección como en el procesamiento de datos. Esto es preocupante en varios sentidos. Primero, porque los Estados y los desarrolladores prestan poca atención al sesgo de clase social y de raza, repitiendo la idea racial de «no tener color» (Noble, 2018; Benjamin, 2019).

En segundo lugar, se espera que los errores de la tecnología en la predicción del riesgo entre las y los niños y adolescentes estén blindados por la intervención humana, dando a la máquina cierta impunidad para seguir trabajando. Sin embargo, no hay estudios de campo en el caso que hemos examinado que consideren cómo las y los trabajadores sociales que interactúan con la máquina lidian con el «sesgo de automatización» referido a la mayor valorización de la información automatizada que nuestras propias experiencias (Bridle, 2018).

Instamos a las feministas a examinar SAN y estos Modelos Predictivos de Riesgo social al menos en dos aspectos: primero, para cuestionar si el big data y la Inteligencia Artificial podrían llegar a reflejar elementos estructurales que influyen en el riesgo de vulnerabilidad y las desigualdades sociales de nuestras sociedades, o es solo una forma de objetivar la responsabilidad de los individuos a través de su trayectoria de datos en el Estado. Y, en segundo lugar, cómo SAN y estos Modelos Predictivos de Riesgo social son una continuación de la idea de desencarnación de los datos, donde las tecnologías abstraen artificialmente los cuerpos, las identidades y las interacciones de los contextos sociales para así ocultar su funcionamiento como herramienta de control social, agravando sus consecuencias en las desigualdades sociales (Monahan, 2019).