Este algoritmo vulnera los derechos humanos

Por Isabella Galeano

Por vez primera en la historia, un juez ha resuelto que un algoritmo atenta contra los derechos humanos de los ciudadanos. Ocurrió en los Países Bajos a principios de febrero, cuando el magistrado ordenó al Gobierno holandés que dejara de aplicar un sistema basado en la inteligencia artificial, ideado para predecir la probabilidad de que un ciudadano cometa fraude fiscal.

El algoritmo forma parte de un sistema, diseñado por el Ministerio de Asuntos Sociales y Empleo de los Países Bajos, que combina múltiples datos personales y confidenciales recopilados por el Gobierno holandés, desde registros de empleo hasta subsidios recibidos, deudas personales, el nivel educativo o el historial de la vivienda, para calcular el riesgo que presenta cada individuo. Ser identificado por el algoritmo como un perfil que tiene la probabilidad de cometer un delito fiscal implica que el Gobierno debe abrir una investigación sobre el ciudadano en cuestión en un plazo máximo de dos años.

Varias asociaciones en defensa de los derechos de los ciudadanos arguyeron que el nuevo sistema se había desplegado de forma "selectiva" en zonas predominantemente de bajos ingresos, lo cual constituía “un sistema de vigilancia que somete desproporcionadamente a los ciudadanos más pobres a un escrutinio intrusivo”. Ahora la justicia les ha dado la razón y ha ordenado la retirada inmediata del nuevo sistema.

Algorithm Human Rights

Este ejemplo es posiblemente el que ha tenido más recorrido judicial, con una sentencia que pone claramente de manifiesto las amenazas que suponen estos algoritmos para los principios fundamentales de justicia e igualdad ante la ley, pero ni mucho menos es el único caso. El más extendido, tanto por la población implicada como por la tecnología empleada, es acaso el sistema de crédito social implementado en China.

Lanzado de forma experimental en 2009, consiste en varios algoritmos, alimentados por la ingente cantidad de datos recopilados durante la actividad diaria de los ciudadanos chinos, a los cuales el sistema asigna una puntuación que determinará si su comportamiento es considerado ejemplar y, en consecuencia, la facilidad de acceso a un crédito o su libertad de movimientos, al tiempo que impide comprar billetes a aquellos ciudadanos que obtienen las puntuaciones más negativas. Todo ello, combinado con un sistema de reconocimiento facial a través de cámaras de videovigilancia, cuya eficacia se ha podido comprobar al ser utilizadas para reforzar la orden de confinamiento de la población durante el brote de coronavirus de principios de este año.

Las cámaras de videovigilancia equipadas con tecnología de reconocimiento facial para controlar a la población no son una realidad únicamente de los regímenes autoritarios como el chino. La Policía Metropolitana de Londres, sin ir más lejos, dispone de un furgón equipado con cámaras para realizar el reconocimiento facial “en vivo” a sus ciudadanos. Se ha utilizado en dos ocasiones, la última de ellas a finales de febrero, con el objetivo de reducir los delitos graves. El dispositivo circula por las calles y va identificando a los peatones que se cruzan con él, y cuando el sistema detecta a alguien buscado por la justicia, los policías lo detienen. El problema es que el algoritmo tiende a cometer errores en función de la edad, la raza y el género, y el resultado pasa de ser positivo a discriminatorio, como se explica en este artículo de The Technolawgist.

El problema es que el algoritmo tiende a cometer errores en función de la edad, la raza y el género

Estas nuevas tecnologías y su aplicación a múltiples aspectos de la vida pública y privada de los ciudadanos están generando cada vez más conflictos legales, y los abogados necesitan entender cómo funcionan estos algoritmos y qué implicaciones legales tienen, en una sociedad cada vez más globalizada. Por ejemplo, la razón principal por la cual todavía no vemos coches autónomos no es la tecnología, que ya está lista, sino la dificultad de decidir cómo entrenar el algoritmo a tomar algunas decisiones en situaciones inesperadas.

Los programadores son esenciales para programar estos algoritmos e, implícitamente, también para tomar decisiones sobre su comportamiento, pero eso no pueden hacerlo solos. Los programadores deben asumir que todos tenemos visiones sesgadas y, si no vamos con cuidado, las reflejaremos en cualquier algoritmo que programemos. En este sentido, podría ser de gran ayuda formar equipos con perfiles diversos, ya que sus distintos puntos de vista y visiones podrían compensarse y dar como resultado un algoritmo menos sesgado.

Algorithm Human Rights

Sin embargo, también es necesario disponer de una legislación que regule estos algoritmos de forma efectiva. Y, al tratarse de una problemática de alcance mundial, las restricciones nacionales tienen un impacto limitado, aunque las medidas que adopte un país como los Estados Unidos, que es la sede de las principales empresas tecnológicas del mundo, resultarán especialmente relevantes. Al respecto, el Congreso estadounidense está debatiendo la Algorithmic Accountability Act, una nueva ley que obligará a las grandes empresas a auditar sus algoritmos en caso de que cumplan determinados requisitos, como facturar más de 50 millones de dólares anuales, tener más de un millón de usuarios o dedicarse a la gestión de datos. La aprobación de esta norma afectaría a los algoritmos que las grandes empresas están utilizando para vender sus productos, recomendar noticias, insertar publicidad e incluso decidir quién debe obtener un ascenso –por ejemplo, Amazon está empezando a delegar este tipo de decisiones en unos algoritmos que no siempre están exentos de prejuicios.

Del mismo modo que los grandes bancos han de ser auditados, ¿no deberíamos someter a escrutinio también los algoritmos? La inteligencia artificial basada en algoritmos está cada vez más presente en nuestras vidas y tiene un impacto creciente en ámbitos insospechados. Si no queremos que estos algoritmos perpetúen los prejuicios y las discriminaciones que sufrimos como sociedad y acentúen las desigualdades existentes, hemos de aprovechar la oportunidad para hacerlos más justos, fomentando la diversidad y desarrollando normas que regulen su aplicación de forma efectiva.

Todo el contenido está disponible bajo la licencia Creative Commons Reconocimiento 4.0 Internacional.