Los algoritmos están impulsando la desigualdad, no eliminándola

La discriminación en los algoritmos y la IA ha recorrido un largo camino desde las primeras iteraciones de esta tecnología. Pero fueron necesarias algunas circunstancias terribles para poner en marcha el cambio. En 2011, si los problemas de salud mental impulsaban a los ciudadanos estadounidenses a decirle al asistente de Apple, Siri, que querían dispararse a sí mismos, este les daba la dirección de una tienda de armas. En otro caso ocurrido en 2015, el software de reconocimiento facial de Google Photos etiquetó a dos personas afroamericanas como gorilas. 

Tras estos casos, Apple se asoció con la Línea Nacional de Prevención del Suicidio de EEUU y ahora ofrece una línea de ayuda. Google Photos emitió una disculpa diciendo que estaba "horrorizado" por su error imperdonable. 

En lugar de eliminar las desigualdades, el uso de algoritmos está reproduciendo, sistematizando y magnificando los sesgos

Pero la profesora titular de Esade Anna Ginès i Fabrellas afirma que los problemas que plagaron a la IA temprana no han desaparecido. Escribiendo en la Revista Trabajo y Derecho, la docente de derecho y directora del Instituto de Estudios Laborales afirma que la IA que ha permeado el lugar de trabajo es responsable de decisiones discriminatorias que afectan a millones de vidas. 

En lugar de eliminar las desigualdades al entregar la toma de decisiones a los algoritmos, su uso está reproduciendo, sistematizando y magnificando los sesgos y estereotipos de género, raza, orientación sexual y discapacidad a un ritmo alarmante. 

Confirmación de sesgo

En 2018, una investigación de Joy Buolamwini y Timnit Gebru encontró que el software de reconocimiento facial era significativamente más preciso al identificar a hombres blancos que a mujeres negras. Y en un estudio de Bloomberg de 2023 sobre más de 5000 imágenes generadas por el sistema de IA Stable Diffusion, las imágenes generadas por búsquedas de empleos bien remunerados incluían principalmente personas de piel clara, mientras que las personas de piel más oscura aparecían en imágenes de trabajos peor remunerados. 

Aunque el 70 % de los ciudadanos estadounidenses que trabajan en restaurantes de comida rápida son blancos, el sistema representaba a personas negras en el 70 % de las veces. Y aunque el 34 % de los jueces en los Estados Unidos son mujeres, Stable Diffusion solo logró representarlas en el 3 % de las imágenes cuando se le pidió ilustrar la profesión. 

Este problema puede explicarse en parte por la continua falta de diversidad en el sector tecnológico y, más específicamente, en la IA

Un análisis de la UNESCO de 2024 sobre estereotipos de género, origen racial o identidad sexual concluyó que los sistemas GPT-2 y ChatGPT de OpenAI y Llama 2 de Meta asociaban desproporcionadamente los nombres de mujer con palabras como casa, familia, hijos o matrimonio. Los nombres de hombre se vinculaban con significados como ejecutivo, salario y carrera. Cuando se pidió a los sistemas que completaran una oración, el 20 % incluía lenguaje sexista o misógino y hasta el 70 % generó contenido negativo sobre personas homosexuales. 

¿Desmantelar todo y empezar de nuevo?

La investigación de Ginès muestra que, aunque los incidentes anteriores fueron abordados, este tipo de sesgos y estereotipos están reapareciendo en nuevos productos y sistemas. 

Esto puede explicarse en parte por la continua falta de diversidad en el sector tecnológico y, más específicamente, en la IA: las mujeres representan solo el 20 % de las personas que desarrollan IA técnica, el 12 % de los investigadores y el 6 % de los desarrolladores de software. 

Además, la tecnología que impulsa la IA no es el resultado de un progreso científico revisado por pares, sino que es desarrollada bajo secreto por empresas tecnológicas que se apresuran a enviar productos al mercado sin escrutinio científico. Ya sea intencional o no, la falta de diversidad en la codificación, el análisis y la revisión de esta tecnología está agravando la discriminación sistémica en todas sus formas. 

De acuerdo con Ginès, si se quiere lograr cierto nivel de progreso en la reducción de esta discriminación, es necesario desmantelar y reconstruir las estructuras de poder desiguales que caracterizan la industria. Esto significa abordar las tres principales fuentes de discriminación algorítmica: sesgos en la base de datos con la que se ha entrenado el algoritmo; sesgos en las variables que usa el algoritmo para tomar decisiones; y sesgos en las correlaciones identificadas por el algoritmo. 

Sesgos incorporados

La gestión algorítmica del trabajo se presenta como una solución para la discriminación en el lugar de trabajo al eliminar el sesgo individual y presentar una forma de toma de decisiones matemáticamente objetiva. Sin embargo, nunca será posible que lo logre mientras la propia discriminación esté incorporada en el sistema. 

Los algoritmos no son mágicos. Se entrenan usando grandes volúmenes de datos para identificar y reducir patrones estadísticos. Y si los datos o los patrones contienen sesgo, ese sesgo se reproducirá para crear más datos que luego alimentarán más datos, y así sucesivamente. 

Los algoritmos no pueden distinguir entre correlación y causalidad

Tomemos a Amazon como ejemplo: su sistema de reclutamiento de IA fue entrenado con contrataciones de los últimos 10 años, que eran predominantemente hombres. El algoritmo aprendió que los hombres eran los mejores candidatos para la empresa y descartaba automáticamente los currículums de candidatos con nombres o características femeninas. 

La mera presencia de sesgos en las variables utilizadas por la IA también puede acabar derivando en sesgos sistemáticos. El algoritmo utilizado por Deliveroo para asignar turnos se diseñó para sancionar a los trabajadores que no asistían a un horario reservado. Los tribunales dictaminaron que esta práctica era discriminatoria, ya que no permitía a los trabajadores justificar ausencias debido al derecho a huelga, responsabilidades de cuidado o problemas de salud. 

La discriminación algorítmica también puede estar arraigada en los sesgos existentes en las correlaciones estadísticas que utilizan, conocidas como sesgo de correlación o discriminación por proxy. Los algoritmos no pueden distinguir entre correlación y causalidad. Si un sistema ha sido entrenado con datos que muestran que las contrataciones se mantienen más tiempo si los trabajadores viven cerca de su lugar de trabajo, favorecerá a las personas en esas áreas. Esto no tiene en cuenta la falta de viviendas asequibles, la necesidad de apoyo familiar y varios otros factores discriminatorios que no guardan relación con la capacidad para llevar a cabo el trabajo. 

¿Una batalla perdida?

Lejos de eliminar los sesgos, la IA simplemente los ha automatizado. Las decisiones tomadas por estos sistemas impactan a millones de vidas, a menudo con poca o ninguna intervención humana. 

Los hablantes no nativos o aquellos con acentos regionales son penalizados por las pruebas basadas en el lenguaje; las personas cuyas caras no coinciden con el género en su pasaporte no pueden completar procesos automatizados; las personas neurodivergentes cuyas expresiones faciales escaneadas por la IA no cumplen con el aspecto normativo de un 'profesional' son rechazadas para empleos... Los ejemplos son interminables. 

La discriminación algorítmica añade múltiples nuevas dimensiones al problema de la discriminación, las sistematiza y las amplifica a una velocidad vertiginosa. 

Pese a todo, se ha logrado algún progreso. En la Unión Europea, la Ley de Inteligencia Artificial clasifica los sistemas de IA en función de su riesgo e impone diferentes obligaciones a los proveedores e implantadores de sistemas de IA, incluyendo un sistema de gestión de riesgos, la gobernanza de datos para garantizar la calidad y relevancia de los conjuntos de datos utilizados o las obligaciones de transparencia para garantizar que los resultados del sistema sean interpretables. 

Sin embargo, el esquema introducido por la ley se basa en una autodeclaración de conformidad por parte de los proveedores de sistemas de IA. Es cuestión de tiempo ver si este esquema es suficiente para garantizar algoritmos no sesgados. Según Anna Ginès, las auditorías externas para los sistemas de IA utilizados en sectores de alto riesgo, como el mercado laboral, son mejores para garantizar sistemas de IA justos y equitativos en escenarios de alto riesgo.