¿Cómo avanzar hacia un 'machine learning' más justo?

En las últimas décadas hemos sido testigos de la popularización del aprendizaje automático como herramienta de soporte a la toma de decisiones. Desde el banco a la compañía de seguros, pasando por nuestro proveedor de internet, nuestro dentista o el supermercado en el cuál realizamos la compra cada semana, esta tecnología tiene una presencia cada vez mayor en nuestras vidas.

Esta exposición no se restringe al ámbito privado. Las instituciones públicas han venido impulsando también esta tecnología para la mejora de multitud procesos, incluyendo la prevención del crimen, la detección del fraude fiscal o la adjudicación de ayudas y subvenciones 

Este éxito se explica en buena medida por la promesa de una mayor consistencia y la consecuente percepción de mayor objetividad. Así, proliferan los mensajes acerca de cómo el uso del aprendizaje automático puede ayudarnos a “tomar mejores decisiones”.

El aprendizaje automático y la desigualdad

A pesar de tan ambiciosas promesas, sin embargo, una parte importante de la comunidad científica viene denunciando desde hace años los riesgos de delegar la toma de decisiones a sistemas automatizados. Existen multitud de evidencias hoy en día que demuestran que los sistemas de toma de decisión basados en el aprendizaje automático pueden contribuir a aumentar la desigualdad en los ámbitos en los que actúan, incluyendo el entorno de trabajo, el hogar o el sistema judicial. 

El peso de la herencia 

Un elemento coyuntural al aprendizaje automático es el concepto de herencia. Los sistemas basados en el aprendizaje automático tienen un acceso a la realidad guiado casi de manera exclusiva por los datos que se utilizan para su entrenamiento. Dado que estos datos son un reflejo de la toma de decisiones humana en el pasado, estos sistemas son susceptibles de heredar los sesgos inherentes a esta.

Tanto es así que estudios recientes demuestran que, en ausencia de los debidos mecanismos de control, los modelos de aprendizaje automático reproducen patrones de discriminación históricos, exhibiendo comportamientos sexistas, racistas u homófobos, entre otros. 

En el año 2015 usuarios de Google denunciaron que su aplicación para el etiquetado automático de fotos clasificaba de forma errónea a las personas negras como gorilas. Ese mismo año, se encontraron evidencias de que el software de reconocimiento facial incluido en las cámaras de Nikon asumía por defecto que las personas de origen asiático estaban pestañeando.

Por seguir con los ejemplos, un año más tarde un conocido estudio reveló que el software utilizado por el sistema judicial en Estados Unidos para evaluar el riesgo de reincidencia de criminales convictos tenía el doble de probabilidades de asociar de forma incorrecta un riesgo alto a personas negras. También tenía el doble de probabilidades de asociar erróneamente un riesgo bajo a las personas blancas. 

Además, numerosos estudios demuestran que las mujeres tienen menos probabilidades que los hombres de ser expuestas a anuncios de empleo para puestos bien remunerados en Google. O que búsquedas de imágenes de trabajos altamente cualificados devuelven mayoritariamente resultados de hombres. 

En muchos de estos casos, estos sesgos no responden a la voluntad explícita de los programadores. Emergen de la amalgama de datos históricos que dan fe de nuestras decisiones en el pasado y del uso que se hace de ellos. 

Evidencias como estas ponen de relevancia el peso que el pasado tiene sobre las predicciones de los modelos de aprendizaje automático, que tienen la capacidad potencial de dar lugar a sistemas objetivos a la vez que eficaces. Para que ese potencial sea realizado, debemos revisitar la herencia que les hemos legado a través de los datos. Ello pasa por promover medidas concretas que aseguren un uso justo y ético del aprendizaje automático. 

El aprendizaje automático justo como opción de futuro 

Asegurar un uso justo del aprendizaje automático implica revisitar los usos que hacemos de esta tecnología y diseñar herramientas adaptadas a sus distintos contextos. Para ello, es importante tener claros dos conceptos: 

Por un lado, debemos entender que el rendimiento de un modelo solo será óptimo cuando el modelo sea también justo. Existen multitud de criterios para definir la justicia en un modelo. Satisfacer al menos uno de ellos implicará, en la mayoría de los casos, que el rendimiento predictivo del modelo –su tasa de acierto– disminuya. Esto no debe entenderse como un retroceso. Al contrario, permitirá explorar soluciones que den lugar a sistemas con un alto porcentaje de predicciones correctas a la vez que justas. 

Por otro lado, hemos de tener en cuenta la intencionalidad: desarrollar modelos de aprendizaje automático justos requiere de una intención expresa y explícita. Esa intencionalidad no puede ser exclusivamente discursiva, debe estar acompañada de acciones orientadas a mitigar los efectos de la desigualdad en las prácticas vinculadas a esta disciplina. 

Acción 1: Representación de los distintos colectivos 

En primer lugar, debemos asegurar la justa representación de los distintos colectivos en las bases de datos de entrenamiento. Los datos deben ser heterogéneos y representar realidades diversas. Y cuando no lo sean, deben aplicarse las medidas de balanceo necesarias para asegurar que esto no se traslade a las predicciones resultantes. 

Esto implica facilitar el acceso a roles con un alto grado de capacitación técnica a aquellos colectivos que han estado tradicionalmente infrarrepresentados. El sector tecnológico emplea a profesionales que son en su mayoría hombres y de origen caucásico. Promover la diversidad de los datos empieza por promover la diversidad de las personas que recopilan, almacenan y analizan dichos datos.

Acción 2: Utilización de la información sensible 

Una segunda acción necesaria es la de valorar la pertinencia de incluir información sensible entre las variables del modelo. En este punto, nos encontramos ante una disyuntiva. Es posible que en ocasiones los datos avalen la existencia de una diferencia intrínseca entre los valores observados para distintos colectivos.

Por ejemplo, las personas residentes en barrios con una población mayoritariamente negra tal vez tengan una mayor dificultad a la hora de atender a sus obligaciones de pago al contratar un crédito. Es importante entender que dichas diferencias enmascaran posiblemente otras problemáticas, como el desigual acceso a la educación, las trabas al ascenso social o la dificultad de acceso a puestos de trabajo bien remunerados.

Así, las correlaciones observadas entre el color de piel y la propensión al impago no necesariamente implican una relación causal entre ambas. Incluso aunque así fuera, es importante valorar si dichas correlaciones deben ser explotadas; si para asegurar la igualdad es necesario reflejar las diferencias observadas entre colectivos o si, por el contrario, estas deben corregirse.

Con relación a esto último, es pertinente la discusión acerca de si debe incluirse o no información acerca de los atributos sensibles en la base de datos de entrenamiento. O, mejor dicho, de cuándo debe ser incluida y con qué fin. Existen numerosos ejemplos de que prohibir el acceso a la información sensible con el fin de evitar posibles sesgos puede tener consecuencias opuestas a las deseadas. 

El sistema judicial estadounidense, por ejemplo, prohíbe explícitamente el uso de variables sensibles en el entrenamiento de los modelos. En la práctica, esto supone que, para diseñar un modelo de identificación de candidatos óptimos para una promoción, las compañías no puedan incluir información acerca del género, el color de piel, la etnia, la religión o la orientación sexual de su plantilla. También supone que a la hora de valorar el riesgo de impago de una hipoteca los bancos no puedan recopilar datos sobre los atributos protegidos de los solicitantes. Negar el acceso explícito a esta información no previene, sin embargo, de su inclusión de manera implícita en los modelos. El código postal, por ejemplo, puede ser un buen indicador del color de piel. Asimismo, la información acerca de la carrera profesional o la afiliación a determinados grupos o asociaciones puede ser un buen indicador del género.

En 2018 un artículo publicado en Reuters denunció que un motor de reclutamiento desarrollado por Amazon discriminaba sistemáticamente a las mujeres. Esto era así a pesar de que el género no había sido incluido en el proceso de entrenamiento. Sin embargo, se habían incluidas otras variables como el lugar de estudios o los clubs a los que se había pertenecido durante la época universitaria. Así, el modelo penalizaba las solicitudes que incluían términos como “femenino”, como por ejemplo en “capitana del club de ajedrez femenino”, o asociaba un menor valor a aquellas provenientes de colegios solo para mujeres.

Ejemplos como estos demuestran la poca eficacia de las medidas orientadas a prohibir el uso de atributos protegidos en el entrenamiento de los modelos. La información protegida permanecerá accesible y codificada en el resto de las variables, salvo que se asegure lo contrario. Es más, en muchas ocasiones tener acceso a la información sensible es necesario para poder medir la desigualdad en las predicciones.

Medir la desigualdad 

Medir la desigualdad requiere que los procesos que dan lugar a un modelo de toma de decisiones automatizadas sean transparentes. Esto se puede conseguir mediante una serie de condiciones: 
 

• Los mecanismos de recogida de datos han de ser trazables y las variables, conocidas. 
• Las técnicas empleadas para la limpieza de los datos debes estar recogidas en una documentación pública y accesible.
• Debe ser pública la información relativa a la tipología de modelo empleada y, en los casos que así lo requieran, también la relativa a los valores de los parámetros fijados durante el proceso de entrenamiento.
• Se han de identificar los criterios empleados para asegurar la justicia del modelo y su elección ha de estar justificada 
• Y, por su supuesto, tiene que ser posible la interacción con el modelo para valorar sus predicciones bajo distintos supuestos. 

En suma, para medir la desigualdad es necesario que los sistemas de aprendizaje automático sean auditables. 

La auditoría 

El proceso de la auditoría requiere que las compañías desarrolladoras de los modelos permitan a personas externas acceder a sus sistemas, examinarlos y evaluarlos para asegurar que su diseño cumple con los requisitos necesarios y que su uso en determinados contextos no causa ningún daño. 

A las trabas evidentes a este proceso se une la opacidad de los propios modelos. Los modelos basados en el aprendizaje automático se han desarrollado teniendo el rendimiento predictivo como una única meta. Son, por lo tanto, notablemente eficaces en esa tarea.

Pero como consecuencia de ello, también son crecientemente complejos y por tanto esquivos a la inspección. Incluso cuando toda la información acerca de un sistema esté accesible, la auditora puede no ser capaz de comprender y por tanto razonar acerca de la lógica que subyace a sus predicciones. 

En este sentido, cabe preguntarse si es necesario recurrir siempre a modelos complejos. O mejor, cuándo es razonable recurrir a dichos modelos. En aquellas aplicaciones en las que un modelo más simple y fácilmente interpretable satisfaga las necesidades en términos de rendimiento, tal vez debamos abstenernos de desarrollar soluciones más complejas.

Enfoque preventivo 

Por último, es importante tener en cuenta que los mecanismos para un uso responsable del aprendizaje automático no deben quedarse exclusivamente en el plano de la auditoria. Es necesario identificar y denunciar las deficiencias de los sistemas y dirimir responsabilidades cuando éstas redunden en un impacto negativo, pero también lo es el proponer soluciones que mitiguen los potenciales efectos adversos de dichas deficiencias. En decir, es necesario un enfoque preventivo a la vez que reactivo. 

Para ello, urge colmar el vacío entre las propuestas teóricas orientadas al fomento de un aprendizaje automático justo y las necesidades prácticas. ¿Qué requisitos mínimos debe cumplir una base de datos para asegurar su representatividad? ¿Cuándo es pertinente incluir información acerca de los atributos protegidos y salvo qué salvaguardas? ¿Cuáles son los criterios en base a los que debe evaluarse la desigualdad en cada contexto? ¿Cómo deben traducirse dichos criterios a artefactos matemáticos que permitan entrenar los modelos en base a ellos? 

Dar respuesta a estas preguntas requiere de una mirada diversa, sensible a distintas realidades y capaz de reflexionar sobre conceptos complejos, de pensar en el impacto a largo plazo de las decisiones que se tomen en el presente y de identificar objetivos claros y asumibles en el futuro.

Por tanto, requiere de un debate entre profesionales provenientes del ámbito de la ciencia de datos o la ingeniería, pero también de la gestión, de la sociología, de las ciencias jurídicas o de la filosofía.

Los avances en el campo del aprendizaje automático nos abren la puerta a multitud de posibilidades. De nosotras depende el que este potencial se traduzca en un impacto positivo sobre la vida de las personas. Conviene recordar que, si bien son los modelos quienes emiten las predicciones, somos las personas quienes tomamos las decisiones. 

El vídeo completo de la ponencia puede visualizarse aquí. 

Ponencia organizada en el marco del proyecto LABORAlgorithm financiado por el FEDER/Ministerio de Ciencia, Innovación y Universidades y la Agencia Estatal de Investigación, Proyecto PGC2018-100918-A-100.