Por qué la IA es tan segura como las personas que la aplican

En julio, un colegio del Reino Unido fue reprendido por la Oficina del Comisionado de Información (ICO) por usar tecnología de reconocimiento facial sin contar con el consentimiento de los padres o los alumnos. 

Este colegio para alumnos de entre 11 y 18 años introdujo la tecnología para cobrar pagos en efectivo en su cafetería. Pero a los alumnos no se les dio la oportunidad de que aceptasen el uso de dicha tecnología, y a los padres solo se les pidió que optasen por no dar su consentimiento, en lugar de pedirles que diesen su autorización expresa.  

La legislación del Reino Unido exige que todas las organizaciones que usen software de reconocimiento facial cuenten con una evaluación del impacto en la protección de datos (DPIA, por sus siglas en inglés). La evaluación debe identificar y gestionar los riesgos de procesar datos sensibles, como información biométrica, y exige el consentimiento explícito de los padres de menores o alumnos de 18 años. 

Existe una gran brecha entre las personas que diseñan la tecnología y las que la utilizan

“La ley obliga a tener una DPIA, no se trata de maraca una casilla”, afirmó Lynne Currie, director de innovación en materia de privacidad de la ICO, en un comunicado. “Es una herramienta esencial que protege los derechos de los usuarios, ofrece responsabilidad y hace que las organizaciones piensen en la protección de datos al empezar un proyecto”. 

Se trata de un crudo recordatorio de que la seguridad en el uso de la IA depende en gran parte de las personas que la implementan. 

Preservar la dignidad

“El hecho de que haya una persona entre la IA y la decisión final no es garantía de nada”, afirma Irene Unceta, profesora adjunta del Departamento de Operaciones, Innovación y Data Science en Esade. En unas declaraciones a la revista Retina, Unceta continua diciendo: “Hay un gran gap entre las personas que diseñan los modelos y las que los utilizan”. 

La tecnología de reconocimiento facial solo es un ejemplo que ilustra esta brecha. Es posible comprar fácilmente software de IA con muchas aplicaciones sin disponer de una licencia ni haberse realizado una investigación previa, y las normativas únicamente pueden imponerse si se descubre que una organización las ha incumplido. 

“Es necesario destacar el desafío de preservar la autonomía y la dignidad humanas frente a sistemas cada vez más sofisticados”, comenta Alberto Núñez Fernández, profesor de Estrategia empresarial en Esade. 

En su artículo publicado en la revista Ethic en junio, Núñez continúa diciendo: “La IA ya no está restringida solo al ámbito de la ciencia ficción; ahora es parte integral de nuestra vida diaria. Se debe priorizar el tratamiento ético de los usuarios, respetar las particularidades culturales y considerar el impacto social más amplio de estas tecnologías”. 

Invasión de espacios

Conforme el uso de la IA va integrándose en nuestros negocios y en nuestros asuntos personales —ya se aplique en el reconocimiento facial, la selección de personal o para calcular el precio de los seguros—, está sustituyendo cada vez más la toma de decisiones de las personas. Y Unceta considera que es un tema que debemos vigilar con atención. 

Delegar la toma de decisiones en la IA pensando que tomará mejores decisiones que los humanos es un completo error

“La IA lleva décadas automatizando tareas”, afirma. “El problema es que ahora se está empezando a usar para tomar decisiones, ese es un espacio inherentemente humano. Delegar en la IA pensando que va a tomar mejores decisiones que los humanos es un completo error. El modelo solo conoce aquello que le trasladamos”. 

Y como indica Anna Ginès i Fabrellas, profesora adjunta en el Departamento de Derecho de Esade, los equipos que crean y entrenan estos modelos están sumidos en una crisis por lo que se refiere a la diversidad. 

“Hay una ausencia de perspectiva de género y racial en el diseño y programación de productos tecnológicos y sistemas de inteligencia artificial”, explica Ginès.  

“La industria ya no refleja el porcentaje de mujeres o personas negras que cursan estudios tecnológicos. Por eso, es necesario garantizar la formación racial y de género de las personas que trabajan en el sector y atacar las estructuras de poder desiguales que caracterizan actualmente a la industria de la inteligencia artificial.”. 

Asumir la responsabilidad

Tal y como observa Unceta, el usuario final también tiene una responsabilidad en que la IA se implemente de forma justa: “Estos modelos no pueden tener voluntad universal. La pregunta es si el humano está capacitado para entender cómo funciona el modelo, por qué da el resultado que da y si es correcto”.  

Núñez Fernández  se muestra de acuerdo y pregunta: “¿Quién asume la responsabilidad cuando un sistema de inteligencia artificial toma una decisión?” 

“Necesitamos una política de transparencia en cuanto al funcionamiento de los algoritmos que proteja el bien común y asegure el control de los sistemas de IA, sin que ello conlleve dejar vacío el derecho a la propiedad intelectual de sus desarrolladores. Estos mismos desarrolladores deben, a su vez, ser partícipes y responsables, parcial o totalmente, de los resultados y consecuencias de sus creaciones”. 

Además señalan que la colaboración es clave para crear responsabilidad. “Encontrar el equilibrio adecuado entre la innovación y la responsabilidad requiere un esfuerzo colaborativo que involucre a tecnólogos, filósofos y políticos”. 

Un ahorro que puede ser engañoso

Pero Ginès advierte que no es solo es cuestión de que falte ese nivel de transparencia, sino de que el desarrollo de la tecnología de IA sigue manteniéndose en secreto. 

“Hemos de recordar que esta tecnología es el resultado de innovaciones empresariales que se han lanzado al mercado sin un escrutinio científico previo ni un control democrático”, observa. “La falta de transparencia impide que la ciencia y la prensa puedan investigar sobre el impacto social de estos sistemas”. 

Y no se trata solo de falta de transparencia, la propensión a cometer errores puede generar más trabajo del que reduce. Unceta explica: “Hay un motivo por el que los radiólogos no han sido sustituidos por algoritmos: son buenos y rápidos, pero también se equivocan. Seré la primera en defender los modelos transparentes que automatizan tareas repetitivas, pero hay muchas veces que el rendimiento extra que aportan es ínfimo frente a la complejidad que añaden”. 

Actuar con precaución

El hecho de que el sector médico se muestre indeciso a la hora de confiar a la IA la toma de decisiones será un alivio para muchas personas. Pero, ¿cómo puede extenderse esta prudencia para poner freno al rápido despliegue de una tecnología que afecta considerablemente a la vida de las personas? Aunque existen normativas y se están elaborando más leyes, sigue faltando responsabilidad. 

“La verdadera gobernanza ética va más allá del cumplimiento”, dice Núñez Fernández. “Es crucial fomentar una cultura de responsabilidad dentro de la comunidad de desarrolladores de IA”. 

“Al encontrarnos en esta encrucijada, las decisiones que tomemos hoy darán forma al futuro de la relación de la humanidad con la tecnología. Pero en lugar de verla como una amenaza para la dignidad humana, deberíamos abrazar el potencial de una relación simbiótica”.