La gobernanza de la IA debe plantear las preguntas adecuadas para proteger la autonomía humana

Coges el móvil para mirar la hora, pero ves que un amigo te ha enviado un enlace a un vídeo divertido. Media hora después, sigues con el teléfono en la mano, desplazándote por TikTok o viendo vídeos de YouTube que encajan perfectamente con tu estado de ánimo. Los algoritmos de IA que hay detrás de estas plataformas han aprendido discretamente tus preferencias, han ajustado sus recomendaciones y, al hacerlo, han dirigido tu atención hasta llevarte a consumir 30 minutos de contenido. En apariencia, ha sido tu elección, pero en realidad ha sido una sucesión de pequeños empujones. Has quedado atrapado de forma inconsciente en un bucle informativo de contenido online. Lo más probable es que ni siquiera quieras estar ahí, pero tu capacidad de decidir ya se ha ido diluyendo.

Puede parecer una visión bastante sombría, pero lo cierto es quela IA no solo decide qué contenidos se nos recomiendan en internet; también está moldeando cómo percibimos, pensamos y decidimos. Al aceptar la comodidad de la personalización extrema —si el algoritmo me trae lo que me gusta, ya no necesito buscarlo por mí mismo— renunciamos al valor intrínseco de decidir por cuenta propia.

Las recomendaciones online solo muestran una pequeña parte de la creciente influencia de la IA sobre la autonomía humana. Los sistemas de IA están cada vez más presentes en nuestra vida cotidiana —en el trabajo, en la escuela o en el tiempo de ocio— y, en su mayoría, están diseñados para la eficiencia, no para la deliberación reflexiva. Además, proponen categorías limitadas para orientar nuestras decisiones y pueden enmarcar ideas de forma positiva o negativa. De este modo, influyen silenciosamente en cómo se definen los problemas, qué opciones se hacen visibles y qué formas de razonamiento parecen legítimas. A todo ello se suma que sus resultados se basan en criterios opacos que escapan al escrutinio público.

No se trata de un efecto casual de la tecnología, sino del resultado de decisiones organizativas sobre cómo se concibe y diseña la IA. Las investigadoras de Esade Paula Subías-Beltrán e Irene Unceta sostienen que, si nos importa vivir en democracias saludables en las que la ciudadanía pueda participar activamente en la deliberación pública, la autonomía humana debe ser un principio central en el desarrollo de la IA. Su estudio propone un marco de gobernanza que ayuda a las organizaciones a comprender, cuestionar y gestionar cómo sus sistemas afectan a la toma de decisiones humanas en todos los niveles. Este marco reclama un cambio en el diseño de la IA: pasar de maximizar el compromiso del usuario a centrar genuinamente los sistemas en las personas, protegiendo sus derechos y su autonomía.

La investigación se ha publicado en la revista AI & Society.

Cómo la IA erosiona sutilmente nuestra autonomía

“La IA crea un contexto para la toma de decisiones”, explica la profesora Unceta, directora del Doble Grado en Dirección de Empresas y Empresa e Inteligencia Artificial de Esade. “Imagínate en un aula llena de personas. La decisión de levantar la mano o intervenir no depende solo de tus propios pensamientos, sino de todo lo demás: la presencia de los compañeros, la actitud del profesor… El aula en sí misma proporciona el contexto de lo que se puede decir o de si conviene decir algo. La IA funciona de forma similar: crea el entorno en el que se toman las decisiones, definiendo sutilmente qué opciones parecen disponibles, relevantes o significativas”.

En un entorno cada vez más tecnológico, estamos cediendo poco a poco nuestra autoridad a los sistemas de IA

Si los sistemas de IA están configurando el contexto en el que definimos los problemas y percibimos las opciones, debemos plantearnos una pregunta clave: ¿cómo podemos asegurarnos de que el desarrollo de la IA tenga en cuenta sus efectos sobre nuestra autonomía?

La autonomía es la capacidad de tomar decisiones libres e informadas, de acuerdo con nuestros propios valores y creencias. No implica una independencia absoluta, sino el control sobre quiénes somos y la asunción de la responsabilidad sobre lo que hacemos, y está profundamente condicionada por los contextos en los que tomamos decisiones. Lo que a menudo no percibimos es que, en un entorno cada vez más tecnológico, podemos delegar nuestra capacidad de acción en sistemas de IA sin ser plenamente conscientes de ello. En ese proceso, renunciamos a la autenticidad de nuestras acciones y a la autoridad sobre ellas. Los sistemas de IA pueden romper fácilmente ese equilibrio sin que lo advirtamos.

Esto tiene múltiples consecuencias. Los motores de recomendación de contenidos pueden reforzar sesgos existentes. Un usuario que consume vídeos sobre bienestar puede acabar recibiendo contenido sobre dietas extremas; alguien que lee sobre cuestiones sociales puede terminar en una cámara de eco política que solo refuerza sus propias creencias. En estos casos, la IA no está manipulando deliberadamente a los usuarios. Ocurre porque los algoritmos de optimización priorizan el engagement frente a la diversidad informativa, moldeando las decisiones de las personas en el proceso. En otros ámbitos, la IA puede impulsar decisiones que ignoran por completo las necesidades reales de los usuarios. Los sistemas automatizados de scoring crediticio pueden excluir injustamente a prestatarios fiables al incorporar sesgos históricos en los modelos, y los algoritmos de selección de personal pueden descartar candidatos cualificados porque sus currículums no encajan con registros sesgados de empleados considerados “exitosos”.

La autonomía es esencial para la democracia

En las sociedades democráticas, la autonomía no es solo individual, sino relacional y colectiva: la ciudadanía forma sus opiniones y decisiones a través del razonamiento público y la deliberación. A largo plazo, muchos de los efectos de la IA sobre nuestra autonomía personal pueden convertirse en una amenaza para los fundamentos colectivos de la democracia.

La autonomía humana es esencial para una participación significativa en la deliberación colectiva y la toma de decisiones públicas

La pérdida de capacidad de acción personal impide a los ciudadanos participar de forma intencional en el debate público; la erosión de la capacidad crítica reduce su habilidad para contrastar ideas y formular juicios independientes; el debilitamiento del sentido de autoridad personal socava la confianza necesaria para intervenir en los asuntos públicos y defender posiciones propias… La lista es larga.

Si el diseño de la IA conduce a que las personas reciban información menos diversa y dispongan de menos opciones para una implicación crítica, se debilita nuestra capacidad de pensar de manera independiente y cuestionar los relatos dominantes. Si empezamos a externalizar el razonamiento cotidiano en algoritmos, disminuyen la reflexión humana y la posibilidad de disentir. La autonomía es un pilar central para una participación significativa en la deliberación colectiva y en la toma de decisiones públicas.

Un marco de gobernanza de la IA para garantizar la autonomía

Subías-Beltrán y Unceta proponen un marco de gobernanza que va más allá de una lista de principios éticos o de unas directrices de cumplimiento normativo. Se trata de una herramienta práctica que utiliza un conjunto de 39 preguntas de diagnóstico para ayudar a las organizaciones a identificar dónde y cómo puede verse amenazada la autonomía. Cada pregunta se clasifica según cuatro ejes:

La autonomía aparece en algunos marcos de gobernanza existentes, pero suele quedar en segundo plano frente a la equidad, la privacidad o la rendición de cuentas. Esta nueva propuesta la trata como una propiedad de diseño medible. El objetivo es hacer tangible la autonomía, de modo que los equipos que trabajan con IA puedan formular las preguntas adecuadas de forma recurrente y desde el inicio. “Defender la autonomía no es un ideal abstracto: puede y debe integrarse en la forma en que se diseña y gestiona la IA”, afirma Subías-Beltrán.

Esta perspectiva entiende la autonomía como una cuestión de gobernanza, no como una reflexión filosófica secundaria. El uso del marco proporciona a las organizaciones instrumentos concretos para evaluar cómo cada fase de un sistema de IA —desde la recopilación de datos hasta las actualizaciones del modelo— afecta a la capacidad de las personas para comprender, decidir y actuar libremente.

Por qué debemos gobernar la IA ahora

Existe una necesidad urgente de reforzar la gobernanza de la IA. Estos sistemas están cada vez más integrados en la vida cotidiana. Por ejemplo, la IA generativa ya se está desplegando en la educación, la sanidad y las finanzas, ámbitos con un impacto profundo en la vida de las personas. Cada uno de ellos plantea riesgos específicos para la autonomía: ¿pueden los tutores basados en IA ser responsables de la enseñanza de los estudiantes? ¿Deben los pacientes consentir el uso de herramientas de diagnóstico automatizadas? ¿Comprenden los prestatarios cómo funcionan las evaluaciones crediticias automatizadas?

No partimos de cero en la gestión de la IA. La Ley de IA de la UE identifica la autonomía humana como un principio rector, pero no llega a explicar cómo operacionalizarlo. Ahí es precisamente donde el trabajo de Subías-Beltrán y Unceta aporta valor: al convertir un principio en un proceso tangible.

¿Quién es responsable de gobernar la IA?

La autonomía no es un aspecto accesorio. Es fundamental para la democracia y para un futuro sostenible. Subías-Beltrán y Unceta subrayan que la responsabilidad de la gobernanza de la IA debe estar distribuida y no puede recaer en una sola persona o departamento.

El nuevo marco aclara cómo la dirección, los equipos de negocio, los desarrolladores y los diseñadores comparten la responsabilidad. De este modo, la autonomía pasa a formar parte de las operaciones diarias: algo que se diseña, se protege y se evalúa de manera continua, en lugar de revisarse una vez al año.

Como señalan las investigadoras, “defender la autonomía humana hoy es esencial para asegurar futuros sostenibles y democráticos mañana”. Su estudio nos abre los ojos a la importancia de comprender cómo la IA puede diseñarse de otra manera. En última instancia, cuando interactuamos con la IA, nuestra libertad para elegir, pensar y actuar no depende solo de lo que la IA puede hacer, sino de cómo decidimos gobernarla.

Imagen de cabecera: Yutong Liu & Digit / https://betterimagesofai.org / https://creativecommons.org/licenses/by/4.0/