¿Quién está realmente al mando? Repensar el control humano en la era de los agentes de IA

Mira aquí el vídeo completo de la ponencia

La IA evoluciona a gran velocidad. Al principio, solo le hacíamos preguntas; ahora puede gestionar flujos de trabajo, tomar decisiones y ejecutar tareas de forma automática. Los llamados “agentes de IA” son sistemas capaces de operar sin intervención humana. Google los define como “sistemas de software que utilizan IA para perseguir objetivos y completar tareas en nombre de los usuarios”.

Estos agentes impulsarán sin duda la productividad, pero surge una cuestión clave: ¿hasta qué punto debemos confiar en ellos? ¿Dónde se traza la línea entre eficiencia y autonomía humana?

Este fue el eje de una mesa redonda celebrada en el 4YFN, moderada por Irene Unceta, profesora asociada del Departamento de Data, Analytics, Technology and AI de Esade. En ella participaron Sergi Bastardas, fundador y CEO de OrbioAI; Migle Laukyte, profesora de Inteligencia Artificial y Derecho en la Universitat Pompeu Fabra y miembro del Grupo Europeo de Ética en Ciencia y Nuevas Tecnologías; y Xavier Domingo i Albin, director de la Unidad de Inteligencia Artificial Aplicada de Eurecat. Juntos analizaron no solo las capacidades de los agentes de IA, sino también cómo las organizaciones pueden garantizar que el control humano siga siendo real y efectivo.

De asistentes a agentes

¿Cómo ha cambiado la IA? Antes, respondía a preguntas; ahora actúa. Como explica Domingo i Albin, estos sistemas están diseñados para comprender el contexto, definir objetivos y ejecutar secuencias de decisiones. Están “pasando de recomendar a actuar de forma autónoma”.

Este cambio es significativo. Cuando la IA solo ofrecía respuestas, los humanos decidíamos si actuar en base a ellas. Pero cuando el sistema decide por sí mismo los siguientes pasos, tanto las decisiones como sus resultados se vuelven menos previsibles y más difíciles de interpretar.

Un agente de IA puede aprender, adaptarse y coordinarse con otros sistemas, lo que hace que su comportamiento no siempre sea predecible. Para las organizaciones, esto supone un cambio profundo: la tecnología ya no es solo un apoyo, sino que influye directamente en la toma de decisiones.

Delegación a escala: ¿qué estamos cediendo realmente?

Las empresas están delegando cada vez más tareas en la IA. Bastardas destacó cómo los agentes ya se utilizan en procesos operativos como la gestión de empleados o la atención al cliente. Estos sistemas pueden procesar más datos a mayor velocidad que los humanos, adaptarse a contextos cambiantes y tomar decisiones en tiempo real.

Esto no es necesariamente negativo. “Puede que estemos sobreestimando el juicio humano: los sistemas de IA ofrecen más trazabilidad y consistencia”, señala Bastardas. Los humanos toman decisiones inconsistentes y con sesgos difíciles de rastrear. En cambio, la IA puede ofrecer mayor transparencia sobre cómo se toman las decisiones.

La magnitud del fenómeno es significativa. Según McKinsey, para 2030 hasta el 30 % de las actividades laborales actuales en Estados Unidos podrían automatizarse mediante IA generativa, especialmente en áreas como atención al cliente, operaciones o recursos humanos.

Las organizaciones no solo están automatizando tareas: están delegando el juicio.

Automatización sin comprensión

El riesgo es que los humanos acaben supervisando sistemas que no comprenden del todo. Se abre una brecha entre acción y comprensión.

Domingo i Albin plantea una preocupación clave: “¿Qué ocurrirá cuando tengamos cientos de agentes interactuando entre sí? ¿Cómo detectaremos un error? ¿Quién será responsable?”. A medida que los sistemas se vuelven más complejos, los fallos pueden pasar desapercibidos y la responsabilidad se diluye.

Los supervisores humanos podrían operar bajo una ilusión de control. Aunque formalmente estén al mando, en la práctica se limitan a validar decisiones tomadas por la IA. Esto puede derivar en una dependencia excesiva, donde los resultados de la IA se aceptan sin cuestionamiento crítico.

Responsabilidad, derecho y límites de la autonomía

Las implicaciones legales y éticas son fundamentales. Laukyte subraya que la escala y el impacto de la IA actual no tienen precedentes. Es esencial definir claramente dónde recae la responsabilidad.

“Los humanos deben establecer los objetivos y seguir siendo responsables de los resultados”, afirma.

El Reglamento de IA de la Unión Europea sigue esta lógica: un marco basado en el riesgo, centrado en el uso de los sistemas más que en la tecnología en sí. Las aplicaciones de alto riesgo —como las relacionadas con la salud o el empleo— están sujetas a requisitos más estrictos en materia de transparencia, supervisión y responsabilidad.

Diseñar para mantener el control

La forma en que diseñamos los sistemas de IA será determinante. Como apunta Bastardas: “El verdadero reto no es la inteligencia, sino cómo se diseña y controla el sistema”.

El panel destacó la importancia de combinar distintos enfoques: procesos deterministas, donde los resultados deben ser previsibles, y modelos más flexibles basados en agentes, donde la adaptación es clave.

También es recomendable adoptar una delegación progresiva. A medida que la IA demuestra su fiabilidad, se le pueden asignar más responsabilidades, manteniendo el control humano sobre las decisiones más críticas.

Otro elemento esencial es la observabilidad. Cuanto más complejos sean los sistemas, mayor será la necesidad de monitorizarlos, auditarlos y entender su comportamiento. Sin comprensión, la supervisión pierde eficacia.

Mantener la relevancia humana

El papel de las personas en el trabajo está evolucionando hacia la supervisión de sistemas de IA. Esto puede liberar tiempo para tareas estratégicas, pero plantea nuevas preguntas: ¿seguirán los trabajadores comprometidos? ¿Se sentirán responsables? ¿Se preocuparán por desarrollar sus habilidades?

Si la IA asume la mayor parte de las tareas, existe el riesgo de desconexión.

Laukyte introduce además una idea clave: la posibilidad de no utilizar IA. “Nadie debería estar obligado a usarla”, afirma. En determinados contextos, especialmente cuando están en juego derechos fundamentales, la prudencia puede ser tan importante como la innovación.

Una cuestión de control

El núcleo del debate no es lo que la IA puede hacer, sino quién controla el proceso.

A medida que las organizaciones delegan más decisiones en máquinas, deben definir claramente cómo se mantiene la responsabilidad.

Preservar el juicio humano y la rendición de cuentas es esencial para que las personas sigan estando verdaderamente al mando de los sistemas que utilizan.