Saltar al contenido principal
Volver al blog
IA responsable AI Act Supervisión humana Producto

Supervisión humana en IA: cómo saber si alguien revisa de verdad

Si una persona aprueba el 99% de lo que propone la IA en cuatro segundos, no hay supervisión. Cómo diseñarla y medirla según el artículo 14 del AI Act.

JM
Javier Manzano
CEO & Co-founder • 16 de noviembre de 2026
Supervisión humana en IA: cómo saber si alguien revisa de verdad

Hay una forma de cumplir sobre el papel con la supervisión humana que no sirve de nada: poner a una persona delante de una cola de propuestas del sistema con un botón de “aprobar”. Al cabo de una semana aprueba casi todo, en pocos segundos, porque el sistema acierta la mayoría de las veces y revisar con cuidado cada caso no le compensa a nadie.

Ese efecto tiene nombre, sesgo de automatización, y está estudiado desde hace décadas en aviación y en medicina. El AI Act lo cita expresamente. Este post explica qué exige la ley, por qué la supervisión falla y cómo medir si en tu sistema funciona.

Qué exige el AI Act

El artículo 14 se aplica a los sistemas de alto riesgo, que en el caso del Anexo III (selección de personal, crédito, seguros, educación, servicios esenciales) son obligatorios desde el 2 de diciembre de 2027 tras el retraso del Ómnibus Digital. El sistema tiene que estar diseñado para que la persona que lo supervisa pueda:

  1. Entender sus capacidades y sus limitaciones, y vigilar su funcionamiento para detectar anomalías.
  2. Ser consciente de la tendencia a fiarse en exceso de lo que propone el sistema, el sesgo de automatización, en especial cuando el sistema da recomendaciones para que decida una persona.
  3. Interpretar correctamente su salida.
  4. Decidir no usarlo, o ignorar, anular o revertir lo que propone.
  5. Intervenir o pararlo.

El artículo 26 añade la parte de la empresa que lo usa: tiene que asignar la supervisión a personas con la competencia, la formación y la autoridad necesarias, y darles el apoyo que necesiten. Ahí se cruza con la alfabetización en IA.

Por qué la supervisión falla

En 2010, Raja Parasuraman y Dietrich Manzey revisaron la investigación sobre cómo usan las personas los sistemas automáticos en cabinas de avión, en diagnóstico médico y en control industrial (Complacency and Bias in Human Use of Automation). Dos conclusiones aplican directamente a la IA:

  • Cuanto más fiable es el sistema, menos se revisa. Si acierta el 95% de las veces, la persona deja de buscar el 5% restante. Aprobar sin mirar es la estrategia que mejor funciona día a día, hasta el día que falla.
  • La experiencia y la formación no lo eliminan. Los expertos también lo sufren. Lo que reduce el efecto es el diseño de la tarea: qué información se ve, en qué orden y qué consecuencias tiene equivocarse.

El caso europeo más conocido es el de las ayudas al cuidado infantil en Países Bajos. La administración tributaria usó un modelo de riesgo para señalar posibles fraudes, y las señales del modelo se trataron como pruebas: miles de familias tuvieron que devolver ayudas que les correspondían. El gobierno dimitió en enero de 2021, y la autoridad de protección de datos multó después a la administración tributaria por usar la nacionalidad en el tratamiento. Había personas en el proceso, pero el sistema decidía en la práctica.

Cómo diseñarla para que funcione

Enseña la evidencia y no solo la conclusión. “Candidato descartado” no se puede revisar. “Descartado porque no tiene la titulación X: en el CV aparece Y” sí. Si el sistema no puede explicar en qué se basa, la persona no tiene nada que comprobar.

Pide la decisión antes de enseñar la propuesta, en una parte de los casos. En una muestra, la persona decide primero y después ve lo que proponía el sistema. Si casi siempre coinciden, bien. Si la persona coincide mucho más cuando ve antes la propuesta, está copiando.

Separa lo que no puede quedar sin revisar. Descartar a un candidato, denegar un servicio o marcar a alguien como sospechoso de fraude son decisiones que perjudican a una persona, y ahí la revisión tiene que ser completa. Clasificar un ticket o sugerir una respuesta puede revisarse por muestreo.

Haz que discrepar cueste lo mismo que aprobar. Si aprobar es un clic y rechazar obliga a rellenar un formulario de cinco campos, el diseño empuja a aprobar. Pide una razón en los dos casos, o en ninguno.

Limita la carga. Una persona con 400 casos al día no supervisa nada. Calcula cuánto tiempo necesita un caso bien revisado y dimensiona el equipo con ese número.

Pon un botón para parar. Alguien tiene que poder desactivar el sistema y volver al proceso manual sin pedir permiso a tres departamentos. Y ese proceso manual tiene que seguir existiendo.

Cómo medir si funciona

Tres métricas, de la más fácil a la más reveladora:

MétricaQué indicaSeñal de alarma
Tasa de aprobaciónCuánto se corrige al sistemaPor encima del 98-99% de forma sostenida, si se sabe que el sistema se equivoca más que eso
Tiempo por revisiónSi da tiempo a revisar algoSegundos en casos que exigen leer un documento
Detección de casos de controlSi la persona encuentra los erroresMenos de la mitad de los errores introducidos a propósito detectados

La tercera es la que de verdad informa. Consiste en meter en la cola, cada cierto tiempo, propuestas del sistema que sabes que son erróneas (un candidato bien cualificado marcado como descartado, una solicitud correcta marcada como fraude) y contar cuántas detecta la persona. Es la misma idea que usan los controles de seguridad de los aeropuertos con maletas de prueba. Si los casos de control pasan sin que nadie los vea, los errores reales también pasan.

Estas métricas tienen que registrarse por persona y por periodo, y revisarse. No sirven para sancionar a quien supervisa: una tasa de detección baja suele indicar un problema de diseño de la tarea, de carga o de formación.

Por dónde empezar

Si ya tienes un sistema con revisión humana, saca la tasa de aprobación y el tiempo medio por caso de los últimos tres meses. Suele bastar para ver si la revisión es real. Si los números salen mal, el arreglo empieza por el diseño de la pantalla de revisión, antes que por la formación.

Medir la supervisión humana es una de las pruebas de nuestra auditoría de IA responsable, junto con las pruebas de sesgo y la revisión de transparencia. Tienes el calendario completo de obligaciones en la guía del AI Act.

No te pierdas nada

JM

Javier Manzano

CEO & Co-founder en Soamee

Apasionado por la tecnología y el desarrollo de software. Comparto conocimientos y experiencias para ayudar a otros desarrolladores a crecer.

¿Te ha gustado este artículo?

Si necesitas ayuda con tu proyecto de desarrollo, estamos aquí para ti.

Supervisión humana en IA y sesgo de automatización

Cuéntanos tu reto. Te proponemos solución.

Sin compromiso. Te respondemos en menos de 24 h y en 48 h tienes una propuesta con alcance, plazos y presupuesto. Sin letra pequeña.

Agenda call gratuita →