La supervisión humana de IA pierde efectividad por fatiga de atención

Durante años, la idea de mantener a un operario humano en el bucle de decisión fue considerada el estándar oro de gobernanza responsable en sistemas de IA. La premisa parecía lógica: si una máquina recomienda una acción, un humano la revisa antes de ejecutarla, lo que proporcionaría una capa final de validación. Pero Amazon ha identificado un problema fundamental que invalida buena parte de esa confianza: los humanos no están prestando atención.

El fenómeno se conoce como normalización de la desviación: cuando una persona supervisa repetidamente un sistema que acierta la mayoría de las veces, su atención se adormece gradualmente. Empieza a aprobar decisiones sin revisarlas con rigor, confiando en que el sistema 'casi siempre acierta'. Con el tiempo, la revisión humana se convierte en un gesto ritual, una firma en una línea punteada que valida recomendaciones sin que el revisor las haya procesado realmente.

Amazon ha documentado esto en contextos operativos reales: sistemas de logística, recomendaciones de productos, decisiones de moderación de contenido. Cuando el volumen de decisiones es alto y la tasa de aciertos es superior al 90 o 95 por ciento, incluso supervisores entrenados ceden a la complacencia. Aprietan botones de aprobación sin leer, sin cuestionar, sin validar.

La implicación es inquietante: durante años, empresas y reguladores han creído estar implementando salvaguardas humanas cuando en realidad estaban construyendo un teatro de control. El factor humano, en lugar de mitigar riesgos, se había convertido en un sello de legitimidad que ocultaba una automatización de facto. Los errores que el sistema comete simplemente pasan porque nadie los está viendo con ojos frescos.

Esto no significa que la supervisión humana sea inútil, pero sí que requiere un rediseño fundamental. No basta con tener una persona firmando paperwork. Necesita rotación de observadores, límites en el número de decisiones que revisa una persona en una sesión, herramientas que destaquen anomalías o baja confianza, y probablemente una arquitectura donde el riesgo percibido fuerce mayor escrutinio. La supervisión debe ser activa, no pasiva.

Amazon está enfatizando que las organizaciones necesitan repensar sus estrategias de gobernanza de IA más allá del 'human-in-the-loop' tradicional. Esto abre un debate incómodo: si los mecanismos de control que creíamos implementados no funcionaban, ¿qué tan seguro es realmente el despliegue de IA en decisiones de alto riesgo, desde crédito bancario hasta selección de candidatos?