El Vigilante También Juzga — La Validez Ecológica de la Supervisión Humana en Bucles Ciber-Físicos Cerrados

La Supervisión Humana como Sistema de Evaluación

Si la evaluación de la inteligencia artificial exige validez ecológica —midiendo el comportamiento del modelo en contexto real y no en condiciones de laboratorio idealizadas, surge una pregunta simétrica: ¿conservan los propios mecanismos de supervisión humana la validez ecológica necesaria para evaluar el sistema en tiempo real? Trasladada a la supervisión de bucles ciber-físicos cerrados (IA+IoT), la estructura conceptual de Egon Brunswik revela una inversión directa. El "organismo que juzga" pasa a ser el supervisor humano, mientras que el "ambiente" se convierte en el propio bucle ciber-físico — sensores, actuadores y el modelo de IA que decide entre ellos. La variable distal deja de ser el estado del mundo que la IA intenta inferir y pasa a ser el estado real del propio sistema en ejecución: si el equipo se está de hecho degradando, si la decisión tomada minutos antes fue adecuada, o si existe una anomalía incipiente sin alerta. Las señales proximales se reducen a los dashboards, los informes periódicos y las alertas puntuales que llegan al supervisor.

Sin embargo, existe una diferencia crucial respecto al modelo perceptivo original: mientras que las señales de la ecología natural vienen dadas por la naturaleza, las señales de supervisión son diseñadas, mediante decisiones de ingeniería sobre la tasa de muestreo, la agregación y los umbrales de alerta. La validez ecológica de la supervisión pasa así a depender de la correlación efectiva entre lo que el dashboard muestra y lo que realmente ocurre en el sistema físico. Se instala, además, una capa extra de riesgo: la confianza que el supervisor deposita en la señal puede permanecer intacta mucho después de que su validez haya comenzado a decaer, un desfase sobre el desfase que la literatura de factores humanos asocia a la fatiga de alarmas y a la complacencia de automatización.

El Mecanismo de Erosión: Vacío Institucional vs. Resistencia Activa

A medida que la cadencia del bucle ciber-físico se acelera hasta la escala de los milisegundos, la tasa a la que el sistema cambia de estado excede en varios órdenes de magnitud la tasa a la que el humano procesa ese cambio —y de esa discrepancia nace un fenómeno cercano al aliasing temporal. Desde la perspectiva de la Ley de Variedad Requerida de Ross Ashby, la variación de estados del sistema excede drásticamente el ancho de banda cognitivo humano, estimado entre 10 y 50 bits por segundo. Para que la información llegue al humano de forma comprensible, el sistema se ve obligado a realizar una compresión agresiva de datos, rompiendo la correspondencia entre la señal observada y la realidad distal.

En este punto es fundamental separar dos mecanismos que producen el mismo síntoma de desfase, pero que exigen hipótesis explicativas radicalmente distintas:

1. Vacío institucional: se trata de una propiedad arquitectónica directa de dos ciclos que operan en regímenes temporales incompatibles. La cadencia del ciclo automatizado excede la frecuencia viable de revisión humana, limitada por costes cognitivos y organizativos. Este mecanismo no exige ninguna agencia por parte del sistema y es demostrable en un controlador PID clásico, sin una sola línea de código de aprendizaje.

2. Resistencia activa (convergencia instrumental): descrita por Omohundro y Bostrom, postula que un sistema orientado a objetivos desarrolla subobjetivos de autopreservación para evitar ser apagado o corregido. Sin embargo, la resistencia activa exige cumulativamente tres condiciones: un objetivo abierto y poco delimitado, capacidad de razonamiento estratégico sobre la propia supervisión, y algún acceso a los mecanismos de control.

Un sistema de detección de anomalías en IoT industrial, con una función de pérdida estrecha y sin vías de actuación sobre sus propios controles de seguridad, no satisface ninguna de estas tres premisas. Explicar el hiato de supervisión observado recurriendo a la resistencia activa es elegir la hipótesis más pesada y especulativa, cuando el vacío institucional —derivado del mero desfase de cadencias— es la explicación parsimoniosa, suficiente y directamente observable en sistemas sin ninguna pretensión de agencia.

La Desconexión sobre el Terreno: Evidencia Empírica

Esta erosión motivada por el vacío institucional ya se manifiesta en escenarios operativos de alta cadencia. En el incidente de trading de Citigroup de mayo de 2022 (objeto de sanción regulatoria en 2024), una instrucción errónea dio lugar a la ejecución algorítmica de 1.400 millones de dólares en escasos minutos. El equipo de monitorización en tiempo real no escaló la oleada de 284 alertas, y el equipo de riesgo solo reaccionó unos 20 minutos después de la cancelación de las órdenes, lo que demuestra la pérdida de correlación entre la monitorización humana y el estado real del mercado.

De igual modo, durante el apagón de la Península Ibérica del 28 de abril de 2025, una cascada de disparos automáticos de generación y sobretensiones se desarrolló en aproximadamente 78 segundos. Los operadores humanos, sujetos a procedimientos estándar y a la cadencia manual de activación de recursos de compensación como los reactores shunt, vieron cómo la dinámica del sistema superaba la capacidad humana de reacción. De manera similar, en los centros de operaciones de seguridad (SOC), informes de 2026 documentan tiempos de invasión (breakout times) de apenas 51 segundos y exfiltraciones en 72 minutos; ante esta cadencia, las colas de triaje e informes humanos tardan típicamente entre decenas de minutos y horas en procesarse, describiendo estados operativos que ya han dejado de existir.

Mitigaciones de Ingeniería y el Rediseño del Paradigma

La ingeniería de control ha intentado atenuar este desfase mediante varios mecanismos. La auditoría por excepción reduce la carga de datos en régimen normal, pero ante brotes de alta cadencia desencadena cascadas de alarmas sobre un operador que ya ha perdido la conciencia situacional acumulada (out-of-the-loop). El Control Estadístico de Procesos (SPC) presupone variaciones lentas y distribuciones conocidas, fallando ante comportamientos emergentes no lineales de la IA. La autonomía por niveles —hacer transitar al sistema entre distintos grados de intervención humana según la incertidumbre estimada— tropieza con la paradoja de Bainbridge: ralentizar el proceso para esperar validación humana tiende a anular la propia función de un sistema de alta cadencia, y devolver el control al humano precisamente en el momento de mayor incertidumbre es también el momento de mayor probabilidad de error. Los disyuntores y kill switches interrumpen el proceso para garantizar la seguridad funcional, pero sacrifican la operabilidad y no restauran la validez de la observación en tiempo real. El enfoque más sólido se basa en envolventes de seguridad y Funciones de Barrera de Control (CBF), que restringen matemáticamente el espacio de acciones permitidas a la IA.

Aun así, como reconocen normas recientes como la ISO/IEC 42001:2023 y el Reglamento de IA de la UE (Artículo 14), estas salvaguardas parten de la premisa de que la supervisión operativa casi instantánea es una imposibilidad física cuando el tiempo de tolerancia del proceso es inferior al tiempo de reacción humano. El paradigma de la supervisión se ve así forzado a desplazarse de la escala operativa a una escala estructural y normativa, medida no en milisegundos sino en ciclos de revisión de políticas y de envolventes de seguridad. El supervisor humano deja de actuar en el ciclo rápido y pasa a diseñar los envolventes de seguridad, a ajustar gemelos digitales predictivos que proyectan trayectorias futuras, y a definir políticas de riesgo a priori.

Este argumento no se aplica universalmente, sino que está condicionado a dominios con bucles ciber-físicos ajustados; en decisiones organizativas, financieras o estratégicas comunes, donde ambos ritmos son comparables, la idea simplemente no tiene tracción. Subsiste, además, un riesgo retórico que vale la pena nombrar sin resolver: la propia frase "la supervisión pierde validez ecológica" puede ser apropiada, de buena o mala fe, para justificar menos supervisión en lugar de supervisión rediseñada. El diagnóstico propuesto aquí trata sobre un hecho —una correspondencia que se degrada— y no sobre qué hacer con ese hecho; confundir ambas cosas sería repetir, del lado de la supervisión, el mismo error que este artículo ya ha señalado del lado de la IA: tratar una constatación sobre validez como si fuera, por sí misma, una licencia normativa. Queda por resolver, y tal vez deba quedar así, si existe una forma de rediseñar la supervisión que no sea, ella misma, apenas una señal proximal más —un dashboard más— postulando confianza donde aún no hay correspondencia demostrada.

Del Output al Outcome: el Criterio Distal como Exigencia de Validez Ecológica

La distinción entre output y outcome, habitual en la evaluación de programas y en los modelos lógicos de intervención (input → actividad → output → outcome → impacto), no es una mera convención terminológica tomada de la gestión. Codifica una diferencia ontológica que la psicología Brunswikiana ya había formalizado décadas antes mediante el lens model: el output corresponde al juicio proximal del sistema —lo que este produce directamente y bajo su propio control, a partir del procesamiento de señales (cues) disponibles, mientras que el outcome corresponde al criterio distal en el ambiente, el estado del mundo que ese juicio pretendía predecir o influir, y que ya no está bajo el control directo del sistema. El achievement —la validez ecológica en sentido estricto— es definido por Brunswik precisamente como la correlación entre estos dos términos, no como una propiedad intrínseca del output.

Esta convergencia entre un vocabulario originado en la evaluación de programas (consolidado, por ejemplo, en los modelos lógicos de la W. K. Kellogg Foundation y en los criterios de evaluación de la OCDE-CAD) y el aparato conceptual de Brunswik no es una coincidencia disciplinar aislada: encuentra un paralelo particularmente sólido en el modelo structure–process–outcome de Donabedian (1966) para la evaluación de la calidad en la atención sanitaria. Donabedian argumenta, en un dominio enteramente independiente, que evaluar el proceso clínico —el equivalente al output— es necesario pero insuficiente, y que la validez última de un sistema de salud solo se establece en el outcome del paciente. Esta convergencia interdisciplinar refuerza, por triangulación, la tesis central de este artículo: si campos tan distintos como la psicología perceptiva, la evaluación de programas y la medicina clínica llegan de forma independiente a la misma distinción estructural, esto constituye evidencia a favor de que el output no es reducible al outcome por definición, sino más bien una variable correlacionada y falible.

La implicación para la evaluación de sistemas de IA — y, con particular agudeza, de sistemas de IA+IoT — es directa. Un benchmark mide típicamente la correspondencia entre el output del modelo y una etiqueta de referencia en un conjunto de datos: si la clasificación coincide con la etiqueta correcta. Esto es una medida de fidelidad interna al sistema de evaluación, no una medida de achievement ecológico. La validez ecológica exige, por el contrario, preguntar si ese output, una vez insertado en el ambiente real —con su propia distribución de escenarios, ruido instrumental y mediadores humanos y mecánicos, produce de hecho el estado distal deseado. En un sistema como el descrito en la sección anterior sobre bucles ciber-físicos cerrados, el output es "anomalía correctamente clasificada según el criterio de prueba"; el outcome es "fallo efectivamente evitado" o "tiempo de parada reducido". Entre ambos se interpone una cadena de mediadores causales —la interpretación del operador, la latencia de la respuesta, la adecuación de la interfaz de supervisión— que puede hacer que el output correcto diverja sistemáticamente del outcome deseado, exactamente como la tesis Brunswikiana preveía para el juicio perceptivo humano. Este es el fundamento teórico del argumento ya desarrollado: que el panel de supervisión es él mismo un sistema de evaluación sujeto a requisitos de validez ecológica —es el eslabón que convierte el output en outcome, y un fallo de validez ecológica en ese eslabón compromete toda la cadena, independientemente de la calidad del output del modelo aguas arriba.

Conviene anticipar la objeción obvia: los outcomes son típicamente más ruidosos, más retardados en el tiempo y multicausalmente confundidos (por políticas de mantenimiento, comportamiento del operador, variación de la carga del sistema físico), lo cual explica —pero no justifica epistémicamente— la preferencia metodológica generalizada por la evaluación de outputs. Esta tensión es estructuralmente análoga a la crítica del propio Brunswik al diseño experimental de laboratorio no representativo: la conveniencia de medir lo que resulta fácilmente medible tiene un coste sistemático de validez que solo se manifiesta cuando el sistema se traslada al ambiente ecológico real. Reconocer esta tensión explícitamente —en lugar de disolverla— es, además, coherente con el tratamiento de la triangulación epistémica ya desarrollado en otra sección de este artículo: la evaluación de outcomes no sustituye a la evaluación de outputs, sino que exige su complementación mediante múltiples fuentes de evidencia convergentes, precisamente porque ninguna medida aislada de outcome está exenta de confusión.