3. El Problema del Criterio — Forma Débil y Forma Fuerte

Todas las secciones anteriores presupusieron, sin decirlo, que $Y_e$ —el criterio distal frente al cual se evalúa toda la cadena— existe como una magnitud bien definida, observable, e independiente de la decisión que la está usando como estándar. Las cinco revisiones adversariales reunidas para este artículo convergen, con notable unanimidad, en señalar que esta presuposición es la parte más frágil de todo el edificio.

El problema del criterio no es solo saber si $Y_e$ existe y se observa. Es saber qué representa $Y_e$, cuándo se mide, para quién, bajo qué acción se observa, y si permanece igual una vez que el sistema empieza a actuar sobre el ambiente. Antes de distinguir la inobservabilidad de la endogeneidad —las dos formas que dan nombre a esta sección—, vale la pena reconocer una cuestión aún más elemental: un $Y_e$ puede estar perfectamente registrado y, aun así, ser un proxy imperfecto del constructo que se pretende auditar.

En Argus, "no hubo fallo tras la alerta" puede significar que la alerta identificó un riesgo real y la acción evitó el fallo; que no existía riesgo real y ocurrió un falso positivo; que existía riesgo, pero la máquina no fue exigida lo suficiente para que el fallo se manifestara; que hubo un fallo parcial no registrado; o que el equipo fue sustituido antes del horizonte de observación. La misma etiqueta operacional puede corresponder a mecanismos completamente diferentes. La cadena formalizada en las Secciones 1 y 2 no resuelve esta validez de constructo —exige que se especifique antes de la auditoría, no después.

Una segunda cuestión, distinta pero igualmente anterior a las dos formas, es la del horizonte temporal. Este artículo trata explícitamente de bucles cerrados ciberfísicos, y por eso no existe un único criterio $Y_e$ —existe $Y_e(t+\tau)$, donde $\tau$ es el horizonte en el que se mide el desenlace. Una misma decisión puede mejorar un resultado inmediato y empeorar uno posterior: detener una máquina evita un fallo hoy, pero puede introducir tensiones de arranque que aumentan el riesgo futuro; aplazar el mantenimiento mejora la disponibilidad en el turno actual, pero aumenta la probabilidad de fallo en semanas. El criterio necesita, por tanto, declarar un horizonte de predicción explícito ("fallo en las próximas 24h", "antes de la próxima inspección"), un tiempo cero (la alerta, la decisión, la ejecución de la acción, o el retorno a la operación), y una regla de agregación (primer fallo, cualquier fallo, severidad máxima). Sin una ventana temporal previamente declarada, la auditoría corre el riesgo de elegir retrospectivamente el horizonte que favorece la política observada —y este riesgo se conecta directamente con el temporal aliasing ya formalizado en el Artículo 2, y con las propiedades de presentación y duración ya clasificadas en el Artículo 3: la misma erosión de correspondencia entre la cadencia de supervisión y la cadencia del sistema puede manifestarse aquí como erosión de correspondencia entre la ventana en que se define el criterio y la ventana en que la decisión realmente produce su efecto.

Con la condición semántica y el horizonte temporal declarados, la distinción entre las dos formas del problema del criterio se vuelve operacional. En su forma débil, el problema es de inobservabilidad: $Y_e$ existe, en principio, como hecho del mundo, pero no es directamente accesible para todos los casos que la auditoría necesitaría comparar. En el diagnóstico médico, el patrón de oro es frecuentemente el consenso de un panel de especialistas —usar un juicio humano para validar otro juicio humano. En las sentencias judiciales, el proxy habitual, la reincidencia, está contaminado por las prácticas policiales y por el propio sistema de fianza que determina quién es observado en libertad. En el IoT industrial, el fallo es frecuentemente censurado por la propia intervención de mantenimiento: si el sistema previene la avería, el contrafactual de fallo nunca se observa.

En lenguaje de resultados potenciales: sea $Y_e(a)$ el desenlace que ocurriría bajo una acción $a$. Para cada caso, solo se observa $Y_e(A)$ —el desenlace bajo la acción efectivamente tomada— nunca el contrafactual $Y_e(1-A)$.

Existe además un riesgo distinto, que no debe confundirse con buena o mala observabilidad del criterio: el leakage, o solapamiento tautológico entre pistas y criterio. Si una pista incluye información contemporánea, posterior, o casi idéntica al propio desenlace que se pretende predecir, $R_e$ puede quedar artificialmente elevado. El problema, en ese caso, no es que haya poca incertidumbre ecológica; es que la auditoría deja de probar predicción o correspondencia genuina y pasa a medir una relación circular entre variable y criterio —particularmente relevante en las cadenas AI-IoT de este artículo, donde las pistas derivadas y el propio output de la IA pueden, sin cuidado, contaminarse mutuamente a lo largo del tiempo.

Este es precisamente el problema de las etiquetas selectivas (selective labels problem), nombrado y formalizado por Lakkaraju, Kleinberg, Leskovec, Ludwig y Mullainathan (2017): solo observamos el desenlace para los casos en que la decisión permitió que ese desenlace se manifestara. Los autores no tratan el problema como una simple ausencia de datos a corregir mediante reponderación —proponen una técnica específica, la contraction, que compara decisiones humanas y modelos predictivos ante etiquetas selectivas explotando la heterogeneidad entre decisores, sin depender de la imputación contrafactual tradicional.

La forma débil admite, sin embargo, una respuesta parcial y técnicamente honesta. Kleinberg, Lakkaraju, Leskovec, Ludwig y Mullainathan (2018), en el contexto exacto de las decisiones de fianza, explotan la asignación aproximadamente aleatoria de casos a jueces y la variación sistemática en su indulgencia para estimar efectos y comparar políticas bajo supuestos causales explícitos. El diseño no vuelve observable $Y_e$ para todos los casos; crea variación exógena en la decisión que permite aprender sobre consecuencias contrafactuales en grupos comparables. Ludwig y Mullainathan (2021) usan estas fragilidades observadas en el sistema de justicia para extraer lecciones más generales: la variación entre decisores, la selectividad de los resultados, y la fragilidad de las predicciones deben tratarse como problemas de diseño institucional, no solo como detalles estadísticos de un dominio específico. En el contexto de este artículo, esa variación puede provenir de diferencias entre operadores, turnos, o instalaciones de Argus —pero la mera existencia de variación no constituye, por sí sola, un instrumento válido. Los operadores más experimentados pueden recibir activos más críticos; ciertos turnos pueden coincidir con regímenes de producción más exigentes; instalaciones diferentes pueden tener equipos y sensores distintos; un operador "más indulgente" en la decisión de detener puede diferir también en la calidad del diagnóstico; turnos y operadores pueden comunicarse entre sí, creando interferencia entre unidades supuestamente independientes.

Es esencial no leer el instrumento de indulgencia como una resolución completa. Sus supuestos —plausibilidad de la asignación exógena, fuerza de la variación, equilibrio entre casos, ausencia de canales alternativos, estabilidad del mecanismo causal— deben declararse explícitamente, someterse a diagnósticos empíricos, y defenderse sustantivamente; algunos son parcialmente comprobables, otros rara vez lo son de forma completa. Cuando estos supuestos no se sostienen, la forma débil del problema del criterio permanece, de hecho, sin resolver en ese caso concreto.

La forma fuerte es estructuralmente diferente: no es que $Y_e$ sea difícil de observar, es que la propia decisión altera el ambiente que genera el criterio. El encarcelamiento simultáneamente previene y causa reincidencia. Detener una máquina puede ser precisamente lo que impide el fallo que serviría de criterio para evaluar si la decisión de detenerla era correcta. Las dos formas no son mutuamente excluyentes: en un sistema de mantenimiento preventivo, la parada puede censurar simultáneamente la observación del fallo contrafactual (forma débil) y alterar causalmente el proceso que produciría el desenlace (forma fuerte). La forma débil pregunta si el criterio relevante se observa para los casos necesarios; la forma fuerte pregunta si existe siquiera un criterio único e independiente de la acción que pueda servir de estándar para evaluar la decisión.

Este artículo no resuelve la forma fuerte, pero tampoco la declara imposible en principio. La inferencia causal existe precisamente para estudiar efectos de acciones sobre resultados; un ensayo aleatorizado, un diseño de discontinuidad, o un instrumento válido pueden, en dominios específicos, estimar $\mathbb{E}[Y_e(1) - Y_e(0)]$ incluso cuando la decisión causa el propio resultado. Lo que la forma fuerte vuelve insuficiente no es la inferencia causal en general —es la interpretación simple de $r_a = \operatorname{corr}(Y_s, Y_e^{obs})$ como achievement en el sentido clásico de la LME, cuando $Y_e^{obs}$ es, en sí mismo, producto parcial de la decisión que se está evaluando. En esos casos, la auditoría debe especificar explícitamente resultados potenciales, horizonte temporal, función de pérdida, y una teoría causal de la intervención.

Esto hace eco, y ahora formaliza, la condición previa que el heurístico de diseño del Artículo 4 ya exigía antes de que cualquier elección de arquitectura tuviera sentido: sin un criterio suficientemente definido, auditable, y no trivialmente endógeno, ni la elección de arquitectura del Artículo 4 ni la auditoría del Artículo 5 tienen suelo sobre el que asentarse.

Complicaciones Adicionales, No Resueltas Aquí

Cinco complicaciones adyacentes merecen registrarse, aunque su desarrollo pleno pertenezca a otro lugar de esta trilogía.

Riesgos concurrentes y censura no causada por la decisión. La forma débil, tal como se presentó, trata la censura como consecuencia de la decisión auditada —pero un activo puede dejar de ser observable por razones independientes: falla un sensor, termina el contrato, se sustituye el equipo, se reduce la producción y la máquina deja de operar bajo carga comparable. La pregunta práctica para Argus es si la ausencia de fallo significa máquina sana, máquina detenida, máquina sustituida, o simplemente ausencia de registro —estados que no deben codificarse todos indiscriminadamente como $Y_e = 0$, so pena de que un sesgo de supervivencia infle artificialmente el achievement.

Criterio diferencial por subgrupo. La miscalibración escondida tras un $r_a$ o $G$ agregado ya se identificó como objeción en las revisiones que fundamentan este artículo —pero la misma preocupación se aplica al propio $Y_e$: "fallo" puede medirse con frecuencia, precisión, y umbrales distintos entre instalaciones instrumentadas y no instrumentadas, entre activos nuevos y antiguos. Un informe que estratifique $G$ o $r_a$ pero trate $Y_e$ como homogéneo puede confundir una diferencia de desempeño con una diferencia de observación.

Deriva del criterio tras el deployment. Una vez introducido el sistema, el criterio puede cambiar porque el propio sistema cambia el ambiente que lo genera —los operadores adaptan su comportamiento, las alertas alteran qué fallos se registran, las políticas de mantenimiento se rediseñan. Este es un problema más amplio que la endogeneidad de una decisión individual; es un feedback loop de distribución y de medición, y se conecta directamente con el protocolo de estabilización de $R_s(t)$ aún por desarrollar en esta trilogía —el mismo rastreo por versión que permitirá distinguir una mejora real del ambiente de un simple cambio en el mecanismo de observación.

Contrafactuales múltiples y función de pérdida. La LME mide correlación entre política y criterio; no elige una función de pérdida. Cuando el objetivo es evaluar acciones, no solo predicciones, el criterio deja de ser un único desenlace y pasa a ser una comparación entre desenlaces potenciales bajo acciones alternativas —falso positivo (detener sin riesgo real) frente a falso negativo (no detener en riesgo)— ponderada por una función $U(a, Y_e)$ que este artículo no presupone que dé la LME. Esta es exactamente la asimetría de costes ya señalada como extensión posible a través del Bifocal LME de Beckstead.

Criterio vectorial, no escalar. En muchos dominios de alto riesgo, $Y_e$ es un vector —seguridad, disponibilidad, coste, calidad— no una magnitud única. Una acción que mejora la seguridad puede empeorar la disponibilidad. La decisión de reducir esto a un criterio escalar exige una regla de agregación y pesos normativos; no es una operación neutral ni puramente estadística, y se conecta directamente con la recuperabilidad y la gravedad de las acciones ya discutidas en el Artículo 4.

El principio común a estas cinco complicaciones, y el más directamente comunicable fuera del cuerpo técnico de este artículo, es este: la ausencia de fallo observado no es lo mismo que la ausencia de riesgo, y la ausencia de riesgo no es lo mismo que el éxito de la decisión. La condición de aplicabilidad de esta herramienta sigue siendo la ya enunciada —criterio suficientemente definido, selectividad tratable, endogeneidad despreciable o complementada por diseño causal— pero esa condición debe leerse ahora a la luz de todas las formas, no solo dos, en que $Y_e$ puede fallar en representar aquello que se pretende auditar.