3. O Problema do Critério — Forma Fraca e Forma Forte

Todas as secções anteriores pressupuseram, sem o dizer, que $Y_e$ — o critério distal contra o qual a cadeia inteira é avaliada — existe como uma grandeza bem definida, observável, e independente da decisão que a está a usar como padrão. As cinco revisões adversariais reunidas para este artigo convergem, com notável unanimidade, em apontar que esta pressuposição é a mais frágil de todo o edifício.

O problema do critério não é apenas saber se $Y_e$ existe e é observado. É saber o que $Y_e$ representa, quando é medido, para quem, sob que ação é observado, e se permanece o mesmo depois de o sistema passar a agir sobre o ambiente. Antes de distinguir inobservabilidade de endogeneidade — as duas formas que dão nome a esta secção —, vale a pena reconhecer uma questão ainda mais elementar: um $Y_e$ pode estar perfeitamente registado e, ainda assim, ser um proxy imperfeito do construto que se pretende auditar.

No Argus, "não houve falha após o alerta" pode significar que o alerta identificou risco real e a ação evitou a falha; que não existia risco real e ocorreu uma falsa positiva; que existia risco, mas a máquina não foi exigida o suficiente para a falha se manifestar; que houve uma falha parcial não registada; ou que o equipamento foi substituído antes do horizonte de observação. O mesmo rótulo operacional pode corresponder a mecanismos completamente diferentes. A cadeia formalizada nas Secções 1 e 2 não resolve esta validade de construto — exige que ela seja especificada antes da auditoria, não depois.

Uma segunda questão, distinta mas igualmente anterior às duas formas, é a do horizonte temporal. Este artigo trata explicitamente de loops fechados ciber-físicos, e por isso não existe apenas um critério $Y_e$ — existe $Y_e(t+\tau)$, onde $\tau$ é o horizonte no qual o desfecho é medido. Uma mesma decisão pode melhorar um resultado imediato e piorar um resultado posterior: parar uma máquina evita uma falha hoje, mas pode introduzir stresses de arranque que aumentam o risco futuro; adiar manutenção melhora a disponibilidade no turno atual, mas aumenta a probabilidade de falha em semanas. O critério precisa, por isso, de declarar um horizonte de previsão explícito ("falha nos próximos 24h", "antes da próxima inspeção"), um tempo zero (o alerta, a decisão, a execução da ação, ou o retorno à operação), e uma regra de agregação (primeira falha, qualquer falha, severidade máxima). Sem uma janela temporal previamente declarada, a auditoria corre o risco de escolher retrospetivamente o horizonte que favorece a política observada — e este risco liga-se diretamente ao temporal aliasing já formalizado no Artigo 2, e às propriedades de apresentação e duração já classificadas no Artigo 3: a mesma erosão de correspondência entre cadência de supervisão e cadência do sistema pode manifestar-se aqui como erosão de correspondência entre a janela em que o critério é definido e a janela em que a decisão realmente produz efeito.

Com a condição semântica e o horizonte temporal declarados, a distinção entre as duas formas do problema do critério torna-se operacional. Na sua forma fraca, o problema é de inobservabilidade: $Y_e$ existe, em princípio, como facto do mundo, mas não é diretamente acessível para todos os casos que a auditoria precisaria de comparar. Em diagnóstico médico, o padrão-ouro é frequentemente o consenso de um painel de especialistas — usar um julgamento humano para validar outro julgamento humano. Em sentenças judiciais, o proxy habitual, a reincidência, está contaminado pelas práticas de policiamento e pelo próprio sistema de fiança que determina quem é observado em liberdade. Em IoT industrial, a falha é frequentemente censurada pela própria intervenção de manutenção: se o sistema previne a avaria, o contrafactual de falha nunca se observa.

Em linguagem de resultados potenciais: seja $Y_e(a)$ o desfecho que ocorreria sob uma ação $a$. Para cada caso, só se observa $Y_e(A)$ — o desfecho sob a ação efetivamente tomada — nunca o contrafactual $Y_e(1-A)$.

Existe ainda um risco distinto, que não deve ser confundido com boa ou má observabilidade do critério: leakage, ou sobreposição tautológica entre pistas e critério. Se uma pista inclui informação contemporânea, posterior, ou quase idêntica ao próprio desfecho que se pretende prever, $R_e$ pode ser artificialmente elevado. O problema, nesse caso, não é haver pouca incerteza ecológica; é a auditoria deixar de testar previsão ou correspondência genuína e passar a medir uma relação circular entre variável e critério — particularmente relevante nas cadeias AI-IoT deste artigo, onde pistas derivadas e o próprio output da IA podem, sem cuidado, contaminar-se mutuamente ao longo do tempo.

Este é precisamente o problema dos rótulos seletivos (selective labels problem), nomeado e formalizado por Lakkaraju, Kleinberg, Leskovec, Ludwig e Mullainathan (2017): só observamos o desfecho para os casos em que a decisão permitiu que esse desfecho se manifestasse. Os autores não tratam o problema como simples ausência de dados a corrigir por reponderação — propõem uma técnica específica, a contraction, que compara decisões humanas e modelos preditivos perante rótulos seletivos explorando a heterogeneidade entre decisores, sem depender de imputação contrafactual tradicional.

A forma fraca admite, contudo, uma resposta parcial e tecnicamente honesta. Kleinberg, Lakkaraju, Leskovec, Ludwig e Mullainathan (2018), no contexto exato de decisões de fiança, exploram a atribuição aproximadamente aleatória de casos a juízes e a variação sistemática na sua leniência para estimar efeitos e comparar políticas sob pressupostos causais explícitos. O desenho não torna $Y_e$ observável para todos os casos; cria variação exógena na decisão que permite aprender sobre consequências contrafactuais em grupos comparáveis. Ludwig e Mullainathan (2021) usam estas fragilidades observadas no sistema de justiça para retirar lições mais gerais: variação entre decisores, seletividade de resultados, e fragilidade de previsões devem ser tratados como problemas de desenho institucional, não apenas como detalhes estatísticos de um domínio específico. No contexto deste artigo, essa variação pode vir de diferenças entre operadores, turnos, ou instalações do Argus — mas a existência de variação, por si só, não constitui um instrumento válido. Operadores mais experientes podem receber ativos mais críticos; certos turnos podem coincidir com regimes de produção mais exigentes; instalações diferentes podem ter equipamento e sensores distintos; um operador "mais leniente" na decisão de parar pode diferir também na qualidade do diagnóstico; turnos e operadores podem comunicar entre si, criando interferência entre unidades supostamente independentes.

É essencial não ler o instrumento de leniência como uma resolução completa. Os seus pressupostos — plausibilidade da atribuição exógena, força da variação, equilíbrio entre casos, ausência de canais alternativos, estabilidade do mecanismo causal — têm de ser explicitamente declarados, submetidos a diagnósticos empíricos, e defendidos substantivamente; alguns são parcialmente testáveis, outros raramente o são de forma completa. Quando estes pressupostos não se sustentam, a forma fraca do problema do critério permanece, de facto, por resolver nesse caso concreto.

A forma forte é estruturalmente diferente: não é que $Y_e$ seja difícil de observar, é que a própria decisão altera o ambiente que gera o critério. O encarceramento simultaneamente previne e causa reincidência. Parar uma máquina pode ser precisamente o que impede a falha que serviria de critério para avaliar se a decisão de parar estava certa. As duas formas não são mutuamente exclusivas: num sistema de manutenção preventiva, a paragem pode simultaneamente censurar a observação da falha contrafactual (forma fraca) e alterar causalmente o processo que produziria o desfecho (forma forte). A forma fraca pergunta se o critério relevante é observado para os casos necessários; a forma forte pergunta se existe sequer um critério único e independente da ação que possa servir de padrão para avaliar a decisão.

Este artigo não resolve a forma forte, mas também não a declara impossível em princípio. A inferência causal existe precisamente para estudar efeitos de ações sobre resultados; um ensaio aleatorizado, um desenho de descontinuidade, ou um instrumento válido podem, em domínios específicos, estimar $\mathbb{E}[Y_e(1) - Y_e(0)]$ mesmo quando a decisão causa o próprio resultado. O que a forma forte torna insuficiente não é a inferência causal em geral — é a interpretação simples de $r_a = \operatorname{corr}(Y_s, Y_e^{obs})$ como achievement no sentido clássico da LME, quando $Y_e^{obs}$ é, ele próprio, produto parcial da decisão que se está a avaliar. Nesses casos, a auditoria tem de especificar explicitamente resultados potenciais, horizonte temporal, função de perda, e uma teoria causal da intervenção.

Isto ecoa, e agora formaliza, a condição prévia que o heurístico de desenho do Artigo 4 já exigia antes de qualquer escolha de arquitetura fazer sentido: sem um critério suficientemente definido, auditável, e não trivialmente endógeno, nem a escolha de arquitetura do Artigo 4 nem a auditoria do Artigo 5 têm chão em que assentar.

Complicações Adicionais, Não Resolvidas Aqui

Cinco complicações adjacentes merecem registo, mesmo que o seu desenvolvimento pleno pertença a outro lugar desta trilogia.

Riscos concorrentes e censura não causada pela decisão. A forma fraca, tal como apresentada, trata a censura como consequência da decisão auditada — mas um ativo pode deixar de ser observável por razões independentes: um sensor falha, o contrato termina, o equipamento é substituído, a produção é reduzida e a máquina deixa de operar em carga comparável. A pergunta prática para o Argus é se a ausência de falha significa máquina saudável, máquina parada, máquina substituída, ou simplesmente ausência de registo — estados que não devem ser todos codificados indiscriminadamente como $Y_e = 0$, sob pena de viés de sobrevivência a inflacionar artificialmente o achievement.

Critério diferencial por subgrupo. A miscalibração escondida por um $r_a$ ou $G$ agregado já foi identificada como objeção nas revisões que fundamentam este artigo — mas a mesma preocupação aplica-se ao próprio $Y_e$: "falha" pode ser medida com frequência, precisão, e limiares distintos entre instalações instrumentadas e não instrumentadas, entre ativos novos e antigos. Um relatório que estratifique $G$ ou $r_a$ mas trate $Y_e$ como homogéneo pode confundir diferença de desempenho com diferença de observação.

Deriva do critério após o deployment. Depois de o sistema ser introduzido, o critério pode mudar porque o próprio sistema muda o ambiente que o gera — operadores adaptam comportamento, alertas alteram que falhas são registadas, políticas de manutenção são redesenhadas. Este é um problema mais amplo do que a endogeneidade de uma decisão individual; é um feedback loop de distribuição e de medição, e liga-se diretamente ao protocolo de estabilização de $R_s(t)$ ainda por desenvolver nesta trilogia — o mesmo rastreamento por versão que permitirá distinguir melhoria real do ambiente de uma simples mudança no mecanismo de observação.

Contrafactuais múltiplos e função de perda. A LME mede correlação entre política e critério; não escolhe uma função de perda. Quando o objetivo é avaliar ações, não apenas previsões, o critério deixa de ser um único desfecho e passa a ser uma comparação entre desfechos potenciais sob ações alternativas — falso positivo (parar sem risco real) versus falso negativo (não parar em risco) — ponderada por uma função $U(a, Y_e)$ que este artigo não presume ser dada pela LME. Esta é exatamente a assimetria de custos já sinalizada como extensão possível via o Bifocal LME de Beckstead.

Critério vetorial, não escalar. Em muitos domínios de alto risco, $Y_e$ é um vetor — segurança, disponibilidade, custo, qualidade — não uma grandeza única. Uma ação que melhora segurança pode piorar disponibilidade. A decisão de reduzir isto a um critério escalar exige uma regra de agregação e pesos normativos; não é uma operação neutra nem puramente estatística, e liga-se diretamente à recuperabilidade e à gravidade das ações já discutidas no Artigo 4.

O princípio comum a estas cinco complicações, e o mais diretamente comunicável fora do corpo técnico deste artigo, é este: ausência de falha observada não é o mesmo que ausência de risco, e ausência de risco não é o mesmo que sucesso da decisão. A condição de aplicabilidade desta ferramenta continua a ser a já enunciada — critério suficientemente definido, seletividade tratável, endogeneidade desprezável ou complementada por desenho causal — mas essa condição tem agora de ser lida à luz de todas as formas, não apenas duas, em que $Y_e$ pode falhar em representar aquilo que se pretende auditar.