Arquitetura Formal da Cadeia

A comparação simétrica entre julgamento humano e julgamento de IA — colocar lado a lado um $R_s$ do juiz humano e um $R_s$ do sistema, como se fossem duas estimativas do mesmo tipo de grandeza observadas em posições equivalentes da cadeia causal — falha por uma razão estrutural que nenhuma correção estatística resolve: o humano e a IA não ocupam, tipicamente, o mesmo lugar entre o ambiente e a consequência. O humano recebe pistas do ambiente e pode, tipicamente, atuar diretamente sobre ele; a IA recebe pistas do ambiente e produz uma recomendação que só se torna ação através de um humano que a aceita, modifica ou rejeita. Escrito de forma minimalista, o primeiro caso é Humano → Ambiente; o segundo é IA → Humano → Ambiente. Tratar estas duas cadeias como comparáveis termo a termo é impor uma simetria que a própria arquitetura do sistema já desmente.

A alternativa que aqui se propõe não abandona o aparelho formal de Brunswik — pelo contrário, estende-o, encadeando dois lens models sucessivos em vez de comparar dois isolados:

$$\text{Ambiente} \xrightarrow{\text{Lens Model 1}} \text{Output da IA} \xrightarrow{\text{Lens Model 2}} \text{Decisão Humana} \xrightarrow{} \text{Ambiente} \; (Y_e)$$

Adotamos a notação clássica do Lens Model, onde $R_e$ mede a previsibilidade linear do critério distal a partir das pistas disponíveis, $R_s$ a consistência da política de resposta do agente — o grau em que as suas respostas são previsíveis a partir das pistas — e $G$ o matching entre as componentes linearmente preditas dos modelos do ambiente e do agente: tecnicamente, $G = \operatorname{corr}(\hat{Y}_e, \hat{Y}_s)$, a correlação entre os valores previstos pelos dois modelos lineares, não uma comparação direta dos seus vetores de pesos. Ao longo deste artigo, lemos $G$ informalmente como "correspondência de ponderação de pistas" — mas essa leitura é uma abreviatura interpretativa que só se sustenta sob condições adicionais (especificação comum dos modelos, escala comparável, tratamento da correlação entre pistas); sob colinearidade forte, vetores de pesos muito diferentes podem gerar previsões semelhantes, e vice-versa. O termo $C$, já definido na Secção 0, capta a correlação residual entre os resíduos dos dois modelos — nunca a consistência do agente, que é o papel de $R_s$.

Na primeira etapa, o sistema de IA ocupa a posição do juiz brunswikiano clássico: recebe um conjunto de pistas do ambiente — leituras de sensores, séries temporais, sinais derivados — e produz um julgamento sobre esse ambiente. Esta etapa admite a decomposição habitual: $R_{e_1}$ mede a previsibilidade do ambiente dado o conjunto de pistas disponível à IA; $G_{IA}$ mede o matching entre as componentes linearmente preditas do modelo da IA e do modelo ecológico — interpretativamente, em que medida a política observável do sistema se alinha com a estrutura de pistas que prediz o critério; $R_{s_{IA}}$ mede o grau em que o output do sistema é previsível a partir do conjunto de pistas modelado. Testes de invariância a paráfrases ou a configurações semanticamente equivalentes das mesmas pistas podem complementar esta medida — nomeadamente como salvaguarda contra um $R_s$ inflacionado apenas por descodificação determinística —, mas não são idênticos a ela. Vale a pena uma nota de linguagem que não é decorativa: chama-se aqui a $R_{s_{IA}}$ a consistência de uma política de decisão observável input-output, nunca a "consistência do juiz IA" — a diferença de vocabulário é precisamente o que evita reimportar, pela porta das traseiras, a pressuposição de agência cognitiva que a objeção ontológica identifica como ilegítima. Não se afirma que o sistema julga; afirma-se apenas que o seu comportamento input-output exibe, ou não, as propriedades estatísticas que esta decomposição descreve.

É na segunda etapa que a cadeia deixa de ser uma mera repetição da primeira. O output da IA — a recomendação, o score de confiança, o relatório gerado — não é, para o humano, o critério distal a inferir; é, ele próprio, uma pista proximal adicional, situada ao lado das outras pistas que chegam diretamente do ambiente através do painel de supervisão. No Lens Model 2, tratamos o output da IA como uma pista adicional $Z_{IA}$ no conjunto de pistas $\{Z_1, \ldots, Z_k, Z_{IA}\}$ disponível ao supervisor. O humano forma o seu julgamento a partir desta pista compósita. A mesma família de parâmetros pode ser estimada na segunda etapa, embora a sua interpretação seja distinta porque $Z_{IA}$ é uma pista produzida por um estágio anterior da cadeia, não uma medição direta do ambiente: $R_{e_2}$ mede a previsibilidade do critério distal dado o conjunto de pistas disponível ao humano, incluindo $Z_{IA}$; $R_{s_{humano}}$ mede a consistência da política de resposta do supervisor; $G_{humano}$ mede o matching entre as componentes linearmente preditas da política do humano e do modelo ecológico, considerando o conjunto de pistas — incluindo $Z_{IA}$.

É precisamente aqui, nesta distinção entre fiabilidade real e fiabilidade percebida, que o viés de automação e a complacência já identificados no artigo anterior encontram, pela primeira vez, uma expressão formal. Over-reliance na recomendação da IA não se mede ao nível de $G_{humano}$ global, mas ao nível do peso específico $\hat{w}_{Z_{IA}}$ atribuído à pista $Z_{IA}$ na política de regressão do humano. Esta comparação exige uma qualificação que não é decorativa: como $Z_{IA}$ é tipicamente derivada, pelo menos em parte, das mesmas pistas ambientais que o humano já observa diretamente, $\hat{w}_{Z_{IA}}$ é um coeficiente condicional — o seu valor depende da colinearidade entre $Z_{IA}$ e as restantes pistas, e da especificação exata do modelo. Over-reliance deve, portanto, ser avaliada ao nível da utilização condicional de $Z_{IA}$: o peso $\hat{w}_{Z_{IA}}$ estimado na política do supervisor, face ao valor incremental ecologicamente válido de $Z_{IA}$, condicionado ao mesmo conjunto de pistas diretas de que a recomendação deriva. Um $\hat{w}_{Z_{IA}}$ sistematicamente superior a esse peso ecológico condicional é evidência de sobreponderação; um valor sistematicamente inferior é evidência de subponderação. A leitura correta é, portanto: over-reliance é um fenómeno ao nível dos pesos condicionais das pistas, não ao nível do matching global capturado por $G_{humano}$.

Esta distinção entre correspondência agregada e correspondência ao nível da pista individual convida a separar explicitamente dois modos de falha no Lens Model 2, que a literatura de human-AI teaming trata frequentemente como um fenómeno único mas que a decomposição aqui proposta permite distinguir com precisão. A falha de matching agregado ocorre quando $G_{humano}$ é globalmente baixo — o supervisor não acerta, no seu conjunto, a estrutura de pesos do ambiente, distribuindo mal a sua atenção por todas as pistas disponíveis, incluindo mas não exclusivamente $Z_{IA}$. É o tipo de falha que um painel de auditoria convencional, reportando apenas $G_{humano}$, está bem equipado para detetar.

A falha de ponderação localizada é estruturalmente diferente e mais insidiosa: o supervisor acerta razoavelmente a estrutura global de pesos — $G_{humano}$ permanece moderado ou até alto — mas distorce sistematicamente o peso condicional atribuído a uma única pista, tipicamente $Z_{IA}$, compensando esse desvio através de ajustamentos nas restantes. Um supervisor que sobrepondera consistentemente a recomendação da IA mas compensa subponderando pistas ambientais diretas pode produzir um $G_{humano}$ perfeitamente saudável enquanto acumula uma dependência estrutural da IA que só se revela quando essa compensação deixa de ser possível — por exemplo, perante um cenário fora da distribuição habitual, em que as pistas ambientais diretas se tornam menos informativas precisamente no momento em que a fiabilidade da recomendação da IA também se degrada. Esta é, em linguagem de segurança de sistemas, uma falha correlacionada e latente: invisível ao indicador agregado até ao momento em que as condições que a mascaravam deixam de se verificar.

A implicação para o desenho da ferramenta de auditoria é direta e não é meramente académica: um relatório de auditoria que reporte apenas $G_{humano}$ é estruturalmente insuficiente para detetar over-reliance latente. A auditoria proposta neste artigo exige, por construção, o reporte dos pesos condicionais $\hat{w}_{Z_j}$ por pista individual — não apenas o matching agregado — precisamente porque é ao nível da pista, e não ao nível do sumário, que a dependência excessiva da recomendação algorítmica se torna visível antes de se tornar consequente.

O fecho da cadeia é o que esta arquitetura ganha, e que a comparação simétrica nunca poderia oferecer — não uma decomposição algébrica já derivada do achievement conjunto, $Y_e$, mas a possibilidade de formular hipóteses diagnósticas separáveis sobre onde a correspondência com o ambiente real começou a falhar. Entre as mais centrais: (1) $G_{IA}$ baixo — a IA não corresponde à estrutura real do ambiente; (2) $G_{humano}$ baixo — falha de matching agregado no estágio humano; (3) $\hat{w}_{Z_{IA}}$ desalinhado do peso ecológico condicional de $Z_{IA}$, com $G_{humano}$ preservado — falha de ponderação localizada, compatível com over-reliance ou under-reliance; (4) um critério mal definido, inobservável ou endógeno à partida, cuja discussão — nas suas formas fraca e forte — é o assunto da secção seguinte. Esta lista não é exaustiva: $R_{e_1}$ baixo (ambiente pouco previsível a partir das pistas da IA), $R_{s_{IA}}$ baixo (política do sistema instável), $R_{s_{humano}}$ baixo (supervisor inconsistente) e as componentes residuais $C$ de cada estágio continuam a ser dimensões diagnósticas relevantes que uma auditoria completa deve também reportar.

Vale a pena assinalar aqui, ainda que o desenvolvimento fique para a secção seguinte: a seta final, de Decisão Humana para $Y_e$, deve ler-se como relação causal potencial, não como garantia de que o desfecho observado é um critério exógeno e limpo. Quando a ação tomada modifica o próprio desfecho que serve para a avaliar — parar uma máquina pode ser precisamente o que impede a falha que serviria de critério —, $Y_e$ deixa de ser um critério simples de achievement.

Formalmente, o achievement da cadeia é $r_a = \operatorname{corr}(Y_e, Y_{s_{humano}})$. A LME clássica aplica-se a cada estágio isoladamente; uma extensão da equação para dois estágios encadeados, em que o output do primeiro se torna pista do segundo, não foi, até à data, derivada na literatura. A intuição estrutural é que a introdução de $Z_{IA}$ pode alterar a previsibilidade do critério no segundo estágio, $R_{e_2}$ — que continua a ser propriedade do conjunto inteiro de pistas disponível ao humano, não apenas de $Z_{IA}$ isoladamente —, mas o efeito dessa introdução depende tanto da qualidade preditiva do output da IA no primeiro estágio (envolvendo não só $G_{IA}$ e $R_{s_{IA}}$, mas também $R_{e_1}$ e, quando relevante, $C_{IA}$) como da informação incremental que $Z_{IA}$ acrescenta face às pistas diretas já acessíveis ao supervisor — informação que pode ser pequena se $Z_{IA}$ for altamente redundante com essas pistas. Esta relação permanece, por agora, qualitativa.

A pergunta que esta arquitetura permite fazer não é "quem julga melhor, o humano ou a IA?" — pergunta que as cinco críticas reunidas mostram ser mal colocada — mas antes: "em que elo desta cadeia particular, para este sistema particular, a correspondência com o ambiente real começou a falhar?"

Fica deliberadamente por resolver, nesta secção, a questão de saber se $G_{humano}$ e os pesos condicionais $\hat{w}_{Z_j}$ são sequer estimáveis na prática sem um histórico suficientemente longo e suficientemente variado de decisões do supervisor — um problema de dados, não de teoria, particularmente agudo em domínios de alto risco onde eventos críticos são raros.