Da Plausibilidade à Realidade: Validade Ecológica e a Avaliação da Inteligência Artificial

O Paradigma Atual e a Limitação da Resposta Isolada

Em 2024, o chatbot da Air Canada inventou uma política de reembolso por luto totalmente inexistente. O cliente confiou na informação prestada, adquiriu o bilhete de avião e, posteriormente, solicitou o reembolso prometido. Perante a recusa da companhia aérea — que argumentou em tribunal que o sistema conversacional constituia uma «entidade separada» responsável pelos seus próprios atos —, o tribunal canadiano condenou a empresa a pagar a indemnização devida. Nenhuma métrica estática de coerência lógica ou plausibilidade textual teria captado a gravidade da consequência jurídica e financeira desencadeada por aquela resposta.

Este episódio não é isolado. Situações idênticas manifestam-se em advogados que submetem em tribunal peças processuais fundadas em jurisprudência inventada por modelos de linguagem, ou em agentes de programação em produção (como Cursor ou Devin) que geram código capaz de passar em testes locais, mas que introduzem regressões subtis, vulnerabilidades de segurança e custos de manutenção elevados quando integrado em pipelines reais de CI/CD.

Entre 2025 e 2026, a transição do triunfalismo do «Ano do Agente» para o diagnóstico de «Stalled Pilot» documentou falhas massivas em pilotos agentic ao transitarem para ambientes de produção. Tais sistemas colapsaram perante tráfego real, dados não estruturados, conectores frágeis e falhas de observabilidade. Do mesmo modo, em avaliações sombra de agentes de investigação aplicadas a artigos de conferências como a NeurIPS 2026, modelos de fronteira conseguiram executar tarefas de formatação em LaTeX e revisão bibliográfica, mas falharam gravemente em julgamento, criatividade, flexibilidade estratégica e cumprimento de prazos.

A esmagadora maioria das métricas que hoje dominam a avaliação de sistemas de inteligência artificial — precisão, exatidão factual, coerência lógica, benchmarks de escolha múltipla, avaliações de preferência humana ou alinhamento via RLHF — responde à mesma questão fundamental: «A resposta parece correta?». O objeto avaliado é sempre a resposta isolada. Pouco ou nada se mede relativamente ao que sucede no mundo após a emissão do texto: se a decisão do utilizador melhora, se o erro operacional diminui, se a aprendizagem é consolidada ou se o sistema altera positivamente o seu ambiente. A hipótese central que aqui se explora consiste em deslocar o foco da epistemologia da resposta para a epistemologia da consequência: o verdadeiro teste de uma IA deve incluir o impacto e a eficácia das suas recomendações quando estas entram em contacto sistemático com a realidade.

Validade Ecológica: A Precisão do Conceito na Psicologia de Brunswik

Para fundamentar concetualmente esta mudança, é fértil recorrer à psicologia, especificamente ao conceito de «validade ecológica» formulado por Egon Brunswik nas décadas de 1940 e 1950 no âmbito do seu lens model. Brunswik insurgiu-se contra uma psicologia experimental excessivamente dominada por ensaios de laboratório. Um estudo rigorosamente controlado pode ostentar uma elevada validade interna — eliminando variáveis confundidoras —, mas apresentar uma reduzida capacidade para explicar o comportamento humano no ambiente natural.

Contudo, cumpre esclarecer uma precisão técnica crítica para evitar a deriva semântica vulgarizada em manuais introdutórios, onde «validade ecológica» é frequentemente reduzida à mera «generalização para o mundo real». Na formulação rigorosa de Brunswik, a validade ecológica de uma pista (cue) proximal — uma variável diretamente percetível pelo organismo, como a luminosidade de um objeto — corresponde à correlação estatística ou peso de regressão entre essa pista e uma variável distal real e inacessível diretamente, como a refletância efetiva da superfície no ambiente natural. Na perceção de profundidade ou no julgamento humano sob incerteza, o sujeito utiliza pistas imperfeitas cuja utilidade depende da sua validade estatística na ecologia real. Por essa razão, Brunswik defendeu o «desenho representativo» (representative design), propondo que as experiências amostrem cenários que preservem a textura probabilística e a complexidade do ambiente.

A transposição para a inteligência artificial ganha rigor quando assumimos esta distinção. Os métodos atuais de avaliação tratam a resposta textual ou a classificação humana imediata como a variável de interesse em si. Todavia, se perspetivarmos o texto gerado pela IA como uma pista proximal (o sinal diretamente observável no momento da resposta) e o estado real do mundo subsequente como a variável distal, a questão brunswikiana impõe-se: qual é a validade ecológica das nossas métricas de avaliação?. Em que medida uma classificação de «coerente» ou «plausível» no momento da geração se correlaciona efetivamente com a resolução do problema e com a utilidade prática quando a orientação é atuada na realidade?.

A Ponte Epistemológica: Do Pragmatismo ao Método Científico

Esta perspetiva sugere uma analogia imediata com a ciência: uma teoria não adquire credibilidade por soar internamente elegante, mas sim por resistir ao teste contínuo do confronto com a realidade. No entanto, para evitar ambiguidades concetuais, é necessário delimitar com exatidão onde esta analogia funciona e onde ela tensiona.

Existe, desde logo, a necessidade de distinguir entre o critério de falsificabilidade popperiana e o pragmatismo epistemológico. Karl Popper definiu a falsificabilidade como um critério de demarcação estritamente lógico focado na forma das afirmações — perguntando se uma teoria proíbe eventos observáveis que a poderiam refutar. Por seu turno, a avaliação da IA pelas suas consequências aproxima-se muito mais do pragmatismo de Charles Sanders Peirce e William James. Para Peirce, a investigação é um processo autocorretivo em que o significado de uma ideia se manifesta nos seus efeitos práticos; para James, a verdade possui uma dimensão operacional, confirmando-se quando uma crença «funciona» e guia a ação com sucesso na experiência. A proposta de avaliar a IA pelo «depois» é, portanto, uma tese pragmática sobre métodos de julgamento e utilidade operacional, e não uma simples aplicação de forma lógica popperiana.

Se a analogia com o método científico é fértil ao subordinar a aceitação do output ao seu desempenho prático, ela enfrenta fragilidades metodológicas quando aplicada de forma simplista:

• O problema do N=1: A corroboração científica exige testes repetidos, variados e severos. Uma única interação de um utilizador seguida de um determinado resultado externo constitui uma amostra anedótica de tamanho unitário, não uma corroboração.

• Ausência de severidade deliberada: Os ensaios científicos são desenhados propositadamente para tentar refutar a hipótese sob as condições mais duras. Na utilização quotidiana de uma IA, as consequências observadas são incidentais e influenciadas por inúmeros fatores exógenos.

• Diversidade de outputs sem valor de verdade: A falsificabilidade e o teste empírico aplicam-se a afirmações descritivas ou preditivas. Grande parte do output de um sistema de IA — como criação poética, apoio interpessoal, sumarização ou geração de opções — não possui valor de verdade susceptível de ser refutado por acontecimentos subsequentes.

• A necessidade incontornável de coerência prévia: O método científico não abdica da coerência lógica e factual como filtro prévio antes da verificação empírica. Avaliar uma IA exclusivamente pelos resultados obtidos no mundo, ignorando a factualidade interna, arrisca premiar respostas incorretas que funcionaram por mero acaso ou por exploração de falhas do ambiente.

Uma Família de Intuições Dispersas na Investigação em IA

Embora não exista atualmente um rótulo único e consolidado para descrever a avaliação pelo «depois», a literatura contemporânea de inteligência artificial reflete uma semelhança de família em diversas frentes:

1. Embodied AI: Assume que a inteligência não é um processo puramente simbólico, mas emerge da interação contínua entre agente, corpo e ambiente. O valor de uma representação mede-se pela sua utilidade prática na ação e no ajuste aos efeitos produzidos.

2. Active Inference / Free Energy Principle: A formulação de Karl Friston descreve os sistemas inteligentes como agentes que procuram minimizar a discrepância entre as suas previsões e as sensações recebidas através de um ciclo ininterrupto de previsão, ação e correção.

3. World Models: Propostos por investigadores como David Ha e Jürgen Schmidhuber, e desenvolvidos por Yann LeCun em arquiteturas preditivas, visam construir simulações internas capazes de antecipar a evolução do ambiente. Um modelo avalia-se pela capacidade de prever as consequências reais de ações futuras. (Cumpre notar que estes programas não formam um paradigma unificado: as propostas de LeCun, por exemplo, surgem em tensão teórica explícita com abordagens fundadas no princípio da energia livre).

4. Benchmarks em Ciclo Fechado (Closed-Loop Evaluation): Plataformas recentes como WebArena, BrowserGym e OSWorld avaliam agentes em ambientes operacionais e de navegação com base no estado final do ambiente. O GAIA foca-se em tarefas complexas com verificação prática, enquanto o SWE-bench e o SWE-agent medem a eficácia de agentes de programação pela capacidade de submeter correções que passam nos testes de execução do repositório GitHub.

5. Validade Ecológica e Observabilidade: Trabalhos como Towards Ecologically Valid LLM Benchmarks (Tseng et al., 2025) propõem o co-design de avaliações com profissionais do domínio (como jornalistas) para refletir cenários reais de utilização. Paralelamente, investigações sobre validade de constructo (Measuring what Matters, NeurIPS 2025; Weidinger et al.) e ferramentas de observabilidade em produção (LangSmith, Galileo) privilegiam métricas de sessão em ciclo fechado — como taxas de conclusão de tarefa, latência, custos e capacidade de recuperação de erros.

Riscos, Obstáculos e Limites da Proposta

A transição para um paradigma de avaliação focado na validade ecológica e nas consequências reais enfrenta resistências concetuais, financeiras e metodológicas que não podem ser ignoradas:

A primeira barreira reside na atribuição causal. Numa ecologia operacional complexa, intervêm dezenas de variáveis: a formulação do prompt, as alterações introduzidas pelo utilizador humano antes da aplicação, falhas em APIs de terceiros, flutuações do mercado ou erros aleatórios. Demonstrar com rigor que um desfecho negativo ou positivo foi causado diretamente pela recomendação da IA exige metodologias sofisticadas de inferência causal e cenários de controlo contrafactual.

Em segundo lugar, verifica-se a limitação da metáfora comportamental. Na psicologia de Brunswik, o organismo possui intencionalidade, continuidade temporal e um corpo que experiencia diretamente as consequências do ambiente. Numa LLM ou agente atual, o «comportamento» resume-se a emissões de tokens e invocações de ferramentas cujos significados são atribuídos externamente. Tratar a geração textual como comportamento intencional é uma analogia interpretativa, não uma identidade ontológica.

Adicionalmente, destacam-se os custos, escala e riscos de segurança. Testar o comportamento em ciclo fechado diretamente no mundo real introduz riscos financeiros, legais e de segurança acrescidos. Por essa razão, a indústria recorre massivamente a sandboxes ou ambientes simulados — os quais, por definição, continuam a ser apenas proxies estandardizados do ambiente natural. Além disso, aguardar pela ocorrência das consequências reais exige tempo, criando uma tensão estrutural com a velocidade de iteração exigida pelo desenvolvimento de software.

Por fim, existe o risco de sobre-otimização (over-fitting). Se o critério de avaliação passar a focar-se estritamente em desfechos quantificáveis de curto prazo (como cliques, conclusões de tarefas simples ou recompensas imediatas), os sistemas podem ser otimizados para explorar atalhos no ambiente, deteriorando o alinhamento de valores, a segurança de longo prazo e a robustez perante mudanças de distribuição.

De entre estes quatro obstáculos, é a atribuição causal que se afigura mais urgente de resolver metodologicamente: sem uma forma rigorosa de isolar o contributo específico da IA no desfecho observado, os restantes três problemas — a fragilidade da metáfora de agência, os custos da avaliação em produção e o risco de sobre-otimização — permanecem indiscutíveis em abstrato, mas inoperacionalizáveis na prática, uma vez que qualquer métrica de consequência construída sobre uma atribuição causal deficiente arrisca-se a medir ruído sob a aparência de sinal.

Perguntas em Aberto e Horizontes Futuros

A aplicação do conceito de validade ecológica à inteligência artificial não oferece uma solução acabada, mas sim uma mudança de enquadramento conceptual. O seu valor reside em desafiar a suposição de que a coerência formal e a plausibilidade linguística de um texto constituem garantias suficientes de qualidade e credibilidade.

Para que esta perspetiva evolua de uma analogia inspiradora para uma disciplina de avaliação rigorosa, a comunidade de investigação necessitará de responder a várias questões fundamentais:

• Será possível formular uma definição matemática e quantitativa rigorosa de «validade ecológica» adaptada à avaliação de modelos de linguagem e agentes artificiais?

• Que metodologias de inferência causal e estruturas de observabilidade são necessárias para isolar o impacto efetivo da IA face ao ruído e às variáveis intervenientes do mundo real?

• Em que domínios de aplicação (medicina, finanças, programação, aviação) a avaliação pelas consequências é indispensável e em quais se revela impraticável ou desnecessária?

• Poderão os sistemas de IA acumular «credibilidade empírica» progressiva ao longo do tempo, de forma análoga à confiança que a comunidade científica deposita em teorias exaustivamente testadas?

• Que novas métricas de sessão e de impacto no ambiente devem ser desenvolvidas para substituir a dependência de benchmarks estáticos baseados em perguntas e respostas?

• Até que ponto a evolução de sistemas que aprendem e adaptam continuamente as suas ações em ciclo fechado com o ambiente representa uma mudança epistemológica na forma como entendemos o conhecimento produzido por máquinas?

Reconhecer a importância do que acontece depois da resposta não implica descartar os filtros clássicos de factualidade e lógica. Significa, antes, admitir que avaliar uma inteligência apenas pelo texto que produz equivale a julgar a validade de um mapa sem nunca caminhar pelo terreno. A psicologia de Brunswik ensinou-nos há oito décadas que as pistas proximais só têm valor quando predizem com fidelidade a realidade distal; cabe agora à investigação em inteligência artificial aprender a medir a distância entre o que a máquina diz e o que o mundo confirma.