De la plausibilidad a la realidad: la validez ecológica en la evaluación de la inteligencia artificial

El paradigma actual y las limitaciones de la respuesta aislada

En 2024, el chatbot de Air Canada inventó una política de reembolso por duelo que no existía. El cliente confió en la información proporcionada, compró el billete de avión y posteriormente solicitó el reembolso prometido. Ante la negativa de la compañía aérea —que alegó ante los tribunales que el sistema conversacional constituía una «entidad separada» responsable de sus propios actos—, un tribunal canadiense condenó a la empresa a pagar la indemnización correspondiente. Ninguna métrica estática de coherencia lógica o plausibilidad textual habría permitido captar la gravedad de las consecuencias jurídicas y económicas desencadenadas por aquella respuesta.

Este episodio no es aislado. Situaciones similares se producen cuando abogados presentan ante los tribunales escritos procesales basados en jurisprudencia inventada por modelos de lenguaje, o cuando agentes de programación desplegados en producción —como Cursor o Devin— generan código capaz de superar las pruebas locales, pero que introduce regresiones sutiles, vulnerabilidades de seguridad y elevados costes de mantenimiento cuando se integra en pipelines reales de CI/CD.

Entre 2025 y 2026, la transición del triunfalismo del «Año del Agente» al diagnóstico de los «Stalled Pilots» documentó fallos masivos en proyectos piloto basados en agentes al pasar a entornos de producción. Estos sistemas colapsaron ante tráfico real, datos no estructurados, conectores frágiles y deficiencias de observabilidad. Del mismo modo, en evaluaciones en la sombra de agentes de investigación aplicadas a artículos de conferencias como NeurIPS 2026, modelos de frontera fueron capaces de realizar tareas de formateado en LaTeX y revisión bibliográfica, pero mostraron graves deficiencias en juicio, creatividad, flexibilidad estratégica y cumplimiento de plazos.

La inmensa mayoría de las métricas que actualmente dominan la evaluación de los sistemas de inteligencia artificial —precisión, exactitud factual, coherencia lógica, benchmarks de opción múltiple, evaluaciones de preferencia humana o alineamiento mediante RLHF— responden a una misma cuestión fundamental: «¿Parece correcta la respuesta?». El objeto de evaluación sigue siendo la respuesta aislada. Poco o nada se mide acerca de lo que sucede en el mundo después de que se emite el texto: si mejora la decisión del usuario, si disminuyen los errores operativos, si se consolida el aprendizaje o si el sistema modifica positivamente su entorno.

La hipótesis central que aquí se explora consiste en desplazar el foco de la epistemología de la respuesta a la epistemología de la consecuencia: la verdadera prueba de una IA debería incluir el impacto y la eficacia de sus recomendaciones cuando estas entran en contacto sistemático con la realidad.

Validez ecológica: la precisión del concepto en la psicología de Brunswik

Para fundamentar conceptualmente este cambio resulta especialmente fecundo recurrir a la psicología, concretamente al concepto de validez ecológica formulado por Egon Brunswik en las décadas de 1940 y 1950 en el marco de su lens model. Brunswik se opuso a una psicología experimental excesivamente dominada por los experimentos de laboratorio. Un estudio rigurosamente controlado puede presentar una elevada validez interna —al eliminar variables de confusión— y, sin embargo, tener una capacidad limitada para explicar el comportamiento humano en el entorno natural.

Ahora bien, es necesaria una precisión técnica fundamental para evitar la deriva semántica que se encuentra con frecuencia en las versiones divulgativas de los manuales introductorios, donde la «validez ecológica» se reduce a menudo a la mera «generalización al mundo real».

En la formulación rigurosa de Brunswik, la validez ecológica de una pista (cue) proximal —una variable directamente perceptible por el organismo, como la luminosidad de un objeto— corresponde a la correlación estadística o al peso de regresión entre dicha pista y una variable distal real, no directamente accesible, como la reflectancia efectiva de una superficie en el entorno natural. En la percepción de la profundidad o en el juicio humano bajo incertidumbre, el sujeto utiliza pistas imperfectas cuya utilidad depende de su validez estadística en la ecología real. Por esta razón, Brunswik defendió el diseño representativo (representative design), proponiendo que los experimentos muestrearan escenarios que preservasen la textura probabilística y la complejidad del entorno.

La transposición de esta distinción al ámbito de la inteligencia artificial permite dotar de mayor rigor a la propuesta. Los métodos actuales de evaluación tienden a tratar la respuesta textual o la valoración humana inmediata como la variable de interés en sí misma. Sin embargo, si concebimos el texto generado por la IA como una pista proximal —la señal directamente observable en el momento de la respuesta— y el estado real del mundo posterior como la variable distal, la cuestión brunswikiana resulta inevitable: ¿cuál es la validez ecológica de nuestras métricas de evaluación?

En otras palabras: ¿en qué medida una clasificación de «coherente» o «plausible» en el momento de la generación se correlaciona realmente con la resolución del problema y con su utilidad práctica cuando la orientación se lleva a la práctica?

El puente epistemológico: del pragmatismo al método científico

Esta perspectiva sugiere inmediatamente una analogía con la ciencia: una teoría no adquiere credibilidad simplemente porque resulte internamente elegante, sino porque resiste la confrontación continuada con la realidad. Sin embargo, para evitar ambigüedades conceptuales, es necesario delimitar con precisión dónde funciona esta analogía y dónde encuentra sus límites.

En primer lugar, es necesario distinguir entre la falsabilidad popperiana y el pragmatismo epistemológico. Karl Popper definió la falsabilidad como un criterio de demarcación estrictamente lógico centrado en la forma de los enunciados: la cuestión es si una teoría excluye acontecimientos observables que podrían refutarla. La evaluación de la IA a partir de sus consecuencias, en cambio, se aproxima mucho más al pragmatismo de Charles Sanders Peirce y William James.

Para Peirce, la investigación es un proceso autocorrectivo en el que el significado de una idea se manifiesta en sus efectos prácticos; para James, la verdad posee una dimensión operativa y se confirma cuando una creencia «funciona» y guía con éxito la acción en la experiencia. La propuesta de evaluar la IA por lo que ocurre «después» constituye, por tanto, una tesis pragmática sobre los métodos de evaluación y la utilidad operativa, y no una simple aplicación de la forma lógica popperiana.

Si la analogía con el método científico resulta fecunda al subordinar la aceptación de un output a su desempeño práctico, presenta, sin embargo, importantes fragilidades metodológicas cuando se aplica de manera simplista:

• El problema del N=1: La corroboración científica exige pruebas repetidas, variadas y exigentes. Una única interacción de un usuario seguida de un determinado resultado externo constituye una muestra anecdótica de tamaño uno, no una corroboración.

• La ausencia de severidad deliberada: Los experimentos científicos se diseñan deliberadamente para intentar refutar una hipótesis bajo condiciones exigentes. En el uso cotidiano de una IA, las consecuencias observadas son incidentales y están influidas por numerosos factores exógenos.

• La diversidad de outputs sin valor de verdad: La falsabilidad y la prueba empírica se aplican a afirmaciones descriptivas o predictivas. Gran parte del output de un sistema de IA —como la creación poética, el apoyo interpersonal, la elaboración de resúmenes o la generación de opciones— no posee un valor de verdad susceptible de ser refutado por acontecimientos posteriores.

• La necesidad ineludible de coherencia previa: El método científico no renuncia a la coherencia lógica y factual como filtro previo a la verificación empírica. Evaluar una IA exclusivamente por los resultados obtenidos en el mundo, ignorando la factualidad interna, corre el riesgo de premiar respuestas incorrectas que funcionaron por mero azar o porque explotaron alguna vulnerabilidad del entorno.

Una familia de intuiciones dispersas en la investigación sobre IA

Aunque actualmente no existe una etiqueta única y consolidada para describir la evaluación basada en lo que ocurre «después», la investigación contemporánea en inteligencia artificial refleja una semejanza de familia entre diversas líneas de trabajo:

1. Embodied AI: Parte de la premisa de que la inteligencia no es un proceso puramente simbólico, sino que emerge de la interacción continua entre agente, cuerpo y entorno. El valor de una representación se mide por su utilidad práctica para la acción y por su capacidad para ajustarse a los efectos que produce.

2. Active Inference / Free Energy Principle: La formulación de Karl Friston describe los sistemas inteligentes como agentes que buscan minimizar la discrepancia entre sus predicciones y las sensaciones que reciben mediante un ciclo ininterrumpido de predicción, acción y corrección.

3. World Models: Propuestos por investigadores como David Ha y Jürgen Schmidhuber, y desarrollados por Yann LeCun en arquitecturas predictivas, estos enfoques buscan construir simulaciones internas capaces de anticipar la evolución del entorno. Un modelo se evalúa por su capacidad para predecir las consecuencias reales de acciones futuras. Cabe señalar, no obstante, que estas líneas de investigación no constituyen un paradigma unificado: las propuestas de LeCun, por ejemplo, mantienen una tensión teórica explícita con los enfoques basados en el principio de energía libre.

4. Benchmarks de evaluación en ciclo cerrado (Closed-Loop Evaluation): Plataformas recientes como WebArena, BrowserGym y OSWorld evalúan agentes en entornos operativos y de navegación a partir del estado final del entorno. GAIA se centra en tareas complejas con verificación práctica, mientras que SWE-bench y SWE-agent miden la eficacia de los agentes de programación por su capacidad para proponer correcciones que superan las pruebas de ejecución del repositorio de GitHub.

5. Validez ecológica y observabilidad: Trabajos como Towards Ecologically Valid LLM Benchmarks (Tseng et al., 2025) proponen el codiseño de evaluaciones con profesionales del ámbito correspondiente —como periodistas— para reflejar escenarios de uso reales. Paralelamente, las investigaciones sobre validez de constructo (Measuring what Matters, NeurIPS 2025; Weidinger et al.) y las herramientas de observabilidad en producción (LangSmith, Galileo) priorizan métricas de sesión en ciclo cerrado, como las tasas de finalización de tareas, la latencia, los costes y la capacidad de recuperación ante errores.

Riesgos, obstáculos y límites de la propuesta

La transición hacia un paradigma de evaluación centrado en la validez ecológica y en las consecuencias reales se enfrenta a resistencias conceptuales, financieras y metodológicas que no pueden ignorarse:

La primera barrera reside en la atribución causal. En una ecología operativa compleja intervienen decenas de variables: la formulación del prompt, los cambios introducidos por el usuario humano antes de aplicar la recomendación, los fallos de las API de terceros, las fluctuaciones del mercado o los errores aleatorios. Demostrar rigurosamente que un resultado negativo o positivo fue causado directamente por la recomendación de la IA exige metodologías sofisticadas de inferencia causal y escenarios de control contrafactual.

En segundo lugar, aparece la limitación de la metáfora conductual. En la psicología de Brunswik, el organismo posee intencionalidad, continuidad temporal y un cuerpo que experimenta directamente las consecuencias del entorno. En un LLM o agente actual, el «comportamiento» se reduce a emisiones de tokens e invocaciones de herramientas cuyo significado se atribuye externamente. Tratar la generación textual como comportamiento intencional es, por tanto, una analogía interpretativa, no una identidad ontológica.

A ello se añaden los costes, la escala y los riesgos de seguridad. Probar el comportamiento en ciclo cerrado directamente en el mundo real introduce riesgos financieros, legales y de seguridad adicionales. Por esta razón, la industria recurre masivamente a sandboxes o entornos simulados que, por definición, siguen siendo únicamente proxies estandarizados del entorno natural. Además, esperar a que se produzcan las consecuencias reales requiere tiempo, lo que genera una tensión estructural con la velocidad de iteración exigida por el desarrollo de software.

Por último, existe el riesgo de sobreoptimización (over-fitting). Si el criterio de evaluación pasa a centrarse estrictamente en resultados cuantificables a corto plazo —como clics, finalización de tareas sencillas o recompensas inmediatas—, los sistemas pueden optimizarse para explotar atajos del entorno, deteriorando el alineamiento de valores, la seguridad a largo plazo y la robustez ante cambios en la distribución.

De estos cuatro obstáculos, la atribución causal parece ser el problema metodológico más urgente que debe resolverse. Sin una forma rigurosa de aislar la contribución específica de la IA al resultado observado, los otros tres problemas —la fragilidad de la metáfora de la agencia, los costes de la evaluación en producción y el riesgo de sobreoptimización— siguen siendo indiscutibles en abstracto, pero resultan difíciles de operacionalizar en la práctica. Cualquier métrica de consecuencias construida sobre una atribución causal deficiente corre el riesgo de medir ruido bajo la apariencia de señal.

Preguntas abiertas y horizontes futuros

La aplicación del concepto de validez ecológica a la inteligencia artificial no ofrece una solución acabada, sino un cambio de marco conceptual. Su valor reside en cuestionar el supuesto de que la coherencia formal y la plausibilidad lingüística de un texto constituyen garantías suficientes de calidad y credibilidad.

Para que esta perspectiva evolucione desde una analogía sugerente hacia una disciplina rigurosa de evaluación, la comunidad investigadora deberá responder a varias cuestiones fundamentales:

• ¿Es posible formular una definición matemática y cuantitativa rigurosa de «validez ecológica» adaptada a la evaluación de modelos de lenguaje y agentes artificiales?

• ¿Qué metodologías de inferencia causal y qué arquitecturas de observabilidad son necesarias para aislar el impacto efectivo de la IA frente al ruido y las variables intervinientes del mundo real?

• ¿En qué ámbitos de aplicación —medicina, finanzas, programación, aviación— resulta indispensable evaluar las consecuencias, y en cuáles se revela impracticable o innecesario?

• ¿Pueden los sistemas de IA acumular una «credibilidad empírica» progresiva a lo largo del tiempo, de forma análoga a la confianza que la comunidad científica deposita en teorías sometidas a pruebas exhaustivas?

• ¿Qué nuevas métricas de sesión y de impacto sobre el entorno deberían desarrollarse para sustituir la dependencia de benchmarks estáticos basados en preguntas y respuestas?

• ¿Hasta qué punto la evolución de sistemas que aprenden y adaptan continuamente sus acciones en ciclo cerrado con el entorno representa un cambio epistemológico en nuestra manera de entender el conocimiento producido por las máquinas?

Reconocer la importancia de lo que sucede después de la respuesta no implica descartar los filtros clásicos de factualidad y lógica. Significa, más bien, admitir que evaluar una inteligencia únicamente por el texto que produce equivale a juzgar la validez de un mapa sin recorrer nunca el terreno.

La psicología de Brunswik nos enseñó hace ocho décadas que las pistas proximales solo tienen valor cuando predicen fielmente la realidad distal; corresponde ahora a la investigación en inteligencia artificial aprender a medir la distancia entre lo que dice la máquina y lo que confirma el mundo.