Investigadores han publicado el primer estudio de validación del benchmark ARC-AGI en participantes humanos, encontrando que el rendimiento en la prueba orientada a la IA se correlaciona sustancialmente con la inteligencia fluida. El estudio evaluó a 100 participantes humanos con una compilación de ítems de ARC-AGI junto con medidas establecidas de razonamiento figural y creatividad.
Los resultados mostraron una correlación sustancial (ρ =,63) entre el rendimiento en ARC-AGI y una prueba estándar de inteligencia fluida figural. Las asociaciones con originalidad figural, una medida de pensamiento creativo, fueron débiles. Los propios ítems de ARC-AGI demostraron buenas propiedades psicométricas, respaldando su fiabilidad como instrumento de medición.
El benchmark ARC-AGI, desarrollado por François Chollet y diseñado para medir la capacidad de un sistema de IA para inducir reglas novedosas a partir de ejemplos mínimos, fue propuesto originalmente como una medida de inteligencia fluida, la capacidad de resolver problemas novedosos independientemente del conocimiento adquirido. Sin embargo, hasta este estudio, nunca había sido validado psicométricamente en humanos.
Los hallazgos son significativos por dos razones. Primero, proporcionan apoyo empírico a la afirmación de ARC-AGI de medir algo relacionado con la inteligencia fluida humana, fortaleciendo su validez como benchmark para sistemas de IA. Segundo, representan un argumento metodológico más amplio: los benchmarks de IA deberían integrarse sistemáticamente dentro de la red nomológica de capacidades cognitivas humanas para permitir una evaluación más rigurosa y fomentar la cooperación interdisciplinaria entre la investigación en IA y la psicología.
El estudio es un primer paso: el tamaño muestral de 100 es modesto, y los autores señalan la necesidad de estudios más grandes con covariables adicionales, incluyendo medidas de memoria de trabajo. Pero el enfoque en sí mismo, tomar un benchmark diseñado para probar máquinas y aplicarlo a humanos, abre un camino hacia evaluaciones más interpretables de la inteligencia artificial.
Fuentes: Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans (arXiv, julio de 2026)
Traducido por Alessandra