Dans un crossover inhabituel entre l’évaluation comparative de l’IA et la psychométrie, des chercheurs publient la première étude de validation du benchmark ARC-AGI auprès de participants humains. Les résultats montrent que la performance au test orienté IA corrèle substantiellement avec l’intelligence fluide. L’étude teste 100 participants humains sur une compilation d’items ARC-AGI accompagnés de mesures établies de raisonnement figural et de créativité.
Le benchmark ARC-AGI, développé par François Chollet et conçu pour mesurer la capacité d’un système d’IA à induire des règles nouvelles à partir d’exemples minimaux, est initialement proposé comme mesure de l’intelligence fluide, la capacité à résoudre des problèmes nouveaux indépendamment des connaissances acquises. Pourtant, jusqu’à cette étude, il n’avait jamais été validé psychométriquement chez l’humain.
Les résultats révèlent une corrélation substantielle (ρ = 0,63) entre la performance ARC-AGI et un test standard d’intelligence fluide figurale. Les associations avec l’originalité figurale, une mesure de la pensée créative, sont faibles. Les items ARC-AGI eux-mêmes démontrent de bonnes propriétés psychométriques, confirmant leur fiabilité en tant qu’instrument de mesure.
Ces résultats sont significatifs pour deux raisons. Premièrement, ils fournissent un soutien empirique à la prétention d’ARC-AGI de mesurer quelque chose lié à l’intelligence fluide humaine, renforçant sa validité comme benchmark pour les systèmes d’IA. Deuxièmement, ils représentent un argument méthodologique plus large : les benchmarks d’IA devraient être systématiquement intégrés dans le réseau nomologique des capacités cognitives humaines pour permettre une évaluation plus rigoureuse et favoriser la coopération interdisciplinaire entre la recherche en IA et la psychologie.
L’étude constitue un premier pas, la taille de l’échantillon de 100 est modeste, et les auteurs notent la nécessité d’études plus vastes avec des covariables supplémentaires, notamment des mesures de mémoire de travail. Mais l’approche elle-même, prendre un benchmark conçu pour tester des machines et l’appliquer à des humains, ouvre la voie à des évaluations plus interprétables de l’intelligence artificielle.
Sources : Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans (arXiv, juillet 2026)
Traduit par Lydie