誰が： 研究者のJasmin Thelen氏とOliver Wilhelm氏が率いる研究チームが、査読前論文プレプリントサービスarXivにて発表した。
いつ： 2026年7月。
どこで： 本研究成果はarXivに掲載された。
何を： ARC-AGIベンチマークの人間参加者による初の妥当性検証研究。
なぜ： AIベンチマークが人間の認知能力の名義論的ネットワークに体系的に組み込まれるべきだという方法論的議論を展開するため。
どのように： 100名の人間参加者にARC-AGI課題と確立された図形推論・創造性尺度を実施し、相関関係を分析した。
AIベンチマーキングと心理測定学という異例のクロスオーバーにおいて、研究者らはARC-AGIベンチマークの初の人間参加者による検証研究を発表し、AI向けテストのパフォーマンスが流動性知能と実質的に相関することを発見した。研究対象者はARC-AGI項目の編集版と、確立された図形推論および創造性の測定法とともにテストされた。
François Chollet氏によって開発されたARC-AGIベンチマークは、最小限の例から新しいルールを帰納するAIシステムの能力を測定するよう設計されており、元々は流動性知能（獲得した知識とは独立に新しい問題を解決する能力）の尺度として提案されていた。しかし今回の研究まで、人間において心理測定的に検証されたことはなかった。
結果は、ARC-AGIのパフォーマンスと標準的な図形流動性知能テストとの間に実質的な相関（ρ = .63）を示した。創造的思考の尺度である図形独創性との関連は弱かった。ARC-AGI項目自体は良好な心理測定的特性を示し、測定手段としての信頼性を支持した。
この知見は二つの点で重要である。第一に、ARC-AGIが人間の流動性知能に関連する何かを測定するという主張に実証的裏付けを提供し、AIシステムのベンチマークとしての妥当性を強化する。第二に、AIベンチマークは人間の認知能力の名義論的ネットワークに体系的に埋め込まれるべきであり、それによりより厳密な評価を可能にし、AI研究と心理学の学際的協力を促進するという、より広範な方法論的議論を代表する。
本研究は第一歩であり、サンプルサイズ100は控えめで、著者らはワーキングメモリ測定を含む追加共変量を用いたより大規模な研究の必要性を指摘している。しかし、機械をテストするために設計されたベンチマークを人間に適用するというアプローチ自体が、人工知能のより解釈可能な評価への道を開くものである。
出典: Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans (arXiv, 2026年7月)
雅子 訳