研究者在AI基准测试与心理测量学的交叉领域取得了突破性进展。首次针对ARC-AGI基准测试的人类参与者验证研究表明，该AI导向测试的表现与流体智力存在实质性相关。这项由Jasmin Thelen和Oliver Wilhelm领导、发表于arXiv的研究，对100名人类参与者进行了ARC-AGI项目汇编测试，同时采用成熟的图形推理和创造力测量方法进行对照。
结果显示，ARC-AGI表现与标准图形流体智力测试之间存在显著相关性（ρ = .63）。与图形原创性（创造思维的衡量指标）的关联则较弱。ARC-AGI项目本身展现出良好的心理测量学特性，支持其作为测量工具的可靠性。
由François Chollet开发的ARC-AGI基准测试，旨在衡量AI系统从最少示例中归纳新规则的能力。它最初被提出作为流体智力的衡量标准,,即独立于已有知识解决新问题的能力。然而，直到这项研究之前，它从未在人类身上得到过心理测量学的验证。
这一发现具有双重意义。第一，它为ARC-AGI能够衡量与人类流体智力相关的能力提供了实证支持，加强了其作为AI系统基准测试的有效性。第二，它代表了一种更广泛的方法论观点：AI基准测试应被系统地嵌入人类认知能力的名义网络，以实现更严格的评估，并促进AI研究与心理学之间的跨学科合作。
本研究仅是第一步,,100人的样本量适中，作者指出需要开展更大规模的研究，并纳入工作记忆测量等额外协变量。但这种将原本用于测试机器的基准应用于人类的方法本身，为人工智能提供更可解释的评估开辟了道路。
来源：Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans (arXiv, 2026年7月)
婷 翻译