LLM预测与人类预测者相当，但高估社会科学实验结果效应量
大语言模型能否在实验开展之前预测社会科学实验的结果？根据7月8日发表在《自然》杂志上的一项研究，答案是肯定的，但有一定限度。该研究由Ashwini Ashokkumar（哈佛大学）、Luke Hewitt（斯坦福大学/Transluce）、Isaias Ghezae（哈佛大学）和Robb Willer（斯坦福大学）共同完成。
GPT-4在70项预注册的全美代表性调查实验中预测了处理效应，涵盖469个处理效应和119,330名人类参与者，其准确性与人类预测者集合相当。关键局限在于：该模型系统性地将效应量高估了约80%，需要经过校准才能使其预测具有实用价值。
研究内容
研究人员从美国国家科学基金会资助的”社会科学时间共享实验”（TESS）项目中收集了70项预注册实验的原始档案，涵盖政治学、心理学、社会学、社会政策、公共卫生和传播学等领域。这些实验测试了广泛的干预措施：框架效应、显著性操纵、社会身份启动等，测量了从政治态度到偏见再到幸福感的各种结果。
对于469个处理效应中的每一个，研究人员向GPT-4提供实验设计、处理和结果测量信息，并要求其预测预期效应量。与此同时，460名社会科学家也进行了相同的预测，提供了人类基准。
结果：
- 与实际效应的相关性： r = 0.85（衰减校正后r_adj = 0.91），与人类预测者集合相当
- 在GPT-4训练截止日期后发表的实验： r = 0.90，排除了单纯记忆的可能性
- 开放权重模型也达到了类似精度，进一步证实该发现并非GPT-4独有
- 人类与LLM预测的简单未加权平均产生了更高的准确率（r = 0.88），表明这两种预测来源具有部分互补性
校准问题
高相关性只反映了部分情况。GPT-4的原始预测均方根误差（RMSE）为10.9个百分点，比人类预测者（8.4个百分点）更差，因为该模型系统性地夸大了效应幅度。
为了纠正这一问题，研究人员应用了约0.56的线性重新缩放因子，这意味着GPT-4预测的效应平均过大1.8倍。重新缩放后，RMSE降至5.3个百分点，优于单独的人类预测（6.0个百分点），接近人类与LLM组合（4.7个百分点）。
这种高估是系统性的：GPT-4能正确检测效应的方向和相对排序（因此相关性较高），但夸大了绝对幅度。论文无法确定具体原因,,可能的解释包括训练数据中包含明确的因果叙事，或模型在整合概率性知识方面的能力存在局限。
对社会科学的影响
作者将这一发现定位为增强而非取代传统实验方法的工具。能够快速预测哪些干预措施可能有效、并在昂贵的数据收集之前标记出不可信结果的LLM，可以加速假设检验的迭代过程。
论文还引入了LLM作为”虚拟实验的计算实验室”的概念，使研究人员在将资源投入实地或调查实验之前，可以在模拟人群中探索干预效果。
该研究包含若干重要注意事项。所有实验均在美国全国代表性样本中进行，对其他人群的普适性尚未测试。大规模实地实验（包含606个效应的15项大型研究的二级档案）的准确率较低，表明背景因素很重要。此外还存在”理解幻觉”的风险,,研究人员可能在没有人工验证的情况下过度依赖LLM预测，尤其是在模型训练数据可能较为薄弱或存在偏差的代表性不足群体中。
目前，该研究表明最高准确率来自人类与机器预测的结合。”科学家应将LLM视为一位知识渊博但有些妄想倾向的合作者，”作者指出，其见解有价值，但其自信需要审慎对待。
来源：
1. Ashokkumar, A.，Hewitt, L.，Ghezae, I. & Willer, R. “Large language models can predict the results of social science experiments.” Nature (2026)。DOI：10.1038/s41586-026-10742-x
2. Code Ocean代码胶囊：https://codeocean.com/capsule/9843791/tree/v1
3. 交互式演示：https://treatmenteffect.app/
婷 翻译