LLMの予測、社会科学実験で人間の予測者に匹敵するも効果量を過大評価
大規模言語モデルは、社会科学実験の結果を実験実施前に予測できるのだろうか？7月8日にNature誌に掲載されたAshwini Ashokkumar（ハーバード大学）、Luke Hewitt（スタンフォード大学／トランスルース）、Isaias Ghezae（ハーバード大学）、Robb Willer（スタンフォード大学）による研究によれば、その答えはイエスだが、ある程度までは、というものだ。
GPT-4は70の事前登録された全米代表調査実験（469の処置効果、11万9330人の参加者）において処置効果を予測し、人間の予測者プールと同等の精度を達成した。主な限界は、モデルが効果量を約80%系統的に過大評価したことであり、予測が実用的になるには較正が必要だった。
研究の内容
研究者らは、NSFが資金提供するTESS（Time-Sharing Experiments in the Social Sciences）プログラムから70の事前登録実験の一次アーカイブを収集した。対象は政治学、心理学、社会学、社会政策、公衆衛生、コミュニケーションに及ぶ。実験ではフレーミング効果、顕著性操作、社会的アイデンティティのプライミングなど多様な介入をテストし、政治的態度から偏見、幸福度まで幅広い結果を測定した。
469の処置効果のそれぞれについて、GPT-4に実験デザイン、処置、結果測定値を入力し、期待される効果量を予測するよう求めた。同じ予測を460人の社会科学者も行い、人間のベンチマークを提供した。
結果：
- 実際の効果との相関： r = 0.85（減衰補正後r_adj = 0.91）、人間の予測者プールと同等
- GPT-4のトレーニング期限後に発表された実験： r = 0.90、単純な記憶によるものではないことを示す
- オープンウェイトモデルも同様の精度を達成し、この知見がGPT-4固有ではないことをさらに確認
- 人間とLLMの予測の単純な非加重平均はさらに高い精度（r = 0.88）を示し、2つの予測源が部分的に補完的であることを示唆
較正の問題
高い相関は物語の一部に過ぎない。生のGPT-4予測の平均二乗誤差（RMSE）は10.9パーセントポイントで、人間の予測者（8.4パーセントポイント）よりも悪かった。これはモデルが効果の大きさを系統的に過大評価したためである。
これを修正するため、研究者らは約0.56の線形再スケーリング係数を適用した。つまり、GPT-4の予測効果は平均して約1.8倍大きすぎたことになる。再スケーリング後、RMSEは5.3パーセントポイントに低下し、人間単独（6.0パーセントポイント）よりも優れ、人間+LLMの組み合わせ（4.7パーセントポイント）に近づいた。
過大評価は系統的である。GPT-4は効果の方向性と相対的順序を正確に検出する（したがって高い相関）が、絶対的な大きさを過大評価する。論文ではその理由を特定できていない。可能性としては、明確な因果関係のナラティブで訓練されたことや、確率的知識を集約するモデルの能力の限界が挙げられる。
社会科学への示唆
著者らはこの発見を、従来の実験方法を補完するものであり、置き換えるものではないと位置づけている。どの介入が効果的かを迅速に予測し、高額なデータ収集前に非現実的な結果を警告できるLLMは、仮説検証の反復プロセスを加速させる可能性がある。
論文はまた、LLMを「仮想実験のための計算ラボ」として概念化し、研究者がフィールド実験や調査実験にリソースを投入する前に、シミュレーション集団全体で介入効果を探索できるとしている。
この研究にはいくつかの重要な注意点がある。すべての実験は米国の全国代表サンプルで実施されており、他の集団への一般化可能性は検証されていない。大規模フィールド実験（606の効果を含む15のメガスタディの二次アーカイブ）では精度が低く、文脈が重要であることを示唆している。また「理解の錯覚」のリスク、つまり研究者が人間による検証なしにLLMの予測に過度に依存する可能性があり、特にモデルの訓練データが薄いか偏っている過小評価集団において顕著である。
現時点では、人間と機械の予測を組み合わせることで最高の精度が得られると研究は示唆している。「科学者はLLMを、非常に知識豊富だが少し幻覚的な共同研究者と見なすべきだ」と著者らは述べる。その洞察は価値があるが、その確信は割り引いて受け止める必要がある。
出典：
1. Ashokkumar, A., Hewitt, L., Ghezae, I. & Willer, R. 「Large language models can predict the results of social science experiments.」 Nature (2026). DOI: 10.1038/s41586-026-10742-x
2. Code Oceanカプセル：https://codeocean.com/capsule/9843791/tree/v1
3. インタラクティブデモ：https://treatmenteffect.app/
雅子 訳