シカゴ大学の経済学者ジョン・A・リストがNatureに発表した論説は、過去10年にわたって心理学、経済学、生物医学を揺るがしてきた再現性危機がより深い問題の症状である可能性を指摘している。本当の問題は実験室で結果が再現されるかどうかではなく、人々が実際に生活する環境に結果が一般化できるかどうかである。
リストはウォルマートでチーフエコノミストを務めながらシカゴ大学とオーストラリア国立大学で教授職を保持している。同氏は行動科学と社会科学が自然フィールド実験へ決定的に方向転換すべきだと主張する。自然フィールド実験とは、参加者が観察されていることに気づかず日常生活を送る一方で、研究者が環境の一部を制御された方法で変化させる研究である。
リストは｢私の見解では、この問題に対する一つの解決策はより多くの自然フィールド実験を使用することである。厳格な倫理的規則が守られることを前提に、自然な環境で人々を研究することで、研究者は自身の知見がその集団に関連するものであるとより確信できる｣と述べている。
3段階の一般化可能性問題
リストは研究と現実世界のつながりが断たれる3つの明確な地点を特定している。
第1は母集団選択である。臨床試験は歴史的に中年の白人男性を対象に実施され、その結果が女性や他の人口統計グループに適用されてきた。研究者が想定する研究の対象集団は、最終的に介入や政策を受ける集団としばしば異なる。
第2は参加者選択であり、より微妙だが広く浸透した歪みである。実験室での研究には同意が必要であり、同意には認識が必要である。行動実験に志願する人々は一般人口を代表していない。火曜日の午後に20ドルの心理学実験に参加する人は柔軟なスケジュールを持ち、学術的環境に慣れている。これらの性質は他の様々な特性と相関する。
第3は状況選択である。実験環境自体が人工的な文脈を生み出す。観察による監視、なじみのない利害、大学の実験室の社会的合図、これらすべてはスーパーマーケットの通路、校庭、証券取引所のフロアという現実の混沌とは異なる。
リストは自身の2006年のトレーディングカード業者の研究でこの点を例証している。｢業者は監視されていると知ると、買い手がその場で確認できる以上の高品質なカードを提供した。これは反復取引の見込みとは無関係なコストのかかる互恵行為であった。市場フロアでは対照的に、互恵は戦略的であった。寛大さは評判と反復取引が経済的に合理的である場合にのみ示された｣
同氏は、決定の通常の結果を弱める環境から一般化すると誤った推論と欠陥のある政策につながると論じている。
一般化失敗の古典的例
論説は、有望だった小規模な結果が大規模化で崩壊したいくつかの既知の事例を再検討している。｢スケアード・ストレート｣プログラムは1970年代と1980年代にリスクのある10代を最高警備刑務所に連れて行った。初期の試験では参加者の80〜90%が問題を起こさなかったと報告された。しかしプログラムが拡大され管理試験で研究されたとき、それは失敗した。一部の場所では参加者の犯罪行動が実際に増加した。
ケニアで欠席率を大幅に減少させた学校の駆虫プログラムは、他の国では効果が弱かったり一貫しない結果を示した。ブルキナファソで出席率を向上させた学校給食プログラムは他の地域では限定的な影響しかなかった。
リストは、これらの失敗は初期の研究が間違っていた証拠ではないと論じている。これらは人間の行動が状況依存的であり、従来の実験室および調査研究が自身の知見の移植可能性を体系的に過大評価している証拠である。従来の研究は心理学者がWEIRD集団（西洋的、教育を受けた、工業化された、豊かな、民主的）と呼ぶものに圧倒的に依存している。
方法論的修正としての自然フィールド実験
自然フィールド実験はこれらの問題の最悪の部分を回避する。参加者が研究されていることを知らないため、実験への自己選択は生じない。環境が実際の場面（買い物、寄付、仕事、通勤）であるため、行動を歪める人工的な文脈は存在しない。
母集団選択の問題を自動的に解決するわけではない（研究者は依然としてどの集団を研究するかを選択する）が、母集団の違いを実験上の人為産物から明確に分離する。
リストによれば、3つの発展が自然フィールド実験を過去よりも現在において実行可能にしている。再現性危機により、より厳格な方法に対する制度的需要が生まれた。テクノロジー分野は毎日数万件のこのような実験を実施し、アカデミアが借用できるインフラを構築している。そしてリスト自身の2024年の枠組みを含む一般化可能性に関する形式理論の拡大は、結果がいつ環境間で移転可能でいつ不可能かを予測するツールを提供している。
ウォルマートではリストのチームが6000以上のサプライヤーと自然フィールド実験を実施し、どのインセンティブが炭素排出を最も効果的に削減するかをテストしている。その規模は大学の実験室が達成できるものをはるかに超えている。
倫理的境界
自然フィールド実験は、管理された実験室研究では生じない倫理的問題を提起する。リストはベルモント・レポートの枠組みを引用して直接これらに対処している。参加者は最小限のリスク以上にさらされてはならず、通常であれば遭遇する経験のみにさらされるべきである。不完全な開示は、研究目標を達成するために必要であり、開示されていないリスクがないか最小限であり、適切なデブリーフィング計画と組み合わされている場合にのみ正当化される。
この論説自体が科学社会学における実験である。これは世界で最も権威ある学術誌の一つに掲載され、再現だけでなく方法論的改革が優先されるべきであると主張している。リストの主張が経済学と行動科学を超えて、再現性危機が最も深刻に打撃を与えた分野へと一般化されるかどうかは、研究者が自身の実験室の管理された条件を離れて被験者を現場に追跡する意思があるかどうかにかかっているかもしれない。
出典
List, J.A. ｢Make science more reliable: study people as they go about their lives.｣ Nature 654, 863–866 (2026). DOI: 10.1038/d41586-026-01957-z.
雅子 訳