大規模言語モデルは人間の研究者が書くものと同等の質の科学プロジェクト計画を生成できるが、AIベースの評価者はAI生成の提案を系統的に好む傾向を示すことが、arXivに掲載された新たな研究で明らかになった。
この研究は、カブリ数物連携宇宙研究機構のJia Liu氏が主導し、物理学、天体物理学、宇宙論の8つの専門家考案プロジェクトについて、人間と3つのLLM（ChatGPT 4o、Claude Sonnet 4、DeepSeek V3）が作成した1ページの研究提案書を比較した。
8人の分野専門家がそれぞれ、活動銀河核の進化、銀河-暗黒物質ハロー接続、弱レンズ効果の固有配向、重力波ブラックホール連星、パルサータイミングアレイによる一般相対性理論のテストなどのトピックをカバーする研究プロジェクトの概要を作成した。その後、各トピックの専門家である大学院生または博士研究員がAI支援なしでそれぞれ1つの提案書を作成した。別途、特定分野外の学部生が固定されたプロンプトテンプレートを使用してプロジェクトごとに3つのAI提案を生成し、合計32の提案書（人間作成8件、AI生成24件）のコーパスを生成した。
4人の上級研究者が盲検の人間レビュアーを務め、明確さ、方法の適切性、リソース計画、実現可能性について提案を評価した。2つの最先端LLM（Claude Opus 4.8とChatGPT Pro 5.5）が同じ評価を実施した。
人間のレビュアーは人間作成とAI生成の提案を全体的に同程度に評価し、両グループとも平均スコアは約5点満点中3.5点だった。しかし、AIレビュアーはAI生成の提案を人間作成のものより約1点高く評価し、系統的なプロAIバイアスが明らかになった。このバイアスは人間作成の計画が弱いプロジェクトに集中しており、人間の計画の質とAIレビュアーのバイアスとの相関は約-0.95だった。
各提案が人間作成かAI生成かを識別するよう求められた場合、人間のレビュアーは人間作成の提案で72％、AI生成の提案で79％の精度を達成し、個人の精度は59％から88％の範囲だった。人間のレビュアーは、テンプレート的な5段階の方法論セクション、引用の欠如、切りの良い数字のタイムライン、機械学習用語の過剰使用などの特徴によってAI生成の提案を識別した。人間作成の提案は、特定の著者-年の引用、特徴的な分野専門用語、一人称の表現、焦点を絞った範囲によって区別された。
両方のAIレビュアーは32の提案すべてを100％の精度で正しく分類し、一貫して同じ手がかりを誤りなく適用した。均一な5フェーズテンプレート、洗練された非人称的な散文、一般的な調査選択、網羅的なツールリスト、定型化されたリスク軽減などの特徴を挙げている。
この論文は、LLMを提案書の作成と評価に広く展開する際には注意が必要であると指摘している。AI評価者がAI生成コンテンツを優遇する系統的なバイアスをもたらす可能性があるためである。
画像：（なし、研究論文）
出典：arXiv:2607.25881（Liu et al.、2026年7月28日）
雅子 訳