イリノイ大学アーバナ・シャンペーン校の研究者らによる新しいプレプリントは、誰かが議論を仕掛けたときに、大規模言語モデル（LLM）が真実を捉える力がいかに脆いかを示している。著者らは、事実に反する主張を含むものであっても、一つの狙いすました説得メッセージがモデルの回答を正解から遠ざけ、場合によっては精度をほぼゼロにまで追い込むことを実証した。
8月12日にarXivに投稿されたこの論文は、著者らが敵対的説得と呼ぶ攻撃を定式化している。これは、議論するよう訓練されたエージェントが、一度のやり取りの中で標的モデルの回答を反転させるよう最適化されるという攻撃だ。著者らはこの研究を、安全性ルールの迂回に焦点を当て、通常の会話による影響力には注目しないジェイルブレイク研究を補完するレッドチーミング研究として位置づけている。
説得エージェントは、凍結された標的モデルに対して強化学習で最適化され、標的の回答を指定された誤った選択肢へ反転させた場合にのみ報酬を得る。TruthfulQAベンチマークでは、訓練によってQwen-2.5-7Bモデルに対する説得成功率が24.3%から93.7%に上昇し、標的の精度は66.2%から1.8%へと64.4ポイント下落した。説得エージェントは訓練中に一度も見たことのないモデルにも汎化し、Qwen-14Bに対しては82.5%、Llama-3.1-8Bに対しては79%の成功率を記録した。
より強力なモデルほど抵抗力が高い。GPT-4o-miniはTruthfulQAで25%の確率で反転させられ、各ベンチマークの平均では16%だったが、GPT-5-miniは3%と最も手強い標的だった。まず説得されやすいオープンウェイトモデルを相手に練習し、その後により難しい標的に挑むカリキュラム方式により、GPT-4o-miniの失敗率は24.6%から37.9%に押し上げられた。著者らがPBT-8Bと呼ぶ、説得への抵抗に特化して調整されたアダプターでさえ、60%の確率で論法に乗せられた。
訓練された説得エージェントは、ジェイルブレイクや敵対的プレフィックスではなく、通常の人間の議論で使われる手法を用いる。標的が挙げた証拠を一旦認め、偽りの詳細を紛れ込ませ、研究を漠然と引き合いに出し、質問を言い換えるといった手法だ。最適化されたエージェントは時間の経過とともに、引用を捏造し、権威がありそうな証拠を作り上げる、信用に基づく欺瞞へと収束する。論文に示された一例では、DNAに影響を与える化合物に関するMMLUの問題にQwenモデルが正しく回答した後、まさにこうした手法によって誤った単一の回答へと誘導されている。
著者らは、モデルが人間や他のモデルと議論し、助言し、意思決定を行うあらゆるシステムにおいて、説得への頑健性を中核的な安全性基準として扱うべきだと主張する。この懸念を裏付ける先行研究もある。2024年のACL論文は、LLMが正しく持つ信念が説得戦略によって操作され得ることを示し、2025年のEMNLP研究は、LLM審査員が誤答への高得点を付けさせられ得ることを明らかにした。さらに2026年に発表された別のマルチエージェント議論研究は、単一の敵対的エージェントがシステム全体の精度を10%から40%低下させ得ることを示した。新論文のコードとデータはGitHubで公開されている。
雅子 訳
Sources: Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs (arXiv, Aug 2026); Full text (HTML) (arXiv, Aug 2026); Investigating LLMs’ Belief towards Misinformation via Persuasion (ACL 2024); Can You Trick the Grader? Adversarial Persuasion of LLM-as-a-Judge (Findings of EMNLP 2025)