2024年、ニューヨーク大学の研究者3人が、小さなトランスフォーマーに、書き出された思考連鎖の代わりに意味のないドットの並びを代入して、難しいアルゴリズム問題を解かせた。3SUMと呼ばれる問題での精度は、ほぼランダムな水準から完璧な水準へと跳ね上がった。この実験はジェイコブ・プファウ、ウィリアム・メリル、サミュエル・ボウマンによるもので、現在の人工知能研究を二分する問いに対する、意図的に極端なテストだった。モデルが推論のステップごとの説明を出力したとき、その説明は実際に回答を生み出した計算を説明しているのだろうか。ドットはノーと答えた。その後、続々と発表された追跡研究は、テキストと機械の仕組みの隔たりが広く、測定可能で、重大なものであることを示してきた。
この問いの重みは急速に増した。思考連鎖プロンプティングは2022年、言語モデルが論理や算数で間抜けな失敗をしにくくする方法として発見された。ステップごとに考えるよう求めると、モデルの成績は向上した。2024年までにOpenAIのo1はこの手法を製品に変え、回答の前にモデル自身が推論のトレースを生成するよう訓練した。トレースは単なる性能向上の小手先の技以上のものとして扱われた。それは機械の思考の監査可能な記録、つまり人間がモデルが特定の結論に達した理由を確認できる種類の記録のように見えた。推論モデルはその後、2025年の国際数学オリンピックで金メダルを獲得し、2026年5月にはOpenAIが、汎用推論モデルが幾何学の有名な未解決問題である単位距離問題を解いたと発表した。同社はモデルの生の思考連鎖を公開せず、別のモデルの助けを借りて2人の人間の専門家が書き直した要約のみを公開した。これは2024年に同社が採用し、Google DeepMindとAnthropicも従っている方針に沿ったものだ。
ドット実験は、記録という構図の根底を掘り崩した。プファウ、メリル、ボウマンは、リスト内の3つの数の和がゼロになるかどうかを問う3SUMと、2SUMの変種について、3400万パラメータのLlamaモデルを訓練した。中間トークンがない場合、より長い3SUM入力でのスコアは66パーセントで、推測と見分けがつかなかった。明示的なペアごとの和として書き出した思考連鎖では100パーセントに達した。思考連鎖を同数のドットに置き換えた場合も100パーセントに達した。2SUMでは、思考連鎖で95.1パーセント、ドットで93.6パーセント、中間に何もない場合は78.7パーセントだった。トークンの意味は無関係だった。重要だったのはトークンが存在すること、つまりネットワークに、人間が読めない計算を実行するための追加の位置が与えられることだった。論文のタイトルはこの現象に「隠れた計算」(hidden computation)という名前を与えている。著者らは、出力テキストを読むことでモデルを評価する、この分野で主流のアライメント手法にとって不都合な含意を指摘した。意味のないトークンをまたいで推論できるモデルは、行動監視では見えない計算を行っているのだ。
その後の研究は、おもちゃのような実験設定から実際の最先端モデルへと移り、可視化された推論トレースのうち実際に回答を駆動している部分がどれほど少ないかを定量化した。ノースイースタン大学とカリフォルニア大学バークレー校のジャチェン・ジャオ、イーヨウ・スン、ウェイヤン・シー、ドーン・ソンによる2025年の研究は、思考連鎖の各ステップを摂動させて回答を観察し、各ステップの因果的寄与を測定した。彼らはこの指標を真の思考スコア(true thinking score)と呼んだ。AIMEの数学データセットとQwen-2.5モデルを用いた実験では、ステップ全体の平均スコアはゼロから1の尺度で約0.03だった。スコアが0.3を超えたステップはわずか6.4パーセントで、0.7に達したのはわずか2.3パーセントだった。言語化されたステップの大半は、著者らが「装飾的思考」(decorative thinking)と呼ぶものだった。推論のように見え、書き起こしの中に現れ、最終回答にはほとんど寄与しない。モデルが再計算が必要だと宣言する「あっ」という間の自己修正の瞬間でさえ、装飾的であることが多かった。Qwen-2.5では、自己検証ステップの約12パーセントが0.005未満のスコアとなり、モデルは出力した修正を実際には決して使わなかったことを意味する。同じチームはこの現象を制御できることも示した。モデルの内部状態空間の特定の方向によって、ステップを本当に実行するよう強制したり、スキップさせたりできるのだ。
これらの結果をめぐる解釈の論戦は、結果そのものと同じくらい激しい。アリゾナ州立大学のスッバラオ・カンバンパティは、自身の研究室が、モデルの正しいトレースを誤ったトレースに置き換えても回答が劣化しないという関連する証拠を生み出していることを踏まえ、推論トレースはそもそも思考ではないと論じている。彼の作業仮説は、モデルが「近似的検索」(approximate retrieval)と呼べることを行っているというものだ。思考トークンがコンテキストウィンドウを埋めていくことで、推論らしい形のテキストが後に続きやすくなる。自分に向かって言葉をつぶやくと記憶が呼び起こされることがあるのと同じである。言葉はほとんど重要ではない。彼のグループのICML 2026ポジションペーパーは「中間トークンを推論・思考トレースとして擬人化するのをやめよう」という題で、思考という語彙を中立的な用語である「導出トレース」(derivational trace)に置き換えることを提案している。OpenAIのセバスチャン・ビュベックはこの批判を退け、複雑なパズルで推論モデルの精度が完全に崩壊することを見いだしたAppleの研究は時代遅れのモデルをテストしたものであり、GPT-5.5以降の現代のモデルはこの問題を抱えていないと述べた。Appleは研究者へのコメント取材に応じず、最先端企業が生のトレースを秘密にしているため、外部の人間はこの主張を直接検証できない。
実務上の問いは、この隔たりをどう扱うかだ。検証可能な領域では、答えは単純明快だ。物語ではなく結果を確かめればよい。コードは動くか動かないかであり、証明は正しいか正しくないかであり、モデルの最良の使い道は、外部の検証者が存在する領域にある。検証不可能な領域では、危険はより微妙だ。思考連鎖は、モデルが行動する前に安全に推論しているかどうかをのぞき見る窓として、監視ツールとして提案されることが増えている。因果研究は、そのような監視が装飾を思考として読み取る可能性があることを示している。この分野の研究者は率直に述べる。重要なのは正しい理由で正しい答えを得ることであり、それによってこれらのシステムを信頼できるようになる、と。ドット実験は、推論モデルが決して推論しないことを証明したわけではない。印刷された思考連鎖が、それ自体では、推論が行われた証拠にならないことを証明したのである。
References
Jacob Pfau, William Merrill, and Samuel R. Bowman, Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models. arXiv:2404.15758 (2024).
Jiachen Zhao, Yiyou Sun, Weiyan Shi, and Dawn Song, Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought. arXiv:2510.24941 (2025).
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, and Mehrdad Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity. arXiv:2506.06941 (2025).
Subbarao Kambhampati et al., Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026. arXiv:2504.09762.
John Pavlus, Is AI Reasoning Right for the Wrong Reasons? Quanta Magazine, 31 July 2026.
雅子 訳