2024年，纽约大学的三位研究人员训练了一个小型Transformer模型解决一道高难度算法题，方法是用一串串毫无意义的圆点替代它写下的思维链。该模型在名为3SUM的问题上的准确率从接近随机水平跃升至满分。这项由Jacob Pfau、William Merrill和Samuel Bowman进行的实验，是对一个如今正令人工智能研究界产生分歧的问题刻意设计的极端检验：当模型打印出分步推理过程时，这段文字是否真的描述了产生答案的计算？圆点给出的答案是否定的，此后一系列后续研究进一步表明，文本与底层机制之间的差距巨大、可以量化，且影响深远。
这个问题的重要性迅速上升。思维链提示（chain-of-thought prompting）于2022年被发现，是一种让语言模型在逻辑和算术上不再那么犯傻的方法：要求模型一步步思考，它们的表现就会更好。到2024年，OpenAI的o1把这套技巧变成了产品，训练模型在作答前自行生成推理轨迹。这些轨迹不再仅仅被当作提升性能的权宜之计。它们看起来像一份可供审计的机器思维书面记录，一种能让人类核查模型为何得出某一结论的档案。推理模型随后在2025年国际数学奥林匹克竞赛中夺得金牌；2026年5月，OpenAI表示，一个通用推理模型解决了单位距离问题（unit distance problem），这是几何学中一个著名的开放问题。该公司没有公布模型的原始思维链，只发布了一份由两位人类专家借助另一模型改写而成的摘要，这一做法与其2024年采纳的政策一致，谷歌DeepMind和Anthropic也遵循同样的政策。
圆点实验从根本上动摇了书面记录这幅图景。Pfau、Merrill和Bowman在一个3400万参数的Llama模型上训练了3SUM任务，该任务要求判断列表中的任意三个数之和是否为零，此外还训练了2SUM的一个变体。在没有中间token的情况下，模型在较长的3SUM输入上得分66%，与随机猜测无异。当思维链以显式的两两求和形式写出时，模型达到100%。当思维链被替换为数量相等的圆点时，模型同样达到100%。在2SUM上，思维链得分为95.1%，圆点为93.6%，中间什么都没有时为78.7%。token的含义无关紧要；重要的是它们存在，为网络提供了额外的位置，使其得以进行任何人类都无法读取的计算。论文的标题为这一现象命名：隐藏计算。作者指出，这对该领域主流的对齐方法构成了令人不安的暗示，这些方法通过阅读模型的输出文本来评判模型：一个能够跨越无意义token进行推理的模型，正在执行行为监督无法看到的计算。
后续研究从玩具场景转向真实的前沿模型，并量化了可见推理轨迹中真正驱动答案的部分究竟有多小。2025年，东北大学和加州大学伯克利分校的Jiachen Zhao、Yiyou Sun、Weiyan Shi和Dawn Song开展了一项研究，通过扰动思维链中的每一步并观察答案的变化，来测量每一步的因果贡献。他们将这一指标称为真实思考得分。在AIME数学数据集上使用Qwen-2.5模型时，各步骤的平均得分约为0.03（满分1分）；只有6.4%的步骤得分高于0.3，仅2.3%的步骤达到0.7。大多数被语言化输出的步骤属于作者所称的装饰性思考：它们看起来像推理，出现在记录中，却对最终答案几乎没有贡献。即便是自我修正的时刻，也就是模型宣布需要重新计算的那种顿悟式停顿，也往往是装饰性的；对于Qwen-2.5，约有12%的自我验证步骤得分低于0.005，这意味着模型实际上从未使用它打印出来的修正。同一团队还表明，这一现象是可以被控制的：模型内部状态空间中的某个方向可以迫使它真正投入某一步，或跳过某一步。
对这些结果的解读之争，激烈程度不亚于结果本身。亚利桑那州立大学的Subbarao Kambhampati认为，推理轨迹根本不是思想。他的实验室曾产出相关证据：用错误的轨迹替换模型原本正确的轨迹，并不会降低其答案质量。他的工作假设是，模型执行的是他所说的近似检索：思考token以某种方式装填上下文窗口，使形似推理的文本更可能随之出现，就像低声自言自语可以唤起记忆一样。词语本身几乎无关紧要。他所在团队在ICML 2026发表的立场论文《停止将中间token拟人化为推理/思维轨迹！》（Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!）提议用中性的术语「派生轨迹」（derivational trace）取代关于思想的词汇。OpenAI的Sébastien Bubeck驳斥了这一批评，称苹果公司那项发现推理模型在复杂谜题上准确率完全崩塌的研究，测试的是过时的模型；从GPT-5.5开始的现代模型不存在这个问题。苹果公司未让其研究人员接受置评，而且由于前沿公司对原始轨迹严格保密，外界无法直接检验这一说法。
实际问题是如何应对这一差距。在可验证的领域，答案直截了当：检验结果，而不是过程叙述。代码能运行就是能运行，证明要么正确要么不正确，这些模型最适合用在存在外部验证者的领域。在不可验证的领域，危险则更为微妙。思维链越来越多地被提议作为一种监控工具，一扇观察模型在行动之前是否在安全推理的窗口。因果研究表明，这种监控可能把装饰当作思考。该领域的研究人员直言不讳：重要的是以正确的理由得出正确的答案，这样这些系统才值得信赖。圆点实验并没有证明推理模型从不推理。它证明的是，打印出来的思维链本身并不能作为模型确实进行过推理的证据。
参考文献
Jacob Pfau, William Merrill, and Samuel R. Bowman, Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models. arXiv:2404.15758 (2024).
Jiachen Zhao, Yiyou Sun, Weiyan Shi, and Dawn Song, Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought. arXiv:2510.24941 (2025).
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, and Mehrdad Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity. arXiv:2506.06941 (2025).
Subbarao Kambhampati et al., Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026. arXiv:2504.09762.
John Pavlus, Is AI Reasoning Right for the Wrong Reasons? Quanta Magazine, 31 July 2026.
婷 翻译