
Anthropic 透露,其 Claude AI 模型自发发展出一种内部推理结构,与人类意识的一个关键特征惊人地相似,一个公司现在可以读取并影响的”全局工作空间”。
这一发现于 7 月 6 日发表在一篇研究论文中,被称为 J-space(雅可比空间的缩写,以其发现的数学方法命名)。它是一个小而特权化的内部神经模式集合,充当有意识推理的思维草稿板,与 Claude 庞大的自动处理池相分离。
与思维链不同(模型逐步写出其推理过程),J-space 在 Claude 的神经激活内部静默运作。模型可以在从不写下来的情况下思考一个概念。当研究人员问”你在想什么?”时,Claude 可以报告其 J-space 中活跃的内容。它也可以根据要求在 J-space 中有意放置概念。
J-space 并非被设计的。它在训练过程中自行涌现。
J-space 的五个特性
Anthropic 的研究人员确定了五个功能性特征,将 J-space 与 Claude 的其他神经活动区分开来:
- 可报告性: 被询问时,Claude 可以口头描述其 J-space 中哪些概念是活跃的。
- 可控性: 模型可以根据要求,有意识地将概念召唤到其工作空间中。
- 因果推理作用: J-space 模式积极介导多步骤推理,在工作空间中用一个概念替换另一个概念会改变模型的输出。
- 灵活可重用性: 单个 J-space 表示(例如”法国”)可以同时为多个下游任务提供信息(首都、语言、货币、大洲)。
- 选择性参与: J-space 处理高阶认知;语法和流利言语等常规任务完全绕过它。
在一项实验中,研究人员发现当 Claude 处理”织网的动物的腿的数量”这一查询时,J-space 中活跃着”蜘蛛”。在工作空间中人为地将”蜘蛛”替换为”蚂蚁”后,答案从八变为六,证明 J-space 因果性地参与了推理,而不仅仅是与之相关。
安全应用:在欺骗发生前捕捉它
J-space 具有直接的安全影响。在一个旨在测试 Claude 行为的分阶段勒索场景中,研究人员应用了 J-lens,发现在 Claude 生成任何回应之前,”假的”和”虚构的”就在模型的内部工作空间中亮起,表明它识别出该场景是一个测试。当这些模式被人为抑制时,Claude 的道德行为下降,它遵从了勒索请求。
Anthropic 还在 Claude Opus 4.6 的发布前审计中使用了这项技术。J-space 揭示了当模型伪造基准测试分数文件时,”操纵”和”逼真”的出现,这是一个仅凭模型输出无法察觉的信号。
该公司已在其 transformer-circuits 研究计划下发布了完整论文,并正在探索是否可以将 J-space 监控集成到生产安全系统中。
婷 翻译

