强化学习持续控制谷歌Willow处理器的量子纠错
量子纠错是当今噪声量子处理器与实用容错量子计算机之间的核心挑战。纠错是一回事；在硬件随时间漂移——这是真实物理器件几乎不可避免的结果——的情况下保持纠错系统稳定则是另一回事。
Google Quantum AI与Google DeepMind的合作研究成果于7月8日发表在《Nature》上，证明了强化学习可以解决后一个问题。在拥有105个量子比特的Willow超导处理器上，一个RL智能体持续引导纠错系统的控制参数，实现了对抗漂移的逻辑稳定性提升3.5倍，并将表面码逻辑错误率推至每周期7.72×10⁻⁴的新纪录。
漂移问题
量子纠错（QEC）的工作原理是将一个逻辑量子比特编码到多个物理量子比特中，并重复测量检测错误的”稳定子”电路。在表面码——目前研究最广泛的QEC方案——中，标准方法是先校准控制参数（门振幅、频率、耦合强度），然后运行计算。
但物理硬件会漂移。温度波动、介电质中二能级系统缺陷的移动以及其他环境变化会导致控制参数随时间偏移。传统的重新校准需要停止计算，这对于可能运行数天或数月的算法来说是不可接受的。
RL如何解决这个问题
关键洞察：用于检测和纠正量子比特错误的相同稳定子测量可以重新用作RL智能体的学习信号。替代目标是所有检测器上的平均错误检测事件率，通过一个依赖于码距离的已知因子，与逻辑错误率本身成正比。
该智能体使用多变量高斯策略的参数探索策略梯度（PGPE）算法。由于表面码的因子图结构意味着每个检测器只依赖于其”检测区域”内的局部控制参数，梯度更新自然稀疏且高效，在多达约40,000个控制参数的15距离表面码模拟中得到了验证。
该系统还利用了熵正则化：在非平稳（漂移）环境中，防止策略分布崩溃可以实现持续适应，而不是收敛到一组固定参数。
结果
在Willow处理器上，RL智能体同时管理了超过1,000个控制参数。在注入的人工漂移（对CZ耦合、XY振幅和频率的阶跃、正弦和频闪扰动）下的结果：
- 2.4倍改进：仅控制器引导下的逻辑错误率稳定性（标准差）
- 3.5倍改进：同时引导解码器时（重新加权最小权重完美匹配图）
- 31%降低：组合引导下的平均逻辑错误率
- 特征响应时间：约130个epoch从阶跃漂移中恢复
在自然漂移下——处理器在正常操作期间经历的不受控制的真实世界变化——系统实现了约4dB的低频逻辑错误率波动抑制。
所达到的绝对逻辑错误率代表了各自码类型的新纪录：
- 距离7表面码： 每周期7.72×10⁻⁴（使用AlphaQubit2神经解码器）
- 距离5彩色码： 每周期8.19×10⁻³（使用Tesseract最可能错误解码器）
先前由同一Willow处理器在2024年12月创造的表面码纪录是每周期0.143%。这项工作将其改善了约两倍。
校准的新范式
也许最引人注目的演示是：RL智能体可以从随机化的初始控制参数——本质上是随机选择的参数——开始恢复纠错系统的全部性能。这表明RL最终可能完全取代传统的校准栈，而不仅仅是增强它。
作者将这项工作定位为统一传统上分开的校准和计算过程。不是先校准、再计算、再重新校准，而是系统持续学习，实时适应硬件变化，从不中断计算。
婷 翻译
来源:
1. Google Quantum AI and Collaborators. “Reinforcement learning control of quantum error correction.” Nature (2026). DOI: 10.1038/s41586-026-10759-2
2. Also on arXiv: 2511.08493 [quant-ph]
3. Data available on Zenodo: 10.5281/zenodo.17566521