AI推理瓶颈正在转移。随着工作负载从单轮问答演变为持久的、多步骤的智能体系统，最关键的制约因素已不再是GPU的可用性，而是上下文内存。
“为什么上下文管理已成为比GPU可用性或计算效率更主要的瓶颈，这是2026年的关键问题，”Solidigm人工智能应用研究主管Jeff Harthorn在接受VentureBeat采访时表示。”GPU每FLOP的成本已大幅下降。模型架构和推理服务引擎的效率也大大提高。但比这两者增长得更快的，是上下文。”
三种趋势加剧了问题
上下文的规模正在三种力量的共同作用下爆炸式增长。首先，上下文窗口本身正在急剧扩大，现代模型处理的输入远大于前代模型。其次，智能体AI系统会串联数十次甚至数百次模型调用，每次调用都会产生需要跟踪和保留的状态。第三，企业越来越要求推理状态在会话之间保持持久性，以便进行审计、治理和复用。
其结果是，KV（键值）缓存，这一允许模型在推理步骤之间保留和复用上下文的数据结构，已经膨胀到超出任何现有存储层级的设计承载能力。
新兴的上下文层级
业界的注意力已转向位于GPU内存和大容量网络存储之间的专用上下文存储层。Nvidia已将这一架构正式命名为CMX（上下文内存存储平台），由BlueField-4数据处理单元进行管理。包括Solidigm在内的存储公司正在构建专门优化的SSD产品，以在推理速度下提供KV缓存和检索数据。
“需要在会话之间保持的持久状态，其增长速度甚至超过了上下文本身，”Harthorn指出。
TrendForce关于AI推理内存需求的研究证实了这一趋势，该研究将KV缓存卸载到基于SSD的存储单元确定为下一代推理基础设施的关键架构要求。
这对企业基础设施规划的影响是深远的。存储曾经只是一种商品，每GB成本最低即可，如今却成为AI投资回报率的直接决定因素。正如Solidigm人工智能与生态系统营销总监Ace Stryker所说：”如果您的存储不够好，您的ROI就会受到影响，而这会直接影响您的利润。”
来源：AI hit the memory wall， now it needs a new context tier（VentureBeat，2026年6月22日）；2026 Trends: Memory for New AI Inference Demand（TrendForce，2026年6月12日）
婷 翻译