AI推理的瓶颈正在转移。随着工作负载从单轮问答演变为持续的、多步骤的智能体系统，最关键的制约因素已不再是GPU的可用性，而是上下文内存。
“为什么上下文管理已成为主要瓶颈，而非GPU可用性或计算效率，这是2026年的问题，”Solidigm公司AI应用研究负责人杰夫·哈索恩向VentureBeat表示。”GPU每FLOP的成本已大幅下降。模型架构和推理服务引擎都已变得更加高效。但增长最快的是上下文。”
三个趋势加剧问题
上下文容量正因三股同时作用的力量而爆炸式增长。第一，上下文窗口本身正在大幅扩展；现代模型处理的输入远大于其前代。第二，智能体AI系统将数十或数百次模型调用串联在一起，每次调用都会生成需要跟踪和保留的状态。第三，企业越来越要求推理状态在会话之间保持持久性，用于审计、治理和重用。
结果是，KV（键值）缓存,,允许模型在推理步骤之间保留和重用上下文的数据结构,,已膨胀到超出任何现有内存层级的设计处理能力。
新兴的上下文层级
行业注意力已转向位于GPU内存和海量网络存储之间的专用上下文存储层。英伟达已将该架构正式命名为CMX（Context Memory Storage Platform），由其BlueField-4数据处理单元管理。包括Solidigm在内的存储公司正在构建专门为推理速度服务KV缓存和检索数据而优化的SSD产品。
“需要在会话之间保持的持久状态，其增长速度甚至超过了上下文本身，”哈索恩指出。
集邦咨询（TrendForce）关于AI推理内存需求的研究确认了这一趋势，将KV缓存卸载到基于SSD的存储舱确定为下一代推理基础设施的关键架构要求。
这对企业基础设施规划的影响十分重大。存储曾经是一种商品，每GB成本最低者胜出，但现在它已成为AI投资回报率的直接决定因素。正如Solidigm公司AI和生态系统营销总监艾斯·斯特赖克所说：”如果你的存储不够好，你的投资回报率就会受损，并直接影响你的利润。”
来源：AI hit the memory wall, now it needs a new context tier（VentureBeat，2026年6月22日）；2026 Trends: Memory for New AI Inference Demand（集邦咨询，2026年6月12日）
婷 翻译