AI推論のボトルネックが変化している。ワークロードが単発の質問応答から、持続的で多段階のエージェントシステムへと進化するにつれ、最も重要な制約はもはやGPUの可用性ではなく、コンテキストメモリーになりつつある。
「コンテキスト管理がなぜGPUの可用性や計算効率よりも主要なボトルネックになったのか、それが2026年の問いです」と、SolidigmのAI応用研究責任者ジェフ・ハーソーン氏はVentureBeatへのコメントで述べた。「GPUはFLOPあたりのコストが劇的に下がりました。モデルアーキテクチャや推論サービスエンジンも大幅に効率化されました。しかし、それら両方よりも速く成長しているのはコンテキストです」
3つのトレンドが問題を悪化させる
コンテキスト量は3つの同時発生的な要因で爆発的に増加している。第1に、コンテキストウィンドウ自体が劇的に拡大しており、最新のモデルは従来モデルよりはるかに大きな入力を処理する。第2に、エージェント型AIシステムは数十から数百のモデル呼び出しを連鎖させ、それぞれが追跡・保持すべき状態を生成する。第3に、企業は監査、ガバナンス、再利用のために推論状態がセッション間で持続することを求めるようになっている。
その結果、KV（キーバリュー）キャッシュ、推論ステップ間でモデルがコンテキストを保持・再利用できるようにするデータ構造、は、既存のどのメモリ階層でも処理できるように設計された容量を超えて膨張している。
拡大するコンテキスト層
業界の注目は、GPUメモリーと大容量ネットワークストレージの間に位置する専用のコンテキストストレージ層に向けられている。NvidiaはこのアーキテクチャをCMX（コンテキストメモリストレージプラットフォーム）として正式化し、BlueField-4データ処理ユニットで管理している。Solidigmを含むストレージ企業は、推論速度でKVキャッシュと検索データを提供するために特別に最適化されたSSD製品を構築している。
「セッション間で保持すべき永続的な状態は、コンテキスト自体よりもさらに速く成長しています」とハーソーン氏は指摘した。
TrendForceのAI推論メモリー需要に関する調査はこの傾向を裏付けており、次世代推論インフラの重要なアーキテクチャ要件として、SSDベースのストレージポッドへのKVキャッシュオフロードを挙げている。
エンタープライズインフラ計画への影響は大きい。ストレージはかつては単なるコモディティ（1ギガバイトあたりの最低コスト）だったが、今やAIのROIを直接左右する要素となっている。SolidigmのAI・エコシステムマーケティングディレクター、エース・ストライカー氏は次のように述べている。「ストレージが十分でなければ、ROIは低下し、業績に直接影響します」
出典：AI hit the memory wall, now it needs a new context tier（VentureBeat、2026年6月22日）；2026 Trends: Memory for New AI Inference Demand（TrendForce、2026年6月12日）
雅子 訳