AI推論のボトルネックが変化している。ワークロードが単発の質問応答から、持続的で多段階のエージェントシステムへと進化するにつれ、最も重要な制約はもはやGPUの可用性ではなく、コンテキストメモリである。
「コンテキスト管理がなぜGPUの可用性や計算効率よりも主要なボトルネックになったのか、それが2026年の問いです」と、SolidigmのAI応用研究責任者ジェフ・ハーソーン氏はVentureBeatへのコメントで述べた。「GPUはFLOPあたりのコストが劇的に下がりました。モデルアーキテクチャも推論エンジンもはるかに効率的になりました。しかし、その両方よりも速く成長したのはコンテキストです」
3つのトレンドが問題を悪化させる
コンテキスト量は3つの同時進行の力で爆発的に増加している。第一に、コンテキストウィンドウ自体が劇的に拡大しており、最新のモデルは従来モデルよりはるかに大きな入力を処理する。第二に、エージェント型AIシステムは数十から数百のモデル呼び出しを連鎖させ、それぞれが追跡・保持すべき状態を生成する。第三に、企業は監査、ガバナンス、再利用のために推論状態をセッション間で持続させることをますます要求している。
その結果、モデルが推論ステップ間でコンテキストを保持・再利用できるようにするデータ構造であるKV（キー・バリュー）キャッシュは、既存のどのメモリ階層も処理できるように設計された容量を超えて膨張している。
登場するコンテキスト階層
業界の注目は、GPUメモリとネットワークストレージの間に位置する専用のコンテキストストレージ層に向けられている。NvidiaはこのアーキテクチャをCMX（Context Memory Storage Platform）として正式化し、BlueField-4データプロセッシングユニットで管理している。Solidigmを含むストレージ企業は、推論速度でKVキャッシュと検索データを提供するために特別に最適化されたSSD製品を構築している。
「セッション間で保持する必要のある永続的な状態は、コンテキストそのものよりもさらに速く成長しています」とハーソーン氏は指摘した。
TrendForceのAI推論用メモリ需要に関する調査はこの傾向を確認しており、次世代推論インフラの重要なアーキテクチャ要件として、KVキャッシュのSSDベースストレージポッドへのオフロードを特定している。
エンタープライズインフラ計画への影響は大きい。ストレージはかつてコモディティであり、1ギガバイトあたりの最低コストが重視されていたが、今やAIの投資収益率（ROI）を直接決定する要素となっている。SolidigmのAI・エコシステムマーケティングディレクター、エース・ストライカー氏は次のように述べている。「ストレージが十分でなければ、ROIは低下し、最終的な利益に直接影響します」
出典：AI hit the memory wall, now it needs a new context tier（VentureBeat、2026年6月22日）；2026 Trends: Memory for New AI Inference Demand（TrendForce、2026年6月12日）
雅子 訳