Le goulot d’étranglement de l’inférence en IA se déplace. Alors que les charges de travail évoluent du question-réponse unique vers des systèmes agentiques persistants en plusieurs étapes, la contrainte la plus critique n’est plus la disponibilité des GPU, mais la mémoire de contexte.
« La raison pour laquelle la gestion du contexte est devenue un goulot d’étranglement principal, plus que la disponibilité des GPU ou l’efficacité de calcul, est la question de 2026 », a déclaré Jeff Harthorn, responsable de la recherche appliquée en IA chez Solidigm, dans des commentaires à VentureBeat. « Les GPU sont devenus considérablement moins chers par FLOP. Les architectures de modèles et les moteurs d’inférence sont devenus beaucoup plus efficaces. Mais ce qui a augmenté plus vite que ces deux éléments, c’est le contexte. »
Trois tendances aggravent le problème
Les volumes de contexte explosent sous l’effet de trois forces simultanées. Premièrement, les fenêtres de contexte elles-mêmes s’agrandissent considérablement ; les modèles modernes traitent des entrées bien plus volumineuses que leurs prédécesseurs. Deuxièmement, les systèmes d’IA agentiques enchaînent des dizaines ou des centaines d’appels de modèles, chacun générant un état qui doit être suivi et conservé. Troisièmement, les entreprises exigent de plus en plus que l’état d’inférence persiste entre les sessions à des fins d’audit, de gouvernance et de réutilisation.
Le résultat est que le cache KV (key-value), la structure de données qui permet aux modèles de conserver et de réutiliser le contexte entre les étapes d’inférence, a gonflé au-delà de ce que toute couche mémoire existante a été conçue pour gérer.
La couche de contexte émergente
L’attention de l’industrie s’est tournée vers une couche de stockage de contexte dédiée, positionnée entre la mémoire GPU et le stockage réseau en bloc. Nvidia a formalisé cette architecture sous le nom de CMX (Context Memory Storage Platform), géré par son processeur de données BlueField-4. Des entreprises de stockage, dont Solidigm, construisent des produits SSD spécifiquement optimisés pour servir le cache KV et les données de récupération à la vitesse de l’inférence.
« L’état persistant qui doit vivre entre les sessions a augmenté encore plus vite que le contexte lui-même », a noté Harthorn.
Les recherches de TrendForce sur la demande de mémoire pour l’inférence en IA confirment cette tendance, identifiant le déchargement du cache KV vers des pods de stockage SSD comme une exigence architecturale clé pour l’infrastructure d’inférence de nouvelle génération.
Les implications pour la planification de l’infrastructure d’entreprise sont significatives. Là où le stockage était autrefois une marchandise, le dollar le plus bas par gigaoctet, il est désormais un déterminant direct du retour sur investissement en IA. Comme l’a déclaré Ace Stryker, directeur du marketing IA et écosystème chez Solidigm : « Si votre stockage n’est pas à la hauteur, votre retour sur investissement en souffre et cela a un impact direct sur vos résultats. »
Sources : AI hit the memory wall, now it needs a new context tier (VentureBeat, 22 juin 2026) ; 2026 Trends: Memory for New AI Inference Demand (TrendForce, 12 juin 2026)
Traduit par Lydie