Le goulot d’étranglement de l’inférence IA se déplace. Alors que les charges de travail évoluent, passant du question-réponse unique aux systèmes agentiques persistants en plusieurs étapes, la contrainte la plus critique n’est plus la disponibilité des GPU ; c’est la mémoire de contexte.
« La gestion du contexte est devenue le principal goulot d’étranglement, plus que la disponibilité des GPU ou l’efficacité de calcul : voilà la question de 2026 », a déclaré Jeff Harthorn, responsable de la recherche appliquée en IA chez Solidigm, dans des commentaires à VentureBeat. « Les GPU sont devenus nettement moins chers par FLOP. Les architectures de modèles et les moteurs de service d’inférence sont tous devenus beaucoup plus efficaces. Mais ce qui a crû plus vite que ces deux facteurs, c’est le contexte. »
Trois tendances aggravent le problème
Les volumes de contexte explosent sous l’effet de trois forces simultanées. Premièrement, les fenêtres de contexte elles-mêmes s’agrandissent considérablement ; les modèles modernes traitent des entrées bien plus volumineuses que leurs prédécesseurs. Deuxièmement, les systèmes d’IA agentique enchaînent des dizaines ou des centaines d’appels de modèles, chacun générant un état qui doit être suivi et conservé. Troisièmement, les entreprises exigent de plus en plus que l’état d’inférence persiste entre les sessions à des fins d’audit, de gouvernance et de réutilisation.
Il en résulte que le cache KV (key-value), la structure de données qui permet aux modèles de conserver et de réutiliser le contexte entre les étapes d’inférence, a gonflé au-delà de ce que n’importe quel niveau de mémoire existant a été conçu pour gérer.
Le niveau de contexte émergent
L’attention de l’industrie s’est tournée vers une couche de stockage de contexte dédiée, positionnée entre la mémoire GPU et le stockage réseau en masse. Nvidia a formalisé cette architecture sous le nom de CMX (Context Memory Storage Platform), gérée par son unité de traitement de données BlueField-4. Les entreprises de stockage, dont Solidigm, construisent des produits SSD spécifiquement optimisés pour servir le cache KV et les données de récupération à la vitesse de l’inférence.
« L’état persistant qui doit vivre entre les sessions a crû encore plus vite que le contexte lui-même », a noté Harthorn.
Les recherches de TrendForce sur la demande de mémoire pour l’inférence IA confirment la tendance, identifiant le déchargement du cache KV vers des pods de stockage SSD comme une exigence architecturale clé pour l’infrastructure d’inférence de nouvelle génération.
Les implications pour la planification de l’infrastructure d’entreprise sont significatives. Là où le stockage était autrefois une commodité, au plus bas dollar par gigaoctet, il est désormais un déterminant direct du retour sur investissement en IA. Comme l’a déclaré Ace Stryker, directeur du marketing IA et écosystème chez Solidigm : « Si votre stockage n’est pas à la hauteur, votre retour sur investissement en souffre, et cela a un impact direct sur vos résultats. »
Sources : AI hit the memory wall, now it needs a new context tier (VentureBeat, 22 juin 2026) ; 2026 Trends: Memory for New AI Inference Demand (TrendForce, 12 juin 2026)
Traduit par Lydie