SambaNova Systems, la startup de puces IA soutenue par Intel, démontre que les anciens GPU Nvidia peuvent encore être compétitifs à la pointe de l’inférence IA, si on les associe au bon accélérateur.
Des benchmarks tiers d’Artificial Analysis montrent que la plateforme de calcul hétérogène de SambaNova, qui combine quatre GPU Nvidia H200 avec 16 des accélérateurs SN50 RDU (Reconfigurable Dataflow Unit) de la société, atteint 763 tokens par seconde sur le modèle MiniMax M2.7 avec des contextes courts. Pour des contextes plus longs, le système maintient plus de 450 tokens par seconde.
Comment fonctionne l’inférence désagrégée
L’innovation clé est une technique appelée inférence désagrégée, qui sépare les deux phases d’exécution du modèle IA sur différents matériels. La phase de préremplissage (prefill), intensive en calcul, pendant laquelle le modèle traite l’invite d’entrée et génère des caches clé-valeur, s’exécute sur les GPU H200. La phase de décodage (decode), limitée par la bande passante mémoire, où les tokens de sortie sont générés un par un, s’exécute sur les SN50 RDU de SambaNova.
Cette approche prolonge la durée de vie utile des parcs de GPU qui pourraient autrement être considérés comme obsolètes pour les charges de travail IA modernes. Au lieu de remplacer entièrement les H200, les opérateurs de centres de données peuvent ajouter des racks SambaNova comme accélérateurs de décodage, prenant en charge l’étape qui devient généralement le goulot d’étranglement dans l’IA conversationnelle et les applications agentiques.
SambaNova prévoit des configurations plus grandes avec 128 et éventuellement 256 accélérateurs pour maintenir des taux de tokens élevés à haut débit.
Contexte du marché
La désagrégation du préremplissage et du décodage est devenue une tendance majeure dans l’infrastructure IA. Nvidia a démontré une approche similaire avec son rack NVL72, et AMD, AWS et Cerebras ont tous annoncé des plateformes concurrentes. Le différenciateur de SambaNova est sa conception refroidie par air, le rack SN50 peut être déployé dans les centres de données existants sans l’infrastructure de refroidissement liquide que nécessitent les prochains GPU Rubin de Nvidia.
Cette approche est particulièrement pertinente pour les charges de travail IA agentiques, les assistants de code longue durée, les outils de recherche autonomes et les chaînes de raisonnement en plusieurs étapes, où la latence de décodage domine l’expérience utilisateur.
Financement et valorisation
SambaNova a finalisé la première clôture d’un tour de table de série F de 1 milliard de dollars, mené par General Atlantic, donnant à la société une valorisation de 11 milliards de dollars. Intel est un soutien stratégique. La société accélère la production de son SN50 RDU de cinquième génération.
Son premier grand client annoncé est Together AI, avec le partenaire de déploiement Vector Core Compute.
Traduit par Lydie
Sources: The Register (July 8)