SambaNova Systems, la startup de chips de IA respaldada por Intel, está demostrando que los GPU Nvidia más antiguos aún pueden competir en la frontera de la inferencia de IA, si se les combina con el acelerador adecuado.
Puntos de referencia de terceros de Artificial Analysis muestran que la plataforma de computación heterogénea de SambaNova, que combina cuatro GPU Nvidia H200 con 16 de los aceleradores SN50 RDU (Unidad de Flujo de Datos Reconfigurable) de la compañía, alcanza 763 tokens por segundo en el modelo MiniMax M2.7 con longitudes de contexto cortas. En contextos más largos, el sistema mantiene más de 450 tokens por segundo.
Cómo funciona la inferencia desagregada
La innovación clave es una técnica llamada inferencia desagregada, que divide las dos fases de ejecución del modelo de IA en diferentes hardware. La fase de prellenado (prefill), intensiva en computación, durante la cual el modelo procesa la entrada y genera cachés clave-valor, se ejecuta en los GPU H200. La fase de decodificación (decode), limitada por el ancho de banda de memoria, donde los tokens de salida se generan uno por uno, se ejecuta en los SN50 RDU de SambaNova.
Este enfoque extiende la vida útil de las flotas de GPU que de otro modo podrían considerarse obsoletas para cargas de trabajo modernas de IA. En lugar de reemplazar completamente los H200, los operadores de centros de datos pueden agregar racks de SambaNova como aceleradores de decodificación, manejando el paso que normalmente se convierte en el cuello de botella en la IA conversacional y las aplicaciones agénticas.
SambaNova planea configuraciones más grandes con 128 y eventualmente 256 aceleradores para mantener altas tasas de token a alto rendimiento.
Contexto del mercado
Desagregar el prellenado de la decodificación se ha convertido en una tendencia importante en la infraestructura de IA. Nvidia demostró un enfoque similar con su rack NVL72, y AMD, AWS y Cerebras han anunciado plataformas competidoras. El diferenciador de SambaNova es su diseño refrigerado por aire, el rack SN50 se puede desplegar en centros de datos existentes sin la infraestructura de refrigeración líquida que requieren los próximos GPU Rubin de Nvidia.
El enfoque es particularmente relevante para cargas de trabajo de IA agéntica, asistentes de código de larga duración, herramientas de investigación autónomas y cadenas de razonamiento de múltiples pasos, donde la latencia de decodificación domina la experiencia del usuario.
Financiación y valoración
SambaNova completó el primer cierre de una ronda de financiación Serie F de 1.000 millones de dólares, liderada por General Atlantic, otorgando a la compañía una valoración de 11.000 millones de dólares. Intel es un inversor estratégico. La compañía está aumentando la producción de su SN50 RDU de quinta generación.
Su primer gran cliente anunciado es Together AI, con el socio de despliegue Vector Core Compute.
Traducido por Alessandra
Sources: The Register (July 8)