SambaNova Systems，这家由英特尔支持的AI芯片初创公司，正在证明较老的Nvidia GPU如果搭配正确的加速器，仍然可以在AI推理的前沿领域保持竞争力。
来自Artificial Analysis的第三方基准测试显示，SambaNova的异构计算平台将四块Nvidia H200 GPU与该公司16块SN50 RDU（可重构数据流单元）加速器相结合，在短上下文长度下，MiniMax M2.7模型上达到了每秒763个token。在较长上下文下，该系统保持每秒超过450个token。
分离式推理的工作原理
关键创新是一种称为分离式推理的技术，将AI模型执行的两个阶段拆分到不同的硬件上运行。计算密集型的预填充阶段（模型处理输入提示并生成键值缓存）在H200 GPU上运行。而受内存带宽限制的解码阶段（逐一生成输出token）在SambaNova的SN50 RDU上运行。
这种方法延长了那些可能因现代AI工作负载而被视为过时的GPU集群的有效使用寿命。数据中心运营商无需完全替换H200，而是可以添加SambaNova机架作为解码加速器，处理在对话式AI和智能体应用中通常成为瓶颈的步骤。
SambaNova正在规划更大规模配置，配备128个甚至最终256个加速器，以在高吞吐量下保持高token速率。
市场背景
将预填充与解码分离已成为AI基础设施的一个主要趋势。Nvidia凭借其NVL72机架展示了类似的方法，AMD、AWS和Cerebras也都发布了竞争平台。SambaNova的差异化优势在于其风冷设计，SN50机架可以在现有数据中心中部署，无需Nvidia即将推出的Rubin GPU所需的液冷基础设施。
这种方法特别适用于智能体AI工作负载、长时间运行的代码助手、自主研究工具和多步骤推理链，在这些场景中，解码延迟主导了用户体验。
融资与估值
SambaNova完成了由General Atlantic领投的10亿美元F轮融资的首次交割，公司估值达到110亿美元。英特尔是其战略支持者。该公司正在扩大其第五代SN50 RDU的生产。
其首个宣布的大规模客户是Together AI，部署合作伙伴为Vector Core Compute。
婷 翻译
Sources: The Register (July 8)