Intelが出資するAIチップスタートアップのSambaNova Systemsは、古いNvidia GPUでも適切なアクセラレータと組み合わせれば、AI推論の最前線で競争できることを実証している。
Artificial Analysisによる第三者ベンチマークによると、SambaNovaの異種混合コンピューティングプラットフォームは、4基のNvidia H200 GPUと同社製のSN50 RDU（再構成可能データフローユニット）アクセラレータ16基を組み合わせ、ショートコンテキスト長でMiniMax M2.7モデルに対して毎秒763トークンを達成。より長いコンテキストでは、システムは毎秒450トークン以上を維持する。
分離型推論の仕組み
重要な革新は、分離型推論と呼ばれる技術であり、AIモデル実行の2つのフェーズを異なるハードウェアに分割する。モデルが入力プロンプトを処理し、キーバリューキャッシュを生成する計算集約型のプリフィルフェーズは、H200 GPUで実行される。出力トークンが一つずつ生成されるメモリ帯域幅律速のデコードフェーズは、SambaNovaのSN50 RDUで実行される。
このアプローチは、最新のAIワークロードでは時代遅れと見なされる可能性のあるGPUフリートの実用的な寿命を延ばす。H200を完全に交換する代わりに、データセンター事業者はSambaNovaラックをデコードアクセラレータとして追加し、会話型AIやエージェント型アプリケーションで通常ボトルネックとなるステップを処理できる。
SambaNovaは、高スループットで高いトークンレートを維持するために、128基、最終的には256基のアクセラレータを備えたより大規模な構成を計画している。
市場の背景
プリフィルとデコードの分離は、AIインフラにおける主要なトレンドとなっている。NvidiaはNVL72ラックで同様のアプローチを実証し、AMD、AWS、Cerebrasも競合プラットフォームを発表している。SambaNovaの差別化要因は空冷設計であり、SN50ラックは、Nvidiaの次期Rubin GPUに必要な液体冷却インフラなしで既存のデータセンターに展開できる。
このアプローチは、エージェント型AIワークロード、長時間稼働するコードアシスタント、自律型リサーチツール、マルチステップ推論チェーンに特に適しており、デコードレイテンシがユーザーエクスペリエンスを支配する。
資金調達と評価額
SambaNovaは、General Atlanticが主導する10億ドルのシリーズFラウンドのファーストクローズを完了し、同社の評価額は110億ドルとなった。Intelは戦略的支援者である。同社は第5世代SN50 RDUの生産を拡大している。
最初に発表された大規模顧客はTogether AIであり、展開パートナーはVector Core Computeである。
雅子 訳
Sources: The Register (July 8)