Colibrìという新しいオープンソース推論エンジンが、中国のZhipu AIが開発した7440億パラメータのフロンティアAIモデルGLM-5.2を、GPU不要でわずか25GBのRAMしか搭載していないコンシューマPC上で実行できることを実証した。
このプロジェクトは、7月10日に開発者のvforno（JustVugg）によってGitHubで公開され、GLM-5.2のMixture-of-Experts（MoE）アーキテクチャを活用することでこれを実現している。通常であれば複数のNvidia H200 GPUが必要となる7440億のパラメータすべてをメモリにロードする代わりに、Colibrìはモデルを2つの階層に分割し、ウェイトの大部分をNVMe SSDからオンデマンドでストリーミングする。
約170億のパラメータ（高密度層、アテンション機構、共有埋め込み）は4ビット精度に量子化され、RAMに永続的に保存され、約9.9GBを占有する。残りの21,504のルーティングされたエキスパートモジュール（ディスク上で合計約370GB）は、モデルのルーターが特定のトークンに対して選択した場合にのみストレージから読み取られる。選択されなかったエキスパートは決してロードされない。
LRUキャッシュは最近使用されたエキスパートをRAMに保持し、学習キャッシュはユーザーのインタラクション中に最も頻繁に呼び出されるエキスパートを記録し、起動時に自動的に固定する。つまり、Colibrìは使用されるほど実際に高速になる。
パフォーマンスはトレードオフ
コンシューマハードウェアでフロンティアモデルを実行するには、深刻な速度制約が伴う。開発者のテストマシン（WSL2経由で25GB RAMを搭載した12コアCPU）では、コールドスタート推論は約0.05〜0.1トークン/秒、つまり約10〜20秒に1ワードの速度である。Apple M5 Max搭載ノートパソコンでは約1.06トークン/秒、Ryzen 9 9950XとPCIe 5.0 NVMeの組み合わせでは約0.28トークン/秒を達成する。
マルチトークン予測（MTP）投機により、キャッシュがウォームアップされると、フォワードパスあたり2.2〜2.8トークンが追加される。開発者は速度のトレードオフについて透明性を示している：目標はリアルタイムのインタラクションではなく、H100 GPUファンモジュール1つよりも安いハードウェアでフロンティアクラスのモデルを実行できるようにすることである。
エンジン自体は、外部依存関係ゼロの純粋なC言語で約1,300行で記述されており、PythonもPyTorchもCUDAも必要としない。LinuxまたはWSL2、OpenMP互換のGCCコンパイラ、AVX2対応CPU、少なくとも16GBのRAM、および約370GBのモデルを保存できるNVMe SSDが必要である。OpenAI互換のAPIサーバーが組み込まれており、ローカルアプリケーションがクラウドプロバイダに接続するのと同じようにモデルに接続できる。
GLM-5.2はそのサイズだけでなくライセンスでも注目に値する：MITライセンスの下で公開され、自由にダウンロード可能であり、複数のベンチマークでAnthropicのClaude Opus 4.7を上回り、Fable 5と競合することが示されている。オープンウェイトのフロンティアモデルとColibrìの最小限のハードウェア要件の組み合わせは、クラウドベースのAIプロバイダへの依存を懸念するプライバシー擁護者や研究者の注目を集めている。
雅子 訳