一款名为Colibrì的新型开源推理引擎已证明其能够在中国智谱AI开发的7440亿参数前沿AI模型GLM-5.2上运行，仅需25GB RAM的消费级PC即可，无需GPU。
该项目由开发者vforno（JustVugg）于7月10日在GitHub上发布，通过利用GLM-5.2的混合专家（MoE）架构实现了这一目标。Colibrì并非将全部7440亿参数加载到内存中，这通常需要多个Nvidia H200 GPU，而是将模型分为两个层级，并按需从NVMe SSD流式传输大部分权重。
约170亿参数（密集层、注意力机制和共享嵌入）被量化为4位精度并永久存储在RAM中，占用约9.9GB。其余21,504个路由专家模块（磁盘上总计约370GB）仅在模型的路由器为特定令牌选择它们时才从存储中读取。未选中的专家永远不会被加载。
LRU缓存将最近使用的专家保留在RAM中，而学习缓存记录用户交互期间最频繁调用的专家，在启动时自动固定它们。这意味着Colibrì使用得越多，速度越快。
性能是权衡
在消费级硬件上运行前沿模型会带来严重的速度限制。在开发者的测试机器（通过WSL2配备25GB RAM的12核CPU）上，冷启动推理速度约为每秒0.05至0.1个令牌，大约每10至20秒一个单词。Apple M5 Max笔记本电脑达到约每秒1.06个令牌，而配备PCIe 5.0 NVMe的Ryzen 9 9950X达到约每秒0.28个令牌。
多令牌预测（MTP）推测在缓存预热后，每次前向传递增加2.2至2.8个令牌。开发者对速度权衡持透明态度：目标不是实时交互，而是能够在成本低于单个H100 GPU风扇模块的硬件上运行前沿级模型。
该引擎本身由约1,300行纯C语言编写，零外部依赖，无需Python、PyTorch或CUDA。它需要Linux或WSL2、兼容OpenMP的GCC编译器、支持AVX2的CPU、至少16GB的RAM，以及能够存储约370GB模型的NVMe SSD。内置OpenAI兼容的API服务器，允许本地应用程序像连接到任何云提供商一样连接到模型。
GLM-5.2不仅因其规模而引人注目，其许可方式也同样值得关注：采用MIT许可证发布，可自由下载，并已被证明在多个基准测试中优于Anthropic的Claude Opus 4.7，并与Fable 5竞争。开放式权重前沿模型与Colibrì的极低硬件要求相结合，引起了关注云AI提供商依赖性的隐私倡导者和研究人员的注意。
婷 翻译