Un nuevo motor de inferencia de código abierto llamado Colibrì ha demostrado la capacidad de ejecutar GLM-5.2, un modelo de IA fronterizo de 744 mil millones de parámetros desarrollado por Zhipu AI de China, en una PC de consumo con solo 25 GB de RAM, sin necesidad de GPU.
El proyecto, publicado en GitHub el 10 de julio por el desarrollador vforno (JustVugg), lo logra aprovechando la arquitectura Mixture-of-Experts (MoE) de GLM-5.2. En lugar de cargar los 744 mil millones de parámetros en la memoria, lo que normalmente requeriría múltiples GPU Nvidia H200, Colibrì divide el modelo en dos niveles y transmite la mayor parte de sus pesos desde un SSD NVMe bajo demanda.
Alrededor de 17 mil millones de parámetros, las capas densas, el mecanismo de atención y las incrustaciones compartidas, se cuantifican a precisión de 4 bits y se almacenan permanentemente en la RAM, ocupando aproximadamente 9.9 GB. Los 21,504 módulos expertos enrutados restantes, que suman aproximadamente 370 GB en disco, se leen del almacenamiento solo cuando el enrutador del modelo los selecciona para un token determinado. Los expertos no seleccionados nunca se cargan.
Un caché LRU mantiene los expertos utilizados recientemente en la RAM, y un caché de aprendizaje registra qué expertos se llaman con más frecuencia durante las interacciones de un usuario, fijándolos automáticamente al inicio. Esto significa que Colibrì se vuelve más rápido cuanto más se usa.
El rendimiento es la compensación
Ejecutar un modelo fronterizo en hardware de consumo conlleva severas limitaciones de velocidad. En la máquina de prueba del desarrollador, una CPU de 12 núcleos con 25 GB de RAM a través de WSL2, la inferencia en frío logra aproximadamente de 0.05 a 0.1 tokens por segundo, o aproximadamente una palabra cada 10 a 20 segundos. Una laptop Apple M5 Max alcanza alrededor de 1.06 tokens por segundo, y un Ryzen 9 9950X con NVMe PCIe 5.0 maneja alrededor de 0.28 tokens por segundo.
La predicción de tokens múltiples (MTP) agrega de 2.2 a 2.8 tokens por pase directo una vez que el caché se calienta. El desarrollador es transparente sobre la compensación de velocidad: el objetivo no es la interacción en tiempo real sino la capacidad de ejecutar modelos de clase fronteriza en hardware que cuesta menos que un solo módulo de ventilador de GPU H100.
El motor en sí está escrito en aproximadamente 1,300 líneas de C puro sin dependencias externas, ni Python, ni PyTorch, ni CUDA. Requiere Linux o WSL2, un compilador GCC compatible con OpenMP, una CPU compatible con AVX2, al menos 16 GB de RAM y un SSD NVMe capaz de almacenar el modelo de ~370 GB. Un servidor API compatible con OpenAI está integrado, lo que permite que las aplicaciones locales se conecten al modelo como lo harían con cualquier proveedor de la nube.
GLM-5.2 es notable no solo por su tamaño sino también por su licencia: publicado bajo la licencia MIT, se puede descargar abiertamente y ha demostrado superar a Anthropic Claude Opus 4.7 y competir con Fable 5 en varios puntos de referencia. La combinación de un modelo fronterizo de pesos abiertos y los requisitos mínimos de hardware de Colibrì ha llamado la atención de defensores de la privacidad e investigadores preocupados por la dependencia de los proveedores de IA basados en la nube.
Traducido por Alessandra