Un nouveau moteur d’inférence open-source appelé Colibrì a démontré sa capacité à exécuter GLM-5.2, un modèle d’IA frontal de 744 milliards de paramètres développé par Zhipu AI (Chine), sur un PC grand public avec seulement 25 Go de RAM, sans nécessiter de GPU.
Le projet, publié sur GitHub le 10 juillet par le développeur vforno (JustVugg), y parvient en exploitant l’architecture Mixture-of-Experts (MoE) de GLM-5.2. Au lieu de charger les 744 milliards de paramètres en mémoire, ce qui nécessiterait normalement plusieurs GPU Nvidia H200, Colibrì divise le modèle en deux niveaux et diffuse la majeure partie de ses poids depuis un SSD NVMe à la demande.
Environ 17 milliards de paramètres, les couches denses, le mécanisme d’attention et les embeddings partagés, sont quantifiés en précision 4 bits et stockés en permanence dans la RAM, occupant environ 9,9 Go. Les 21 504 modules experts routés restants, totalisant environ 370 Go sur disque, ne sont lus depuis le stockage que lorsque le routeur du modèle les sélectionne pour un jeton donné. Les experts non sélectionnés ne sont jamais chargés.
Un cache LRU conserve les experts récemment utilisés dans la RAM, et un cache d’apprentissage enregistre les experts les plus fréquemment sollicités lors des interactions d’un utilisateur, les épinglant automatiquement au démarrage. Cela signifie que Colibrì devient plus rapide à mesure qu’il est utilisé.
La performance est le compromis
Exécuter un modèle frontal sur du matériel grand public entraîne de sévères limitations de vitesse. Sur la machine de test du développeur, un CPU 12 cœurs avec 25 Go de RAM via WSL2, l’inférence à froid atteint environ 0,05 à 0,1 jeton par seconde, soit environ un mot toutes les 10 à 20 secondes. Un ordinateur portable Apple M5 Max atteint environ 1,06 jeton par seconde, et un Ryzen 9 9950X avec NVMe PCIe 5.0 atteint environ 0,28 jeton par seconde.
La prédiction multi-jetons (MTP) ajoute 2,2 à 2,8 jetons par passage avant une fois le cache réchauffé. Le développeur est transparent quant au compromis de vitesse : l’objectif n’est pas l’interaction en temps réel mais la possibilité d’exécuter des modèles de classe frontale sur du matériel coûtant moins qu’un seul module de ventilateur GPU H100.
Le moteur lui-même est écrit dans environ 1 300 lignes de C pur sans aucune dépendance externe, ni Python, ni PyTorch, ni CUDA. Il nécessite Linux ou WSL2, un compilateur GCC compatible OpenMP, un CPU compatible AVX2, au moins 16 Go de RAM et un SSD NVMe capable de stocker le modèle d’environ 370 Go. Un serveur API compatible OpenAI est intégré, permettant aux applications locales de se connecter au modèle comme elles le feraient avec n’importe quel fournisseur cloud.
GLM-5.2 est remarquable non seulement par sa taille mais aussi par sa licence : publié sous licence MIT, il est librement téléchargeable et a démontré des performances supérieures à celles d’Anthropic Claude Opus 4.7 et rivalise avec Fable 5 sur plusieurs benchmarks. La combinaison d’un modèle frontal à poids ouverts et des exigences matérielles minimales de Colibrì a attiré l’attention des défenseurs de la vie privée et des chercheurs préoccupés par la dépendance aux fournisseurs d’IA basés sur le cloud.
Traduit par Lydie