La plupart des systèmes d’IA actuels fonctionnent en activant et désactivant des transistors, des milliards de fois par seconde, consommant d’énormes quantités d’énergie. Une startup fondée par d’éminents chercheurs en IA propose une approche fondamentalement différente : une puce qui ne commute pas du tout, mais laisse plutôt les oscillateurs physiques s’installer dans des motifs synchronisés, et appelle le résultat une image.
Unconventional AI, fondée par Naveen Rao (anciennement chez Databricks, Nervana Systems et Intel), Michael Carbin (MIT), Sara Achour (Stanford) et MeeLan Lee (ancienne ingénieure Google), a publié son premier modèle en juin. Appelé Un-0, il s’agit d’un générateur d’images construit sur un réseau d’oscillateurs couplés simulés plutôt que sur une logique à transistors conventionnelle. L’entreprise affirme que l’architecture pourrait être 1 000 fois plus économe en énergie que le matériel d’IA conventionnel.
L’affirmation est extraordinaire. Mais la physique qui la sous-tend ne l’est pas.
La synchronisation comme calcul
Le principe est issu du modèle de Kuramoto, une description mathématique du comportement des oscillateurs couplés. Deux métronomes sur une surface commune, battant à des rythmes légèrement différents, se synchronisent progressivement, finissant par adopter le même rythme. Le même phénomène apparaît chez les lucioles qui clignotent à l’unisson, les cellules pacemaker du cœur et les neurones du cerveau.
Dans l’architecture d’Un-0, des milliers d’oscillateurs virtuels sont physiquement liés. Chaque oscillateur possède une phase, un angle décrivant sa position dans son cycle. Différents motifs d’angles de phase à travers le réseau d’oscillateurs encodent différentes images. Une « chaussure » est représentée par une configuration de phase, un « train » par une autre.
Pour générer une image, un petit sous-groupe d’oscillateurs est préconfiguré au motif de phase cible, c’est le « prompt ». Lorsqu’il est connecté à un groupe plus large d’oscillateurs à phase aléatoire, le groupe de contrôle entraîne l’ensemble du système vers la synchronisation avec le motif cible. Après convergence, la grille résultante de valeurs de phase est transmise à un décodeur qui traduit les nombres en couleurs de pixels.
D’où vient l’efficacité
Dans une puce d’IA conventionnelle, chaque opération nécessite que les transistors basculent entre les états allumé et éteint, consommant de l’énergie à chaque fois. Une seule inférence d’un grand modèle peut impliquer des billions de ces commutations.
L’approche basée sur les oscillateurs remplace la commutation discrète par une dynamique physique continue. Le courant circule à travers des boucles fermées qui oscillent naturellement. Il n’y a pas de commutation forcée, pas d’énergie gaspillée à maintenir les transistors en position. Le système atteint sa réponse par la physique de la synchronisation plutôt que par un calcul logique pas à pas.
« Le système d’oscillateurs de Kuramoto couplés offre la promesse d’un apprentissage avec une dynamique physique à une échelle qui dépasse ce qui a été fait auparavant », a écrit l’entreprise dans un article de blog annonçant Un-0.
Ce que montrent les benchmarks
La version actuelle d’Un-0 fonctionne sur une simulation logicielle d’oscillateurs, pas sur du matériel physique. L’objectif déclaré de l’entreprise est de construire des puces personnalisées basées sur des oscillateurs.
Sur des benchmarks standards de génération d’images, Un-0 a produit des scores de distance de Fréchet (FID) comparables aux premiers modèles de génération d’images comme BigGAN de Google et iDDPM d’OpenAI. Avec 16 384 oscillateurs, il a atteint un FID de 6,74 sur ImageNet 64×64, une métrique qui mesure à quel point les images générées correspondent aux images de référence, où un score plus bas est meilleur.
Ces résultats n’atteignent pas l’état de l’art actuel. « Les générateurs conventionnels restent plus performants en termes de qualité absolue et d’efficacité des paramètres, combler cet écart avec de nouveaux algorithmes et architectures de modèles est le travail à venir », a reconnu l’entreprise.
La route à parcourir
Un-0 est une preuve de concept, pas un produit commercial. Le chemin d’une simulation logicielle d’oscillateurs à une puce physique qui réalise le gain d’efficacité de 1 000x est long et incertain. L’entreprise a levé 475 millions de dollars en financement de démarrage pour une valorisation de 4,5 milliards de dollars, soutenue par Lightspeed, Andreessen Horowitz, Sequoia et Jeff Bezos, suggérant que les investisseurs sont prêts à attendre.
La signification profonde de ce travail pourrait être plus architecturale que commerciale. L’hypothèse standard dans le matériel d’IA est que de meilleures puces signifient des transistors plus rapides. Un-0 remet en question cette hypothèse en demandant si le calcul pourrait ressembler moins à de la logique et plus à de la physique, un réseau d’éléments couplés s’installant dans un état synchronisé qui encode la réponse.
Traduit par Lydie