La technologie d’IA « basée sur un oscillateur » d’une start-up pourrait être 1 000 fois plus économe en énergie que l’informatique conventionnelle

Des chercheurs ont dévoilé un nouveau système « super-efficace » intelligence artificielle (IA) capable de générer des images en utilisant un réseau d’oscillateurs physiques plutôt qu’une infrastructure informatique traditionnelle basée sur le calcul.

Le nouveau modèle, connu sous le nom de « Un-0 », a été créé par Unconventional AI, une société technologique récemment lancée et fondée par un groupe d’éminents chercheurs en IA.

Ceux-ci incluent Michel Carbinprofesseur agrégé qui dirige le groupe des systèmes de programmation au MIT ; Sara Achourprofesseur adjoint d’informatique et de génie électrique à l’Université de Stanford ; MeeLan Leeun ancien ingénieur de Google ; et Naveen Raoancien responsable de l’IA pour la société d’analyse Databricks. Les scientifiques ont présenté les détails de ce nouveau modèle dans un article de blog technique publié le 25 juin sur le site de l’entreprise. site web. Le modèle est également accessible au public via GitHub.

Un-0 représente la première preuve de concept de la technologie sous-jacente de l’entreprise, qui combine le travail d’Achour dans substrats physiques non linéaires – un matériau physique ou un dispositif matériel qui effectue des calculs mathématiques en laissant s’exécuter ses propres lois physiques naturelles et continues – avec les recherches de Carbin sur l’apprentissage automatique et la dynamique physique. Le modèle lui-même est un « système physique dynamique » qui utilise le mouvement physique au fil du temps pour effectuer des calculs.

Calcul d’IA basé sur un oscillateur

Les ordinateurs conventionnels fonctionnent en utilisant un système de transistors – de minuscules interrupteurs électriques qui peuvent être activés pour laisser passer le courant à travers eux ou désactivés pour le bloquer. Ces signaux peuvent être lus par une puce informatique comme un « 1 » ou un « 0 » – et en superposant des millions, voire des milliardsde ces transistors ensemble leur permet d’effectuer des équations mathématiques complexes.

Les réseaux de neurones, comme ceux qui alimentent les outils de génération d’images d’IA à « diffusion stable » tels que Midjourney ou Dall-E, fonctionnent en superposant des millions de ces calculs les uns sur les autres. Essentiellement, le système commence avec une image constituée de pure statique. Le réseau examine ensuite la statique et tente de prédire mathématiquement quelles informations visuelles (ou bruit) il doit soustraire de l’image pour se rapprocher de l’image cible. Ce processus est répété entre 20 et 50 fois (ou parfois jusqu’à 100, bien que les retours au-delà de 50 soient marginaux), chaque passage se rapprochant d’une image reconnaissable.

Mais alors que ces systèmes utilisent des mathématiques brutes pour piloter les processus informatiques, le concept de l’IA non conventionnelle est basé sur la physique et le mouvement physique. Au cœur de la théorie se trouvent les oscillateurs, des dispositifs physiques qui produisent une forme d’onde continue, comme un métronome.

Selon les principes scientifiques en vigueur, deux oscillateurs partageant une connexion physique – même s’ils se déplacent à des rythmes complètement différents – finiront par s’installer au même rythme en s’influençant mutuellement leurs mouvements. En appliquant ce principe à des milliers d’oscillateurs physiquement liés, connu sous le nom de « Modèle Kuramoto » — la startup AI a postulé que le concept pourrait être utilisé pour effectuer des tâches informatiques telles que la génération d’images.

En pratique, différents modèles d’angles d’oscillateur, ou « phases », sont utilisés pour représenter différentes classes d’images, telles que des chaussures ou des trains. Le modèle prend une large collection d’oscillateurs, réglés à des angles aléatoires, puis introduit un sous-groupe plus petit d’oscillateurs déjà réglés sur la configuration spécifique des angles. Ce sous-groupe plus petit agit comme une invite pour la catégorie d’image souhaitée.

Ces oscillateurs sont ensuite physiquement connectés au groupe plus large, en utilisant une configuration prédéfinie de différentes forces de connexion. Lorsque les oscillateurs sont mis en mouvement, ce « groupe de contrôle » tire naturellement le reste des oscillateurs vers le modèle souhaité au fil du temps.

Après un certain temps, le système prend un instantané de toutes les phases des oscillateurs, qui devient une grille de nombres. Cette grille est ensuite introduite dans un système de « décodeur », qui traduit les nombres en informations sur les pixels de couleur pour former une image.

Remettre en question la consommation énergétique de l’IA

L’une des affirmations les plus accrocheuses de Unconventional AI est son objectif déclaré de faire en sorte que son modèle utilise 1 000 fois moins d’énergie que les systèmes actuels. Dans les modèles traditionnels de génération d’images d’IA, les calculs nécessaires pour effectuer les opérations impliquent d’activer et de désactiver des milliards de minuscules interrupteurs à transistor des milliards de fois par seconde, pour forcer le courant électrique à se déplacer selon des schémas spécifiques à travers le circuit.

Bien que chaque transistor ne soit pas particulièrement gourmand en énergie, la consommation d’énergie cumulée d’un seul serveur exécutant un outil de génération d’images IA peut être énorme. Par exemple, il aurait fallu 1 287 MWh d’énergie – suffisamment pour alimenter une maison britannique moyenne pendant plus de 475 ans – pour former le modèle GPT-3 d’OpenAI, Alex de Vriesdoctorant à la VU Amsterdam School of Business and Economics, a rapporté dans un article de 2023 publié dans la revue Joule.

Avec le modèle Un-0, cependant, l’idée est qu’au lieu de forcer les transistors à basculer rapidement entre ouvert et fermé, le système consiste en une série de boucles fermées, où le chemin naturel du courant forme les oscillateurs individuels. Parce que le courant peut circuler sans obstruction, ont indiqué les chercheurs dans l’étude, le système est théoriquement beaucoup plus économe en énergie que l’architecture informatique traditionnelle.

Le modèle initial de validation de principe de la société utilise une simulation de ces oscillateurs fonctionnant sur du matériel informatique traditionnel, mais l’objectif des scientifiques est de construire un jour leurs propres puces informatiques basées sur des oscillateurs sur lesquelles exécuter ces calculs.

Tester le modèle

Pour tester les performances du modèle, Unconventional AI l’a soumis à deux tests de génération d’images courants dans l’industrie de l’IA : CIFAR-10un ensemble de données d’images couleur basse résolution réparties en 10 catégories, et ImageNet 64×64une collection beaucoup plus vaste de plus de 1,2 million d’images à une résolution plus élevée.

Ces tests permettent aux chercheurs de mesurer dans quelle mesure les images générées correspondent au matériel de référence. Cette métrique est connue sous le nom de distance de démarrage de Fréchet (FID) du modèle, où un nombre plus petit représente un degré de précision plus élevé. Dans l’étude, les chercheurs ont découvert que l’ajout de davantage d’oscillateurs améliorait considérablement les résultats du modèle.

Dans le test CIFAR-10, les scores allaient d’un FID de 11,01 avec 1 024 oscillateurs à 8,76 avec 4 096 oscillateurs. Dans le test ImageNet 64×64, plus exigeant, un pool de 6 656 oscillateurs a obtenu un score de 8,41 FID, tandis que 16 384 oscillateurs ont obtenu un score de 6,74.

Ces résultats sont comparables à ceux des premiers modèles de génération d’images, notamment le modèle pionnier de Google. GrosGAN et OpenAI iDDPMqui a ouvert la voie à son outil DALL-E plus moderne. Cependant, les auteurs de l’étude ont souligné que les résultats « doivent être interprétés comme des points de référence plutôt que comme des mesures strictement identiques ».

« Nous considérons Un-0 comme une première approche prometteuse dont la qualité chevauche celle de plusieurs familles de génération d’images établies lorsqu’elles ont été présentées pour la première fois à la communauté », ont déclaré les représentants de l’entreprise dans le blog technique. « La qualité d’Un-0 correspond à celle où les principales méthodes génératives d’aujourd’hui ont commencé. Les générateurs conventionnels sont encore plus performants en termes de qualité absolue et d’efficacité des paramètres – combler cet écart avec de nouveaux algorithmes et architectures de modèles est le travail à accomplir. »

Les scientifiques ont publié les poids du modèle – les paramètres mathématiques internes que le modèle modifie au fur et à mesure de son apprentissage – ainsi que les scripts de formation et d’ablation – des fichiers de code spécialisés utilisés pour construire et tester le système – permettant à d’autres chercheurs de tester les modèles et d’exécuter leurs propres simulations. Ils espèrent combler l’écart grâce à de nouveaux algorithmes et modèles.

« Dans l’ensemble, le système d’oscillateurs Kuramoto couplés de Un-0 offre la promesse d’un apprentissage avec la dynamique physique à une échelle qui va au-delà de ce qui a été fait auparavant », ont-ils déclaré dans le blog technique. « Un-0 pointe vers l’opportunité d’un nouvel ordinateur qui exploite la physique pour atteindre notre objectif principal d’efficacité énergétique. »