Des ingénieurs chinois ont construit une nouvelle architecture informatique qui, selon eux, pourrait un jour générer jusqu’à un million de dollars intelligence artificielle Les puces (IA) fonctionnent comme une seule. A titre de comparaison, Celui d’Elon Musk Société d’IA, SpaceXAI (bientôt SpaceXSI), décrit son cluster Colossus comme le système de formation en IA le plus puissant au monde, comprenant 200 000 puces interconnectées.
Traditionnellement, les puces d’IA utilisées pour entraîner les modèles de base sont hébergées sur des serveurs séparés et communiquent sur un réseau pour partager des données et diviser les charges de travail. Mais la nouvelle architecture, Peerium, utilise un système d’interconnexion à haut débit conçu pour maintenir une communication efficace entre les puces réparties sur plusieurs racks, même lorsque le nombre de puces atteint des centaines de milliers.
Huawei a dévoilé la nouvelle architecture le 17 septembre lors de la conférence annuelle CONNECT de l’entreprise.
Des représentants de Huawei ont déclaré dans un communiqué déclaration que les ordinateurs alimentés par Peerium pourraient entraîner des modèles comportant jusqu’à 40 000 milliards de paramètres. A titre de comparaison, du matériel concurrent, comme le GB200 NVL72 de Nvidia et CS-3 de Cérébrauxont signalé une formation à l’échelle de plusieurs milliards de paramètres, plutôt que de dizaines de milliards.
« Au cours des deux prochaines années, il y aura environ 6 ou 7 laboratoires d’IA de pointe en Chine, et tous viseront à former des modèles de langage de base d’une taille allant de 10 à 40 000 milliards de paramètres », Liao Hengscientifique en chef de la branche de conception de puces de Huawei, HiSilicon, a déclaré au Presse associée. « Vous avez donc besoin d’une telle infrastructure pour former ces modèles. »
La technologie qui alimente Peerium
Les performances de Peerium reposent sur trois éléments : le parallélisme imbriqué, l’adressage de mémoire unifié et les interconnexions peer-to-peer, ont déclaré les représentants de Huawei dans le communiqué.
Le parallélisme imbriqué permet de diviser les charges de travail en tâches plus petites et de les organiser en groupes hiérarchiques de puces fonctionnant en parallèle. Cela ressemble à la façon dont une entreprise divise son travail en départements, puis en équipes plus petites, qui coordonnent toutes leurs efforts vers un objectif commun. L’adressage mémoire unifié permet aux processeurs d’accéder à la mémoire sur d’autres serveurs, et non uniquement à celle connectée au propre serveur du processeur. Les interconnexions peer-to-peer permettent aux composants de communiquer plus directement entre eux, plutôt que de dépendre d’un intermédiaire.
Les trois principes sont conçus pour utiliser plus efficacement les ressources informatiques afin qu’un seul système puisse coordonner un plus grand nombre de puces pour gérer des charges de travail d’IA exigeantes.
Selon Huawei, les technologies d’interconnexion existantes – qui relient les processeurs et les serveurs pour leur permettre de communiquer – ne peuvent pas prendre en charge l’architecture Peerium à l’échelle envisagée. Par exemple, NVIDIA utilise NVLink pour la communication au sein des racks et InfiniBand pour la communication entre racks. La bande passante de communication inter-rack dans cette configuration est de 200 Go par seconde, Eric Xuprésident tournant de Huawei, a déclaré à l’AP.
« Avec une bande passante de communication inter-rack aussi faible, il est impossible de faire fonctionner un million de processeurs comme un seul ordinateur », a-t-il déclaré.
Huawei a plutôt développé sa propre technologie d’interconnexion, UnifiedBus, qui, selon la société, fournit une bande passante de communication inter-rack allant jusqu’à 800 Go par seconde.
« Quand un million de processeurs fonctionnent comme un seul ordinateur, cela pose les bases d’une formation et d’une inférence en IA meilleures et plus efficaces », a ajouté Xu. « Par conséquent, je considère UnifiedBus comme la voie à suivre pour la future ère de l’IA. Je pense que dans les années à venir, d’autres acteurs suivront certainement. »
Assembler un réseau informatique
Aux côtés de Peerium, Huawei a également annoncé l’Atlas 950 SuperPoD, un système informatique construit sur Peerium et alimenté par plus de 8 000 Huawei Ascend 950DT Puces accélératrices d’IA.
- Les scientifiques construisent un « processeur AGI » spécialisé qui, selon eux, alimentera la prochaine vague d’agents IA
- Les scientifiques affirment avoir éliminé un goulot d’étranglement majeur de l’IA : ils peuvent désormais traiter les calculs « à la vitesse de la lumière ».
- « Au-delà de l’intuition humaine » : l’IA conçoit des composants de puces 500 fois plus petits que ce que les ingénieurs pourraient imaginer
Xu a déclaré que des tests de formation à l’IA sont en cours sur ces SuperPoD et que les résultats montrent qu’ils utilisent leur puissance de calcul disponible pour la formation à l’IA plus efficacement que les clusters informatiques d’IA qui ne sont pas basés sur Peerium et UnifiedBus.
Huawei prévoit de commencer à fournir les SuperPoD au plus tard au début de l’année prochaine, avant que ses SuperClusters, qui relient plusieurs SuperPoD pour former un système informatique d’IA plus vaste, basé sur Peerium, ne soient finalement mis en ligne. Les représentants ont déclaré qu’un SuperCluster doté de 256 000 cartes informatiques (des modules matériels qui ajoutent de la capacité de traitement) est actuellement en cours de déploiement et de test.
Les modèles comportant un grand nombre de paramètres nécessitent des ressources et une infrastructure informatiques plus importantes, ce qui n’est pas toujours souhaitable car cela augmente les coûts. Cet été, les chercheurs ont utilisé un ordinateur quantique IBM pour réduire la perplexité du modèle de langage Llama 3.1 8B de Meta – une mesure de la façon dont il prédit le prochain mot ou jeton – tout en gardant le nombre de paramètres presque inchangé.
