0
Suivez-nous
Une startup américaine a développé ce qu’elle prétend être le plus petit au monde intelligence artificielle (IA) supercalculateur. Doté d’un matériel hautes performances et d’une grande quantité de RAM, les représentants de l’entreprise affirment qu’il peut exécuter des modèles d’IA « Ph.D. Intelligence », bien qu’il soit suffisamment compact pour tenir dans votre poche. Cela signifie qu’ils sont capables de résoudre des problèmes de manière autonome, de raisonner de manière abstraite et de planifier stratégiquement.
Le « AI Pocket Lab », comme ses créateurs chez Tiiny AI ont baptisé l’appareil, est capable d’exécuter localement un modèle de langage complexe (LLM) complexe de 120 milliards de paramètres, sans aucune dépendance à la connectivité Internet. Vous auriez normalement besoin d’une infrastructure de type centre de données pour exécuter ces systèmes, ce qui ouvre la possibilité de capacités de codage de niveau expert local, d’évaluation et d’affinement de documents ou de raisonnement en plusieurs étapes.
Il est construit autour d’un processeur ARM à 12 cœurs, du type de celui que l’on trouve couramment dans les smartphones, les ordinateurs portables et les tablettes. Malgré son petit cadre – l’appareil ne mesure que 5,59 × 3,15 × 1,00 pouces (14,2 × 8 × 2,53 cm) – il contient 80 Go de RAM LPDDR5X. La plupart des ordinateurs portables actuels sont livrés avec entre 8 Go et 32 Go de RAM, à titre de comparaison.
Le Pocket Lab est considéré comme un superordinateur (plutôt qu’un mini-PC ou une station de travail standard) en raison de sa puissance de calcul, capable d’exécuter des charges de travail – en particulier une inférence locale sur plus de 100 milliards de modèles de langage de paramètres – qui nécessitent normalement des systèmes multi-GPU de classe centre de données. Les modèles actuels que l’appareil peut exécuter incluent le GPT-OSS 120B, les grands modèles Phi et les modèles de la famille Llama à paramètres élevés.
Cela fait partie d’une récente poussée vers l’informatique de pointe pour l’IA, dans le but de réduire certaines contraintes énergétiques et l’impact environnemental du traitement distribué de l’IA.
Puissance de poche
Bien qu’il soit loin de rivaliser avec celui du monde supercalculateurs les plus puissantsl’AI Pocket Lab est capable de fournir 190 TOPS de puissance de calcul entre son NPU et son CPU. Il représente une nouvelle étape vers la miniaturisation dans le sillage de l’annonce récente de Nvidia. Projet Digits mini PC. Bien qu’il n’ait pas la même puissance que le projet Nvidia, il ne représente qu’une fraction de sa taille.
Pour intégrer autant de puissance dans un châssis aussi modeste, l’équipe Tiiny AI s’est appuyée sur un certain nombre de technologies et d’optimisations. Le principal d’entre eux était quelque chose que la société appelle TurboSparse – une innovation qui permet aux LLM massifs de s’exécuter plus rapidement sur un matériel plus limité en garantissant qu’un système ne fait appel qu’aux parties d’un modèle dont il a besoin à un moment donné. Alors que les modèles traditionnels utilisent chaque paramètre pour chaque mot de traitement/sortie, un modèle TurboSparse n’utilise que des paramètres spécifiques par étape.
Une autre fonctionnalité importante est PowerInfer, qui permet une planification hétérogène du CPU, du GPU et du NPU de l’appareil. Cela signifie que chaque processeur ne reçoit que la charge de travail qu’il est le plus capable de gérer, ce qui rend l’ensemble du système plus efficace et réduit la consommation d’énergie. PowerInfer inclut également une gestion intelligente de l’énergie, qui décide quand la pleine puissance est nécessaire et quand il est possible d’en utiliser moins, en partie en éliminant les calculs inutiles.
Les implications d’un supercalculateur miniature à IA vont au-delà de la réduction de notre dépendance à l’égard de centres de données nocifs pour l’environnement. C’est une aubaine pour la confidentialité, les utilisateurs pouvant déployer la puissance d’un LLM sophistiqué sans être connectés à Internet et sans que leurs données soient traitées dans le cloud par des tiers, tout en permettant l’accès à l’IA dans des situations de travail sur le terrain telles que des stations de recherche distantes ou sur des navires ou des avions hors de portée de connectivité.
