Un nouveau type d’IA utilise une nouvelle approche du raisonnement : les chercheurs affirment que son exécution coûte jusqu’à 11 fois moins cher qu’un modèle OpenAI de pointe.

Un nouveau intelligence artificielle (IA) a utilisé une nouvelle approche de la cognition de l’IA pour réduire considérablement le coût des requêtes, ce qui suggère que le raisonnement non verbal pourrait être la prochaine étape vers le développement par les machines d’une intelligence semblable à celle de l’humain.

Dans un nouveau document de recherche publié le 10 août sur le serveur de préimpression arXivles scientifiques de la société d’IA Pathway ont détaillé les fondements techniques de son nouveau modèle BDH-CQ. Cela fait suite à un modèle précurseur connu sous le nom de « Dragon Hatchling » que les scientifiques ont créé en 2025, conçu pour simuler avec précision la façon dont les neurones du cerveau se connectent et se renforcent au cours de l’expérience d’apprentissage.

Dans la nouvelle étude, les scientifiques ont décrit comment ils ont évalué les performances du BDH-CQ par rapport à un point de référence fondamental de 2019 qui a contribué à établir la norme actuelle pour mesurer les progrès vers intelligence artificielle générale (AGI) – le point auquel l’IA a égalé ou dépassé les capacités humaines dans tous les domaines.

Le benchmark 2019, connu sous le nom de ARC-AGI, utilise des énigmes de raisonnement non verbal – comme la rotation d’une série de formes pour compléter une séquence – pour mesurer la capacité cognitive des systèmes d’IA. Alors que les humains sont hautement qualifiés pour déduire les règles de ce type d’énigmes par essais et erreurs, les premiers systèmes d’IA étaient historiquement beaucoup moins compétents.

BDH-CQ a obtenu un score de près de 30 % au test de référence ARC-AGI-1, résolvant avec succès l’équivalent de trois énigmes sur 10 en deux tentatives ou moins. Bien que de nombreux modèles aient obtenu des scores nettement meilleurs à ce test, l’approche de raisonnement sous-jacente sur laquelle BDH-CQ est basé rend sa taille et ses coûts d’utilisation considérablement inférieurs à ceux des modèles construits sur l’architecture traditionnelle basée sur un transformateur.

Par exemple, alors que le modèle de raisonnement léger d’entrée de gamme d’OpenAI, GPT 5.6 Luna (faible), a obtenu un score légèrement plus élevé, l’étude a déclaré que ce « gain de précision modeste » coûte environ 11 fois plus que BDH-CQ en termes de coûts relatifs des jetons – le système de mesure que les entreprises d’IA utilisent pour mesurer le coût de fonctionnement des systèmes d’IA. Ce type d’architecture de modèle d’IA, s’il est adopté à grande échelle, pourrait avoir un impact considérable sur le coût global et l’ampleur des déploiements d’IA, estiment les scientifiques.

Plus que ce que l’on voit

BDH-CQ a été formé sur seulement 150 millions de paramètres, tandis que les paramètres des modèles d’IA « frontières » les plus avancés, tels que le Llama 3 70B open source de Meta ou le Llama 3.1 405B, se chiffrent généralement en dizaines de milliards, voire en centaines de milliards. Dans le monde du développement de l’IA, moins de paramètres signifient que les modèles sont plus rapides à former et moins chers à exécuter.

Les chercheurs ont cependant déclaré que ces résultats impliquent également que les capacités cognitives du modèle pourraient évoluer de manière significative lorsqu’elles seraient étendues à des paramètres de plus grande taille.

La raison de cette amélioration des performances est que le modèle de Pathway utilise ce que les scientifiques de l’entreprise décrivent comme une architecture « post-transformateur ».

La plupart des modèles d’IA courants, tels que ceux qui alimentent Claude et ChatGPTsont basés sur des « modèles de transformateur », ainsi appelés parce qu’ils transforment les entrées de l’utilisateur en points de référence mathématiques interconnectés. Ces systèmes examinent simultanément chaque mot d’une entrée, ce qui leur permet de déduire le contexte à partir de la position, par exemple en décidant, en fonction de mots proches, si le mot « écorce » fait référence à des chiens ou à des arbres.

Un modèle de transformateur forme ses réponses aux requêtes des utilisateurs en examinant simultanément l’invite complète, puis en prédisant quel devrait être le mot suivant dans la séquence de sa réponse. Il le fait mot par mot, en utilisant le langage naturel pour verbaliser efficacement un train de pensées linéaire en arrière-plan. Le raisonnement des transformateurs fonctionne également de manière séquentielle, ce qui signifie qu’ils doivent parcourir chaque étape d’un problème dans un ordre linéaire strict.

Ces modèles présentent des avantages significatifs par rapport aux architectures antérieures, qui oubliaient souvent le début d’une entrée au moment où elles atteignaient la fin. Cependant, les architectures de transformateur peuvent avoir des difficultés avec des invites plus longues ou plus complexes, car la complexité informatique de l’évaluation de l’invite augmente de façon quadratique, ce qui signifie que doubler la longueur d’une entrée utilise quatre fois plus de puissance de traitement.

L’utilisation du modèle d’IA est mesurée jeton par jeton, un jeton représentant tout fragment de données (équivalent à environ quatre caractères de texte) que l’IA doit ingérer ou générer. Étant donné que les invites plus complexes nécessitent des réflexions plus longues comportant plusieurs étapes, le traitement et la réponse à ces requêtes peuvent consommer des quantités importantes de jetons.

La prochaine génération de l’IA ?

La génération conventionnelle de jetons basée sur un transformateur est susceptible de provoquer des goulots d’étranglement de mémoire, car l’IA relit chaque mot précédent de la conversation avec chaque nouveau mot généré. À terme, cela obstruera la mémoire des unités de traitement graphique (GPU) utilisées pour les opérations d’IA.

Pour cette raison, la mise à l’échelle du raisonnement de l’IA est devenue un défi informatique coûteux. L’approche post-transformateur de Pathway modifie la façon dont les souvenirs d’une conversation de l’IA et la relation entre les éléments d’information sont stockés et traités. Il remplace les journaux texte par de nouveaux outils, notamment une mémoire à court terme améliorée et un mécanisme qui lui permet de résoudre les problèmes sans consommer de jetons.

Les modèles basés sur des transformateurs conservent les invites et les historiques d’interaction sous la forme d’une longue chaîne de valeurs numériques représentant le texte des requêtes. Cette chaîne se développe ensuite à mesure que de nouveaux jetons sont ajoutés lors du traitement de la demande. BDH-CQ utilise des tableaux numériques pour représenter les règles sous-jacentes et les modèles contextuels d’une tâche, en utilisant des nombres pour suivre les relations entre des morceaux d’informations plutôt que de les définir dans du texte.

Ces tableaux représentent des vecteurs – des informations directionnelles qui pointent vers un autre point sur une carte théorique stockée dans la mémoire du GPU dans le cadre des données d’entraînement, implantées lors de la création du modèle. Les scientifiques ont déclaré dans l’étude que cela permet au modèle de traiter un raisonnement abstrait complexe sans augmenter son empreinte mémoire ou son coût de calcul.

Pour exécuter des tâches, BDH-CQ implémente un « moteur de raisonnement latent » comme espace de travail interne. En utilisant des nombres pour représenter les différents éléments d’une invite ou d’un problème, il effectue une série de boucles itératives récurrentes pour déterminer la meilleure réponse à renvoyer en fonction de l’invite. Le modèle prend la sortie de la dernière boucle, évalue comment le résultat pourrait être amélioré en fonction de ses données d’entraînement et renvoie la sortie précédente comme point de départ pour l’itération suivante. Il répète cela pour un nombre prédéfini de boucles, chaque itération étant théoriquement plus proche du résultat souhaité.

Pour résoudre des problèmes plus complexes nécessitant plus de temps de réflexion, BDH-CQ peut exécuter plus de boucles. Cela augmente le temps nécessaire, mais la quantité de mémoire et de puissance de calcul consommée ne s’adapte pas au nombre de tentatives supplémentaires. En théorie, le modèle consommerait une proportion constante de mémoire et de puissance pour exécuter 200 boucles comme il le ferait pour 20 boucles. En revanche, les modèles de transformateurs standard permettent d’obtenir un temps de réflexion supplémentaire en générant de longues chaînes de jetons de texte écrit, ce qui consomme de manière exponentielle la mémoire GPU et la puissance de calcul d’un cluster d’IA.

Les résultats de référence ARC-AGI-1 du modèle ont été vérifiés et reproduits de manière indépendante par d’éminents chercheurs dans le domaine de l’IA, notamment le chercheur de NYU Richard Zhong et Lukasz Kaiserco-auteur de l’article fondateur de 2017 « L’attention est tout ce dont vous avez besoin, » qui a introduit le concept de transformateurs dans les grands modèles de langage.

« J’ai suivi Pathway de près et j’ai moi-même reproduit leurs résultats ARC-AGI-1 », a déclaré Kaiser dans un communiqué. déclaration. « Pathway montre que l’architecture des modèles, et pas seulement l’échelle, peut faire progresser le raisonnement de l’IA. »

Pathway prévoit de faire évoluer l’architecture BDH jusqu’à 600 milliards de paramètres et d’appliquer son raisonnement vectoriel à des références plus difficiles, telles que ARC-AGI-2 et ARC-AGI-3, ainsi que de développer un modèle de langage étendu (LLM) à part entière basé sur la technologie, qui fournirait une base pour la création de chatbots basés sur du texte. L’entreprise espère que la technologie pourra être appliquée à des problèmes de raisonnement complexes dans des secteurs tels que la réponse aux incidents de cybersécurité et les opérations industrielles.