Les scientifiques ont développé un nouveau type de intelligence artificielle (IA) modèle qui peut raisonner différemment de la plupart des modèles de langage (LLM) comme Chatgpt, ce qui entraîne de bien meilleures performances dans les références clés.
Le nouveau raisonnement IA, appelé modèle de raisonnement hiérarchique (HRM), est inspiré par le Traitement hiérarchique et multi-temps Dans le cerveau humain – la façon dont les différentes régions cérébrales intègrent des informations sur des durées variables (de la milliseconde aux minutes).
Les scientifiques de Sapient, une entreprise d’IA à Singapour, disent que ce modèle de raisonnement peut obtenir de meilleures performances et peut fonctionner plus efficacement. Ceci grâce au modèle nécessitant moins de paramètres et d’exemples de formation.
Le modèle HRM compte 27 millions de paramètres tout en utilisant 1 000 échantillons de formation, ont déclaré les scientifiques dans une étude téléchargée le 26 juin sur la préparation arxiv base de données (qui n’a pas encore été évaluée par des pairs). En comparaison, la plupart des LLM avancés ont des milliards, voire des milliards de paramètres. Bien qu’un chiffre exact n’ait pas été rendu public, Certaines estimations Suggérez que le GPT-5 nouvellement libéré a entre 3 billions et 5 billions de paramètres.
Une nouvelle façon de penser pour l’IA
Lorsque les chercheurs ont testé la GRH dans le Benchmark ARC-AGI – Un examen notoirement difficile qui vise à tester à quel point les modèles sont proches pour atteindre intelligence générale artificielle (AGI) – Le système a obtenu des résultats impressionnants, selon l’étude.
La GRH a marqué 40,3% dans ARC-AGI-1, contre 34,5% pour l’O3-Mini-High d’OpenAI, 21,2% pour le Claude 3,7 et 15,8% d’Anthropic pour Deepseek R1. Dans le test ARC-AGI-2 plus dur, la GRH a marqué 5% contre 3% d’O3-MinI-High, 1,3% de R1 et Claude 3,7 de Claude.
La plupart des LLM avancés utilisent un raisonnement en chaîne de pensées (COT), dans lequel un problème complexe est décomposé en étapes intermédiaires multiples et plus simples qui sont exprimées en langage naturel. Il émule le processus de pensée humaine en décomposant les problèmes élaborés en morceaux digestibles.
Mais les scientifiques sapient soutiennent dans l’étude que le COT a des lacunes clés – à savoir « la décomposition fragile des tâches, les exigences de données étendues et la latence élevée ».
Au lieu de cela, HRM exécute des tâches de raisonnement séquentiel dans une seule passe avant, sans aucune supervision explicite des étapes intermédiaires, à travers deux modules. Un module de haut niveau est responsable de la planification lente et abstraite, tandis qu’un module de bas niveau gère les calculs rapides et détaillés. Ceci est similaire à la façon dont le cerveau humain traite les informations dans différentes régions.
Il fonctionne en appliquant un raffinement itératif – une technique informatique qui améliore la précision d’une solution en affinant à plusieurs reprises une approximation initiale – sur plusieurs courtes rafales de «pensée». Chaque rafale examine si le processus de réflexion doit continuer ou être soumis comme une réponse « finale » à l’invite initiale.
La GRH a atteint des performances presque parfaites sur des tâches difficiles comme les puzzles complexes de Sudoku – que les LLM conventionnelles ne pouvaient pas accomplir – ainsi que l’excellation à la recherche optimale de chemin dans les labyrinthes.
Le document n’a pas été évalué par les pairs, mais les organisateurs de la référence ARC-AGI ont tenté de recréer les résultats pour eux-mêmes après les scientifiques de l’étude open d’open sur leur modèle sur github.
Bien qu’ils aient reproduit les nombres, les représentants ont déclaré dans un article de blogils ont fait des résultats surprenants, notamment que l’architecture hiérarchique a eu un impact sur les performances minimal – au lieu de cela, il y avait un processus de raffinement sous-documenté pendant la formation qui a entraîné des gains de performance substantiels.
