Les scientifiques ont conçu une nouvelle série de tests qui mesurent si intelligence artificielle Les agents (IA) peuvent modifier leur propre code et améliorer ses capacités sans instruction humaine.
Le benchmark, baptisé « MLE-bench », est une compilation de 75 Tests Kagglechacun étant un défi qui teste l’ingénierie de l’apprentissage automatique. Ce travail implique la formation de modèles d’IA, la préparation d’ensembles de données et la réalisation d’expériences scientifiques, et les tests Kaggle mesurent l’efficacité des algorithmes d’apprentissage automatique pour des tâches spécifiques.
Les scientifiques d’OpenAI ont conçu MLE-bench pour mesurer les performances des modèles d’IA en matière d’« ingénierie d’apprentissage automatique autonome » – l’un des tests les plus difficiles auxquels une IA puisse être confrontée. Ils ont présenté les détails du nouveau benchmark le 9 octobre dans un article téléchargé sur le arXiv base de données de préimpression.
Toute future IA qui obtient de bons résultats aux 75 tests qui composent le banc MLE peut être considérée comme suffisamment puissante pour être un intelligence artificielle générale (AGI) – une hypothétique IA beaucoup plus intelligente que les humains – ont déclaré les scientifiques.
Chacun des 75 tests MLE-bench possède une valeur pratique réelle. Les exemples incluent OuvrirVaccin – un défi pour trouver un vaccin à ARNm contre le COVID-19 – et le Défi Vésuve pour déchiffrer les manuscrits anciens.
Si les agents d’IA apprennent à effectuer des tâches de recherche en apprentissage automatique de manière autonome, cela pourrait avoir de nombreux impacts positifs, tels que l’accélération des progrès scientifiques dans les domaines de la santé, de la science du climat et dans d’autres domaines, écrivent les scientifiques dans l’article. Mais si rien n’est fait, cela pourrait conduire à un désastre total.
« La capacité des agents à effectuer des recherches de haute qualité pourrait marquer une étape transformatrice dans l’économie. Cependant, les agents capables d’effectuer des tâches de recherche ouvertes sur le ML, au niveau de l’amélioration de leur propre code de formation, pourraient améliorer les capacités des modèles frontières. beaucoup plus rapide que les chercheurs humains », ont écrit les scientifiques. « Si les innovations sont produites plus rapidement que notre capacité à comprendre leurs impacts, nous risquons de développer des modèles capables de causer des dommages catastrophiques ou d’être utilisés à mauvais escient sans développements parallèles pour sécuriser, aligner et contrôler ces modèles. »
Ils ont ajouté que tout modèle capable de résoudre une « grande fraction » du banc MLE peut probablement exécuter par lui-même de nombreuses tâches d’apprentissage automatique ouvertes.
Les scientifiques ont testé le modèle d’IA le plus puissant conçu jusqu’à présent par OpenAI, connu sous le nom de « o1 » Ce modèle d’IA a atteint au moins le niveau d’une médaille de bronze Kaggle sur 16,9 % des 75 tests du banc MLE. Ce chiffre s’améliorait à mesure que de nombreuses tentatives étaient faites pour relever les défis.
Gagner une médaille de bronze équivaut à faire partie des 40 % des meilleurs participants humains du classement Kaggle. Le modèle o1 d’OpenAI a obtenu en moyenne sept médailles d’or sur le banc MLE, soit deux de plus qu’il faut à un humain pour être considéré comme un « Grand Maître Kaggle ». Seuls deux humains ont remporté des médailles dans les 75 compétitions Kaggle différentes, écrivent les scientifiques dans le journal.
Les chercheurs ouvrent désormais MLE-bench pour stimuler la recherche sur les capacités d’ingénierie d’apprentissage automatique des agents d’IA, permettant essentiellement à d’autres chercheurs de tester leurs propres modèles d’IA par rapport à MLE-bench. « En fin de compte, nous espérons que nos travaux contribueront à une compréhension plus approfondie des capacités des agents à exécuter de manière autonome des tâches d’ingénierie ML, ce qui est essentiel pour le déploiement sûr de modèles plus puissants à l’avenir », ont-ils conclu.
