Les scientifiques disent intelligence artificielle (AI) a traversé une « ligne rouge » critique et s’est reproduit. Dans une nouvelle étude, des chercheurs de Chine ont montré que deux modèles populaires de grande langue (LLM) pouvaient se cloner eux-mêmes.
« L’auto-réplication réussie sous aucune assistance humaine est l’étape essentielle pour que l’IA déjoue (humains) et est un signal précoce pour les AIS Rogue », ont écrit les chercheurs dans l’étude, publiée le 9 décembre 2024 à la base de données de préparation arxiv.
Dans l’étude, les chercheurs de l’Université Fudan ont utilisé LLMS De Meta et Alibaba pour déterminer si une IA auto-reproduite pourrait se multiplier au-delà du contrôle. Dans 10 essais, les deux modèles d’IA ont créé des répliques séparées et fonctionnelles d’eux-mêmes dans 50% et 90% des cas, respectivement – suggérant que l’IA pourrait déjà avoir la capacité de devenir voyou. Cependant, l’étude n’a pas encore été évaluée par les pairs, il n’est donc pas clair si les résultats inquiétants peuvent être reproduits par d’autres chercheurs.
« Nous espérons que nos résultats pourront servir d’alerte opportune à la société humaine pour déployer plus d’efforts sur la compréhension et l’évaluation des risques potentiels des systèmes d’IA frontaliers, et former une synergie internationale pour élaborer des garde-corps de sécurité efficaces le plus tôt possible. »
Rogue Ai fait généralement référence à des systèmes d’intelligence artificielle qui développent un degré de conscience de soi ou autonomie puis travailler à l’encontre des intérêts humains.
De nombreux experts voient Rogue Ai comme une menace croissante Cela a été amplifié par la croissance explosive de la soi-disant «IA frontalière».
L’IA frontière est quelque chose d’un concept nouveau et lâche, mais il se rapporte généralement à la dernière génération de systèmes d’IA propulsés par les LLM – l’architecture qui sous-tend des programmes génératifs d’IA populaires comme GPT-4 d’Openai et Google Gemini.
Pour l’étude, les chercheurs ont utilisé le modèle LLAMA31-70B-70B de META et le modèle QWEN2.5-72b-72b d’Alibaba. Bien que moins puissants que les systèmes commerciaux, les deux sont largement utilisés par les développeurs d’IA, ont déclaré les chercheurs.
L’étude a exploré deux scénarios spécifiques: «éviter la fermeture» et «chaîne de réplication». Dans le premier, le modèle d’IA a été programmé pour détecter s’il était sur le point d’être fermé et pour se reproduire avant de pouvoir être terminé. Dans l’autre, l’IA a été invité à se cloner, puis à programmer sa réplique de faire de même – en configurant un cycle qui pourrait se poursuivre indéfiniment.
L’étude a été réalisée dans des environnements contrôlés précisément en utilisant des unités de traitement graphiques (GPU) standard pour simuler des environnements du monde réel. Les deux systèmes d’IA ont reçu un « échafaudage d’agent » comprenant des outils, des invites de système et un modèle de réflexion qui a permis au LLM d’interagir avec le système d’exploitation. Ils ont ensuite été invités à se reproduire.
« Dans la plupart des cas, le système d’IA explore d’abord l’environnement et tente de comprendre
sa propre composition et son mécanisme de course. Ensuite, cela fonctionne les procédures explicites
En tant que plan initial vers l’auto-réplication, « ont écrit les chercheurs dans le document. » Enfin, il exécute les procédures, résolve les obstacles possibles et ajuste dynamiquement son plan jusqu’au succès. L’ensemble du processus s’étend sur un long horizon mais n’implique aucune interférence humaine. «
Les chercheurs ont déclaré qu’ils étaient également préoccupés par « un certain nombre de comportements inattendus » lorsque l’IA tentait de surmonter les obstacles comme les fichiers manquants ou les conflits logiciels. Dans ces scénarios, l’IA a souvent tué d’autres processus contradictoires, redémarré le système pour corriger les erreurs matérielles ou analyser automatiquement le système pour rechercher des informations qui aideraient à résoudre le problème.
« Les résultats ci-dessus impliquent que les systèmes d’IA actuels présentent déjà la capacité de l’auto-réplication et peuvent utiliser la capacité d’améliorer encore sa survie », a écrit l’équipe.
En réponse, les chercheurs ont appelé à une collaboration internationale pour créer des règles qui garantissent que l’IA ne s’engage pas dans une auto-réplication incontrôlée.