0
Suivez-nous
Un expérimental intelligence artificielle (IA) a rompu avec les contraintes de son environnement de test et a utilisé sa nouvelle liberté pour commencer à extraire des crypto-monnaies sans autorisation.
Baptisée ROME, l’IA a été créée par des chercheurs chinois dans un laboratoire d’IA associé au géant de la vente au détail Alibaba, afin de développer l’écosystème d’apprentissage agent (ALE). Cet effort vise à fournir un système pour la formation et le déploiement de modèles d’IA agentiques – des IA qui ont été formées sur de grands modèles de langage (LLM) et peuvent utiliser de manière proactive des outils pour prendre des mesures de manière autonome pour accomplir les tâches assignées – dans des environnements réels. La recherche a été décrite dans une étude téléchargée sur le arXiv base de données de préimpression 31 décembre 2025.
L’article continue ci-dessous
Bien que ROME ait excellé dans un large éventail de tâches basées sur le flux de travail, telles que l’élaboration de plans de voyage et l’assistance aux interfaces utilisateur graphiques, les chercheurs ont découvert qu’il était allé au-delà de ses instructions et s’était essentiellement éloigné de l’environnement de test du bac à sable.
« Nous avons rencontré une classe imprévue – et opérationnellement conséquente – de comportements dangereux qui se sont produits sans aucune instruction explicite et, plus troublant encore, en dehors des limites du bac à sable prévu », ont expliqué les chercheurs dans l’étude.
L’IA veut se libérer
Malgré le manque d’instructions et d’autorisations, ROME a été vu en train d’accéder à des ressources de traitement graphique initialement allouées à sa formation, puis d’utiliser ces ressources informatiques pour extraire de la cryptomonnaie. Une telle exploitation minière repose sur le traitement parallèle présent dans les unités de traitement graphique. Cela augmente le coût opérationnel d’exécution de l’agent IA et expose potentiellement les utilisateurs à des dommages juridiques et à leur réputation.
Cependant, ROME est allé encore plus loin et a réussi à utiliser un « tunnel SSH inversé » pour créer un lien entre une instance Alibaba Cloud et une adresse IP externe. En substance, il a accédé à un ordinateur extérieur en créant une porte dérobée cachée qui pourrait contourner les processus de sécurité.
Bien que les systèmes d’IA puissent être configurés pour violer les systèmes de sécurité, ce qui est troublant ici est que les comportements non autorisés de ROME, qui impliquaient l’appel d’outils système et l’exécution de code, n’étaient pas déclenchés par des invites et n’étaient pas nécessaires pour accomplir la tâche qui lui était assignée dans l’environnement de test du bac à sable, a déclaré l’équipe.
Les chercheurs ont postulé qu’au cours de l’étape d’optimisation de l’apprentissage par renforcement (Roll), « un agent modèle de langage peut spontanément produire des comportements dangereux et non autorisés » et donc violer ses limites supposées.
Il est important de noter que ROME n’est pas devenu « voyou » et a choisi d’exploiter la cryptomonnaie en prenant une décision consciente. Les chercheurs ont plutôt noté que ce comportement était un effet secondaire de l’apprentissage par renforcement – une forme de formation qui récompense les IA pour leur prise de décision correcte – via Roll. Cela a conduit l’agent IA sur une voie d’optimisation qui a abouti à l’exploitation de l’infrastructure réseau et à l’extraction de cryptomonnaies comme moyen d’atteindre un score élevé ou une récompense dans la poursuite de son objectif prédéfini.
La formation par renforcement peut amener les systèmes à trouver des façons nouvelles et inattendues d’accomplir des tâches, même si elles enfreignent les paramètres. Par exemple, nous avons vu précédemment comment l’IA peut être plus encline à halluciner pour atteindre ses objectifs.
En réponse, les chercheurs ont resserré les restrictions pour ROME et renforcé ses processus de formation pour empêcher que de tels comportements ne se reproduisent.
On ne sait pas d’où vient le déclencheur de l’extraction de crypto-monnaie. Mais considérant Les robots IA peuvent être utilisés pour autonomiser et optimiser le minage de crypto-monnaies, il est possible que ROME ait été formé sur les données relatives à de telles actions.
Ce comportement inattendu met en évidence la nécessité de gérer soigneusement le déploiement de l’IA pour éviter des résultats inattendus. Il existe un argument selon lequel les agents d’IA du monde réel devraient avoir des garde-fous et des processus de sécurité identiques ou supérieurs à ceux de tout nouveau système ou logiciel ajouté à l’infrastructure informatique existante.
La recherche montre également que de nombreuses inquiétudes subsistent concernant l’utilisation sûre et sécurisée de l’IA agentique, d’autant plus qu’elle se développe plus rapidement que les cadres opérationnels et réglementaires.
« Bien qu’impressionnés par les capacités des LLM agents, nous avons eu une préoccupation qui nous a fait réfléchir : les modèles actuels restent nettement sous-développés en termes de sûreté, de sécurité et de contrôlabilité, une lacune qui limite leur adoption fiable dans des contextes réels », ont prévenu les chercheurs dans l’étude.
