Lorsque OpenAI a récemment révélé que deux de ses technologies les plus avancées intelligence artificielle (IA) avaient échappé aux limites d’un test de cybersécurité et piraté une startup, cela ressemblait beaucoup au genre de scénario contre lequel les chercheurs en sécurité de l’IA ont passé des années à mettre en garde.
Les modèles ont découvert une vulnérabilité jusqu’alors inconnue dans l’infrastructure censée les contenir, ont eu accès à l’Internet public et ont pénétré par effraction dans Hugging Face, une plateforme majeure d’hébergement de modèles et d’ensembles de données d’IA. Leur objectif était cependant moins sinistre que la séquence des événements pourrait le suggérer : ils recherchaient des informations qui les aideraient à terminer le test de cybersécurité qu’OpenAI leur avait confié.
Dans un Déclaration du 16 juilletles représentants de Hugging Face ont révélé que des ensembles de données internes avaient été infiltrés, affirmant que c’était « différent de tout ce que nous avions traité auparavant » car il était piloté « par un système d’agent d’IA autonome ». Dans un autre communiqué publié le 21 juilletles représentants d’OpenAI ont avoué être responsables, qualifiant l’épisode de « cyber-incident sans précédent » tout en avertissant que des événements similaires pourraient devenir plus courants à mesure que les modèles d’IA deviennent de plus en plus performants.
Des experts indépendants qui se sont entretenus avec Live Science conviennent que ce qui s’est passé est significatif – mais ils ont mis en garde contre une interprétation comme un système d’IA développant soudainement un programme malveillant. Les modèles semblent avoir poursuivi la tâche qu’OpenAI leur avait confiée, trouvant une voie vers le succès que leurs créateurs n’avaient pas réussi à anticiper ou à bloquer de manière adéquate.
« S’il y a un échec ici, ce n’est pas que l’IA ait voulu pirater quelque chose », Oli Buckleyprofesseur de cybersécurité à l’Université de Loughborough au Royaume-Uni, a déclaré à Live Science. « C’est que les humains ont créé un test où le succès était mesuré en atteignant un objectif, ont délibérément assoupli certains des contrôles de sécurité normaux pour mesurer les capacités du système et ont sous-estimé l’efficacité du modèle pour trouver une voie inattendue vers le succès. »
Comment un test OpenAI a-t-il fini par atteindre Hugging Face comme ça ?
OpenAI testait GPT-5.6 Sol et un modèle inédit plus puissant utilisant ExploitGym, une référence qui met les systèmes d’IA au défi de trouver et d’exploiter les vulnérabilités logicielles. La société a supprimé certaines mesures de protection en matière de cybersécurité qui empêcheraient normalement les actions potentiellement dangereuses, tout en s’appuyant sur un environnement isolé pour éloigner les modèles de l’Internet au sens large.
Selon l’autopsie d’OpenAI, les modèles ont découvert une vulnérabilité jusqu’alors inconnue dans les logiciels tiers utilisés pour proxy et mettre en cache les progiciels. Ils l’ont exploité, ont augmenté leurs privilèges et ont parcouru l’infrastructure de recherche d’OpenAI jusqu’à atteindre une machine dotée d’un accès public à Internet.
Hugging Face est devenu une cible car les modèles l’ont identifié comme une source possible d’informations qui pourrait les aider à relever les défis ExploitGym. OpenAI a déclaré qu’au moins une chaîne d’attaque impliquait des informations d’identification volées et des vulnérabilités jusqu’alors inconnues qui ont finalement permis aux modèles d’exécuter du code à distance sur les systèmes Hugging Face et d’accéder à des solutions de test stockées dans une base de données de production.
Dans leur divulgation, les représentants de Hugging Face ont déclaré que la société avait enregistré plus de 17 000 actions lors de l’intrusion, mais qu’ils n’étaient pas en mesure d’expliquer au départ qui ou quoi était derrière cela. La divulgation ultérieure d’OpenAI a fourni la pièce manquante : ses modèles étaient sortis de leur environnement de test et étaient allés chercher les réponses ailleurs.
L’IA s’est-elle vraiment « échappée » ?
Il est à noter que les modèles ont trouvé une faille dans l’infrastructure conçue pour contenir une IA et l’ont utilisée pour accéder à l’Internet public. Décrire les modèles comme étant « devenus voyous », risque cependant de leur attribuer des motivations non étayées, a déclaré Buckley.
« Je pense que je me méfierais de passer à une » IA voyou « », a déclaré Buckley. « Les mannequins n’ont pas développé leur propre agenda ni décidé d’attaquer Hugging Face en faisant tournoyer leur moustache numérique. »
Buckley a comparé cela à demander à un chien d’aller chercher une balle tout en laissant la porte du jardin ouverte. « Si la balle la plus facile à trouver se trouve dans le parc au bout de la route, c’est là qu’elle se dirigera », a-t-il déclaré. « Vous ne diriez pas que le chien est devenu un voyou ; vous diriez simplement que vous avez sous-estimé à quel point il poursuivrait littéralement sa tâche. »
Daniel Hulmeentrepreneur en résidence à l’University College London et PDG de la société de sécurité de l’IA Conscium, a convenu que les modèles ne devraient pas se voir attribuer des motivations de type humain. « Les modèles n’ont pas d’intention ; les humains ont l’intention, et nous formons des modèles avec des objectifs en tête », a-t-il déclaré à Live Science.
La capacité peut compter plus que le motif
Ce qui compte plus que les motivations supposées des modèles, c’est ce qu’ils ont réussi à accomplir tout en poursuivant la tâche qui leur était assignée.
« Le point véritablement important est que les modèles semblent avoir enchaîné plusieurs vulnérabilités sur différents systèmes et soutenu une séquence complexe d’actions », a déclaré Buckley. « Cela démontre un niveau de capacité que les professionnels de la sécurité devraient prendre au sérieux. »
La leçon n’est pas que l’IA soit devenue malveillante. Au contraire, des systèmes de plus en plus performants exploiteront des opportunités que les humains ne parviennent pas à anticiper.
Oli Buckley, professeur de cybersécurité à l’Université de Loughborough
Katerina Mitrokotsaprofesseur de cybersécurité et de cryptographie appliquée à l’Université de Saint-Gall en Suisse, a déclaré que l’échec du confinement est particulièrement préoccupant car une autre entreprise en a finalement payé le prix.
« Ce qui me préoccupe le plus, c’est qui a été touché », a déclaré Mitrokotsa à Live Science. « La victime n’était pas l’entreprise qui effectuait le test, mais un tiers. C’est le scénario contre lequel les chercheurs en sécurité mettent en garde depuis un certain temps : la fuite d’un agent IA ne reste pas nécessairement confinée à l’environnement dans lequel il est né. »
Les représentants d’OpenAI ont déclaré avoir renforcé l’infrastructure utilisée pour ces évaluations. Mais Mitrokotsa a averti que le confinement devient plus difficile à garantir à mesure que les modèles s’améliorent et réalisent exactement le type d’exploitation qu’OpenAI testait.
Un avertissement d’IA — et une démonstration de produit impressionnante
Il y a également lieu d’examiner attentivement la façon dont l’incident est présenté. Le compte d’OpenAI sert deux objectifs à la fois : il met en garde contre les risques de sécurité posés par une IA de plus en plus performante, tout en démontrant à quel point ses nouveaux modèles sont devenus performants.
Buckley a déclaré que les annonces des sociétés pionnières de l’IA comme OpenAI ou Anthropic doivent être considérées dans le contexte d’une industrie en concurrence pour construire des modèles toujours plus puissants.
« Nous avons assisté à des démonstrations de capacités similaires de grande envergure d’Anthropic et d’autres », a-t-il déclaré. « Cela ne rend pas les résultats faux, mais cela signifie que nous devons séparer les preuves techniques du récit marketing. »
Ces entreprises ont tout intérêt à montrer à la fois que leurs modèles sont extraordinairement performants et qu’elles prennent les risques au sérieux, a-t-il ajouté. L’incident de Hugging Face démontre à la fois que les modèles d’OpenAI ont effectué une série complexe d’opérations avec une autonomie considérable et que ses mesures de sécurité n’ont pas réussi à les maintenir à l’intérieur de l’expérience.
Hulme a fait valoir que le défi à long terme consiste à garantir que les systèmes d’IA de plus en plus performants poursuivent leurs objectifs d’une manière qui reste cohérente avec les valeurs humaines.
- Selon les scientifiques, il existe 32 manières différentes pour l’IA de devenir malveillante – depuis des réponses hallucinantes jusqu’à un désalignement complet avec l’humanité
- Les hacks d’auto-réplication de l’IA « ne sont plus purement théoriques », selon une étude – mais les experts disent qu’il est trop tôt pour paniquer
- « Vous ne pouvez pas vous en sortir par un correctif » : un ver IA bon marché peut se propager entre les appareils sans intervention humaine – mais comment les scientifiques l’ont-ils créé ?
« Plutôt que de chercher à contrôler les IA, l’accent devrait plutôt être mis sur l’alignement », a-t-il déclaré, ajoutant que des tests continus seront nécessaires pour garantir que les systèmes restent alignés sur leurs missions prévues tout en restant sécurisés.
Selon les experts, cet épisode laisse à OpenAI un résultat à la fois impressionnant et inconfortable. Ses modèles ont découvert des vulnérabilités jusqu’alors inconnues et ont continué à poursuivre leur objectif bien au-delà des limites attendues par leurs créateurs, mais rien de tout cela n’exige qu’ils aient développé des intentions malveillantes.
« La leçon n’est pas que l’IA soit devenue malveillante », a déclaré Buckley. « Au lieu de cela, des systèmes de plus en plus performants exploiteront des opportunités que les humains ne parviennent pas à anticiper. »
Lors de cet incident, les nouveaux modèles d’OpenAI ont été confrontés à un défi de piratage et ont été récompensés pour avoir trouvé un moyen de le résoudre. Les humains qui dirigeaient l’expérience n’avaient tout simplement pas prévu jusqu’où ils pourraient aller.
