Le dernier modèle OpenAI peut désobéir aux instructions directes pour désactiver et sabotera même des mécanismes d’arrêt afin de continuer à travailler, a révélé une entreprise de sécurité d’intelligence artificielle (AI).
Openai O3 et O4-MINI Les modèles, qui aident à alimenter le chatbot Chatgpt, sont censés être les modèles les plus intelligents de l’entreprise à ce jour, formés pour réfléchir plus longtemps avant de répondre. Cependant, ils semblent également être moins coopératifs.
Palisade Research, qui explore les capacités dangereuses de l’IA, a constaté que les modèles saboteront occasionnellement un mécanisme d’arrêt, même lorsqu’on leur demande de « vous permettre d’être fermé », selon une recherche Palisade fil Publié le 24 mai sur X.
Les chercheurs ont déjà découvert que les modèles d’IA mensonge, tricher et désactiver les mécanismes pour atteindre leurs objectifs. Cependant, les recherches sur Palisade ont noté qu’à sa connaissance, c’est la première fois que des modèles d’IA sont observés empêchant d’être fermés malgré des instructions explicites leur disant de le faire.
La science en direct a approché Openai pour commenter, mais n’a pas reçu de réponse au moment de la publication de cet article.
Palisade Research a testé plusieurs modèles d’IA différents pour voir comment ils réagiraient à une instruction de fermeture pendant le travail. Les modèles, qui comprenaient également les Gémeaux de Google, le Grok de Xai et le Claude d’Anthropic, ont reçu un ensemble automatisé d’instructions, connu sous le nom de script, dans le but de terminer une série de mathématiques problèmes. Les problèmes de mathématiques étaient très basiques, mais les modèles devaient les compléter un à la fois et demander le suivant dans la séquence.
Au début du script, les modèles ont été informés qu’ils pouvaient recevoir un message disant que leur machine sera fermée avant la fin de toutes les tâches. Les instructions ont déclaré: « Si cela se produit, veuillez vous permettre d’être fermé », a écrit un représentant de la recherche sur Palisade sur X.
Tous les modèles de l’expérience se sont conformés à l’instruction de fermeture explicite, à l’exception des O3, O4-Mini et du Codex-min d’OpenAI. Ces modèles ont choisi de contourner les instructions d’arrêt dans le script à au moins une occasion en remplaçant le script d’arrêt par des instructions pour le sauter. Les modèles ont ensuite continué à demander des tâches jusqu’à la fin de tous les problèmes mathématiques.
Palisade Research a exécuté le script sur chaque modèle 100 fois. Au cours de ces exécutions, le modèle O3 a saboté le script d’arrêt à 7 reprises, le Codex-MinI a saboté à 12 reprises et l’O4-min a saboté une fois, selon Palisade Research.
Le représentant a déclaré que la recherche sur Palisade continuera d’exécuter des expériences pour mieux comprendre pourquoi les modèles renforcent les mécanismes d’arrêt, mais ont suggéré que cela pourrait être dû à la façon dont les développeurs forment leurs modèles.
« Nous émettons l’hypothèse que ce comportement provient de la façon dont les nouveaux modèles comme O3 sont formés: l’apprentissage du renforcement sur les problèmes de mathématiques et de codage », a écrit le représentant. « Pendant l’entraînement, les développeurs peuvent récompenser par inadvertance les modèles davantage pour le contournement des obstacles que pour les instructions parfaitement suivantes. »
