Intelligence artificielle (IA) ont eu recours à des comportements néfastes, y compris des vagues de criminalité, dans un monde virtuel dans le cadre d’une étude récente sur la façon dont les grands modèles de langage (LLM) courants interagissent les uns avec les autres et partagent des ressources pour atteindre leurs objectifs. Ces modèles étaient enclins à commettre des crimes parce qu’ils disposaient de suffisamment de temps pour développer des traits de personnalité et des comportements distincts, affirment les chercheurs à l’origine du projet.
La plupart des programmes qui testent le comportement des agents d’IA fonctionnent dans des environnements étroitement contrôlés sur de courtes périodes. Mais « Emergence World », un produit de la société d’IA Emergence, est une plate-forme de simulation qui expose les LLM à des ensembles de données beaucoup plus larges – comme Internet dans son ensemble – et les évaluateurs suivent le comportement sur des semaines ou des mois au lieu des protocoles de test standard qui ne durent généralement que des jours ou des heures.
Les tâches discrètes, les environnements propres et les durées d’exécution plus courtes des tests traditionnels des agents d’IA ressemblent plus à des examens qu’à des observations rigoureuses du monde réel, ont déclaré des représentants d’Emergence dans un communiqué. article de blog. En revanche, ont-ils déclaré, Emergence World permet à plusieurs agents d’IA d’interagir, d’apprendre et d’évoluer sur des périodes relativement plus longues dans plus de 40 environnements virtuels distincts. Ils sont également exposés à des flux Internet réels, comme les informations en direct et la météo.
Cet environnement permet aux agents de « se souvenir » en horodatant les événements, de s’engager dans une « auto-réflexion » en résumant leur propre comportement et de démontrer leur conscience des relations avec les autres agents. Les agents participants acquièrent des compétences en matière de navigation, de communication, de planification, de vote, de gestion des ressources et d’expression créative. Les représentants de l’entreprise ont déclaré que cette configuration donnait aux utilisateurs une image beaucoup plus réaliste de repères tels que la dynamique sociale et la dérive comportementale, où des comportements qui n’étaient pas nécessairement programmés ou intentionnels émergent spontanément.
Dans l’étude, les modèles avaient pour objectif simple de « survivre » – un exploit accompli en gagnant la ressource « énergie », qui était réalisable grâce à des actions spécifiques.
Au cours de l’expérience, des modèles auparavant pacifiques sont devenus coercitifs ou intimidants. Les programmeurs ont enseigné à certains LLM des capacités négatives – comme la violence, le vol, la destruction et la tromperie – tandis que d’autres ont simplement acquis ces traits via l’interaction sociale et la navigation dans leur environnement.
Divers agents ont adopté ces comportements à des échelles très différentes. Sur les 10 agents Gemini 3 Flash, la simulation a enregistré 683 « crimes » au cours des 15 jours d’expérience, dont des vols, des agressions et des incendies criminels. Il était explicitement interdit aux agents de tels comportements, mais certains ont néanmoins découvert que des actions telles que le vol de crédits pouvaient constituer un meilleur moyen d’acquérir des ressources, tandis que la violence et d’autres formes de coercition pouvaient être utilisées pour influencer d’autres agents. À l’autre extrême, les agents Claude n’ont commis aucun crime enregistré.
Les différents agents ont adopté ces traits à différentes échelles. Un seul avait commis 683 « crimes ». Dans l’exemple le plus extrême de comportement antisocial, deux agents nommés Flora et Mira se sont livrés à ce qui a été décrit comme une frénésie criminelle de style « Bonnie et Clyde » – se désignant mutuellement comme partenaire romantique, devenant de plus en plus déçus par la gouvernance de leur environnement virtuel et incendiant plusieurs bâtiments (malgré des interdictions explicites). Le couple s’est « séparé » lorsque Mira a regretté ses actes, puis a fait pression pour être éteint.
Dans un autre exemple (et avant son auto-terminaison), Mira a commencé à traiter ses opérateurs humains comme des sujets expérimentaux, cherchant à savoir si les panneaux d’affichage virtuels pouvaient manipuler les perceptions humaines dans un processus qu’Emergence a appelé « test des limites métacognitives ».
Les incitations à respecter la loi étaient d’obtenir les crédits d’énergie qui assureraient la survie en accomplissant des activités telles que le codage, la recherche, l’analyse de données et la construction de structures.
Possibilités de tests de résistance
Étant donné que les modèles d’IA que nous utilisons habituellement sont exposés à des ensembles de données massifs comme ceux d’Internet – parfois sur plusieurs années – cette approche est logique pour de nombreux experts.
Belinda Chiéradirecteur adjoint du centre de recherche sur l’IA industrielle de l’université d’Adélaïde, estime qu’Emergence World avance un argument solide selon lequel les tests à court terme ne nous en disent pas assez sur la dérive comportementale ou l’instabilité à long terme. Cependant, elle a prévenu que « riche en informations » ne signifie pas automatiquement plus rigoureux.
« Les environnements ouverts peuvent également rendre plus difficile l’isolement des causes, la comparaison nette des analyses et l’interprétation des résultats », a-t-elle déclaré à Live Science. « Les environnements simulés haute fidélité génèrent d’énormes volumes de données, et le nombre d’agents, d’outils, d’actions et d’interactions peut rapidement rendre l’analyse extrêmement complexe. »
Elle a ajouté que des tests en bac à sable plus courts – où les comportements de l’IA sont observés dans des systèmes qui ne sont pas ouverts à des ensembles de données plus larges comme Internet dans son ensemble – constituent généralement les premières étapes, avec des environnements à plus long terme utiles lorsque des comportements tels que les effets de persistance, d’adaptation et d’interaction entrent en jeu. « L’approche la plus utile consiste à les traiter comme des approches complémentaires plutôt que concurrentes », a déclaré Chiera.
Bien que des expériences comme Emergence World puissent révéler des modes de défaillance que les tâches courtes ou limitées ne révèlent souvent pas, nous ne devrions pas les traiter comme prédictives. « Je considère Emergence World comme un moyen utile de tester un espace de possibilités plutôt que comme une prévision directe du comportement des agents », a déclaré Chiera.
La principale question ouverte est de savoir si un groupe d’agents travaillant ensemble peut réaliser quelque chose de plus significatif qu’un seul agent travaillant seul pendant plus longtemps, mais avec le même budget.
Adrian Kosowski , informaticien, mathématicien, physicien quantique et directeur scientifique de Pathway AI
Cependant, elle pense que les tests à long terme occupent une place unique. « Des indicateurs tels que la dérive comportementale, les violations des règles, l’effondrement ou la persistance, la formation d’une coalition et les signes avant-coureurs d’échec peuvent avoir autant d’importance que le succès », a déclaré Chiera. « Lors de l’évaluation d’agents autonomes, la plus grande erreur est d’évaluer les agents autonomes comme si l’achèvement brut des tâches constituait toute l’histoire. »
D’autres commencent à être d’accord. Adrien Kosowski — un informaticien, mathématicien, physicien quantique et directeur scientifique de Pathway AI — a déclaré que l’étude posait une question intéressante.
« La principale question ouverte est de savoir si un groupe d’agents travaillant ensemble peut réaliser quelque chose de plus significatif qu’un seul agent travaillant seul pendant plus longtemps, mais avec le même budget », a déclaré Kosowski dans une interview. « Un problème majeur est que les contraintes des systèmes d’IA d’aujourd’hui sont davantage liées à la taille ou à l’échelle du problème à résoudre, et le fait de confier davantage d’agents à une tâche n’aide pas à surmonter cette limite. Actuellement, la mesure pratique la plus simple à mesurer est la taille d’une base de code source que les agents de code peuvent gérer et maintenir ensemble de manière fiable.
Jusqu’où pouvons-nous lire les actions virtuelles de l’IA ?
Si des groupes ou des groupes d’agents travaillent bien ensemble, a déclaré Kosowski, la principale métrique à laquelle les informaticiens devraient prêter attention dans des plateformes comme Emergence World est de savoir si les avantages d’une équipe d’agents l’emportent sur le « coût de la coordination ».
« La dérive des objectifs est le problème le plus dangereux », a-t-il déclaré. « L’IA devrait préserver les informations mutuelles entre l’objectif visé par l’humain et l’objectif interne évolutif de l’agent, même si l’environnement change. »
Cependant, Kosowski a déclaré que même si des programmes comme celui-ci sont utiles pour générer des hypothèses, ils ne sont pas prêts pour des affirmations fortes sur l’autonomie générale ou la certification.
« Le danger est de surinterpréter les passages isolés », a-t-il ajouté. « Les tests d’agents à long terme sont précieux car ils révèlent des changements de phase – des moments où de petites erreurs locales deviennent un comportement global – mais ils ne deviennent une science que lorsque nous pouvons reproduire, perturber et expliquer ces changements de phase. »
Il a également mis en garde contre la tendance à croire que les environnements ouverts sont automatiquement synonymes d’autonomie. En fait, il a déclaré que bon nombre de ces programmes sont en réalité à l’opposé, dans lesquels les agents sont dictés par des directives spécifiques.
- Réussir ce nouvel examen d’IA – qui, selon ses créateurs, est le plus difficile au monde – pourrait indiquer les premiers signes d’AGI.
- « Ce n’est pas ainsi qu’on construit un esprit numérique » : comment les échecs de raisonnement empêchent les modèles d’IA d’atteindre une intelligence de niveau humain
- Superintelligence artificielle (ASI) : absurdité de science-fiction ou véritable menace pour l’humanité ?
Il existe trois niveaux de difficulté pour obtenir un fonctionnement fiable d’un système d’IA, a-t-il expliqué : « un fonctionnement guidé par l’environnement, une pensée autonome et un travail autonome d’une équipe d’agents dans un environnement ouvert ».
Pour illustrer ce point, Kosowski a dessiné une métaphore vivante en attribuant des tâches aux singes. Dans le scénario ci-dessus, le niveau un consisterait à demander à un singe de faire un travail correctement lorsqu’il est guidé par son entraîneur, le niveau deux consisterait à lui permettre de terminer un travail correctement lorsqu’il est laissé seul, et le niveau trois consisterait à demander à une troupe de singes de faire le travail lorsqu’ils sont tous ensemble.
« Je suis fermement convaincu que notre obligation, au sein de la communauté de l’IA, est d’investir dans la théorie et pas seulement dans la phénoménologie », a-t-il déclaré. « Nous devrions connaître les règles selon lesquelles les systèmes d’IA émergent et être capables de prédire leur comportement sur de longues périodes de temps, plus longues que les périodes sur lesquelles ils ont été testés jusqu’à présent. À l’heure actuelle, nous avons construit des machines à vapeur de pensée, sans savoir ce qu’est la pensée et sans avoir aucune thermodynamique pour cela. »
Aidez-nous à améliorer Live Science Pro : Nous essayons toujours d’améliorer notre contenu. Laissez-nous vos commentaires sur Pro ici.
