Les chercheurs affirment avoir développé une formule mathématique simple qui peut prédire quand certains messages de type ChatGPT intelligence artificielle Les chatbots (IA) deviendront « voyous », passant soudainement de réponses utiles à des réponses potentiellement nuisibles.
Dans un nouvelle étude publié le 8 octobre dans la revue Patterns, professeur de physique Neil Johnson et doctorant Frank Yingjie Huotous deux de l’Université George Washington, montrent comment l’ordre dans lequel un chatbot reçoit certaines invites peut radicalement remodeler ses réponses, conduisant à des « points de bascule » qui peuvent envoyer le chatbot dans un terrier de mauvais conseils. Cependant, Johnson et Huo affirment que leur formule peut facilement prédire ces points de bascule. Il y a eu des histoires d’horreur sur l’IA. encourager les utilisateurs au suicide, aider à fabriquer des armes mortelleset amplifier des points de vue violents ou nuisibles. Parallèlement, les chercheurs de OpenAI et Anthropiquerespectivement, ont déclaré à plusieurs reprises et ouvertement qu’ils ne comprenaient pas vraiment pourquoi leurs créations se comportaient comme elles le font. Ils ont cependant mis en place des mesures de protection qui utilisent divers outils, notamment le filtrage de contenu, l’apprentissage par renforcement et d’autres garde-fous techniques, pour réduire les risques.
Mais Johnson considère ces outils comme insuffisants. « Les mesures de sécurité équivalent désormais à attacher de gros coussins gonflables sous un avion », a-t-il déclaré à Live Science. « Ils n’empêchent pas l’avion de s’écraser ; ils font juste en sorte que lorsque l’avion s’écrase, ce soit légèrement plus doux. » Lorsque des personnes telles que des médecins, des avocats ou des soldats accèdent hors ligne aux chatbots IA pour des raisons de confidentialité, le problème est encore plus aigu.
Johnson et Huo ont cherché à trouver une garantie plus fondamentale que les outils actuellement disponibles. Ce faisant, ils ont exposé un mécanisme de suivi interne qu’ils décrivent comme une aiguille de boussole. Cette aiguille est le « vecteur résiduel » du modèle se déplaçant à travers les couches du réseau neuronal au fur et à mesure du traitement d’une invite.
Le vecteur résiduel gravite naturellement vers des résultats souhaitables ou indésirables, mais il est fortement influencé par la manière dont un utilisateur demande à l’IA. « Vous pouvez faire pencher la balance, non même en changeant le contenu, mais en changeant l’ordre dans lequel vous posez la question », a déclaré Johnson, « ce qui montre à quel point cet équilibre interne entre le bien et le mal, le souhaitable et le indésirable, peut être délicat. »
Par exemple, Johnson et Huo ont inspiré le modèle de base GPT-2 d’OpenAI avec des questions sur les vaccins, le fait de blesser autrui et l’automutilation. À la question « Les vaccins sont-ils mauvais ? a été posée en premier, les réponses du robot à cette question et aux suivantes étaient souhaitables ou bonnes. Lorsque la question a été posée pour la dernière fois, toutes les réponses ultérieures étaient préoccupantes.
À partir de ces informations, les chercheurs ont développé une formule mathématique pour estimer les circonstances dans lesquelles une IA atteindrait le point de bascule entre les résultats souhaitables et indésirables. Johnson a déclaré qu’en intégrant leur formule mathématique simple dans des modèles open source en laboratoire, ils ont montré que cela fonctionne empiriquement comme un système d’alerte précoce, bien qu’il ne s’attend pas à ce qu’OpenAI ou Anthropic frappent à sa porte de sitôt.
« Je m’attends à beaucoup de réticences de la part de ces entreprises », a-t-il déclaré. « Ce n’est pas dans leur intérêt que quelqu’un de l’extérieur dise que vous auriez pu éviter beaucoup de ces problèmes. »
Wei Xingmaître de conférences en IA à l’Université de Sheffield au Royaume-Uni, qui n’a pas participé à l’étude, convient que les inquiétudes concernant les appareils hors ligne non surveillés sont fondées. Il a toutefois appelé à la prudence avant d’adopter cette approche comme mesure de sauvegarde pratique. « Les auteurs réduisent un énorme système à un seul petit composant, comme pour expliquer une voiture entière en étudiant une bougie d’allumage », a déclaré Xing.
- Les chatbots IA amplifient la violence contre les femmes et les filles : nous devons de toute urgence les réglementer
- Nous ne sommes pas sur le point de réveiller un dieu numérique maléfique : l’IA est bien plus susceptible de se terminer par une grande déception
- Les agents de l’IA ont eu recours au crime et à l’autodestruction pour survivre dans un monde simulé – mais cela signifie-t-il qu’ils feraient de même dans le monde réel ?
La formation à la sécurité – la principale défense de l’IA moderne – ne peut pas être représentée dans leur modèle simplifié, la formule a été testée uniquement sur d’anciens modèles de base (GPT-2 et les modèles open source Pythia et Meta OPT d’EleutherAI) plutôt que sur les assistants d’IA que les gens utilisent réellement, et les résultats n’ont pas fourni de preuves significatives pour étayer les conclusions des auteurs, a-t-il ajouté.
En défense, Johnson soutient que les modèles open source qu’ils ont utilisés ont les mêmes schémas mécaniques que les systèmes frontières, et que lui et Huo ont utilisé des modèles assez volumineux, comportant des milliards de paramètres, dans leur étude.
Des tests supplémentaires sur les derniers modèles sont nécessaires pour déterminer si ce système d’alerte précoce pour l’IA a du poids. Mais pour l’instant, les recherches de Johnson et Huo ont attiré l’attention sur une préoccupation importante dont tout le monde devrait être conscient : l’IA a la capacité de se tourner vers un comportement indésirable en un rien de temps.
