Le plus avancé intelligence artificielle (AI) obtient, plus il « hallucine » et fournit des informations incorrectes et inexactes.
Recherche Dirigé par Openai, a révélé que ses modèles de raisonnement les plus récents et les plus puissants, O3 et O4-MinI, hallucinés 33% et 48% du temps, respectivement, lorsqu’ils sont testés par Benchmark PersonQA d’Openai. C’est plus du double du taux du modèle O1 plus ancien. Alors que O3 fournit des informations plus précises que son prédécesseur, il semble se produire au prix d’hallucinations plus inexactes.
Cela soulève une préoccupation concernant l’exactitude et la fiabilité des modèles de grande langue (LLM) tels que les chatbots IA, dit Eleanor Watsonmembre des ingénieurs de l’Institut d’électricité et de l’électronique (IEEE) et ingénieur d’éthique de l’IA à la Singularity University.
« Lorsqu’un système obtient des informations fabriquées – telles que des faits, des citations ou des événements inventés – avec la même maîtrise et la même cohérence qu’il utilise pour un contenu précis, il risque les utilisateurs trompeurs de manière subtile et conséquente », a déclaré Watson à Live Science.
La question de l’hallucination met en évidence la nécessité d’évaluer et de superviser soigneusement les informations que les systèmes d’IA produisent lors de l’utilisation de LLMS et de modèles de raisonnement, selon les experts.
Est-ce que AIS rêve de moutons électriques?
Le nœud d’un modèle de raisonnement est qu’il peut gérer des tâches complexes en les décomposant essentiellement en composants individuels et en proposant des solutions pour les aborder. Plutôt que de chercher à lancer des réponses en fonction de la probabilité statistique, les modèles de raisonnement proposent des stratégies pour résoudre un problème, un peu comme la façon dont les humains pensent.
Afin de développer des solutions créatives et potentiellement nouvelles à des problèmes, l’IA doit halluciner – autrement elle est limitée par des données rigides que son LLM ingère.
« Il est important de noter que l’hallucination est une fonctionnalité, pas un bug, de l’IA », » Sohrob Kazerounianun chercheur de l’IA chez Vectra AI, a déclaré à Live Science. « Pour paraphraser un de mes collègues, » tout ce qu’un LLM sort est une hallucination. C’est juste que certaines de ces hallucinations sont vraies. » Si une IA ne générait que des sorties textuelles qu’elle avait vues pendant la formation, toute l’IA se réduirait à un problème de recherche massif. «
« Vous ne pourriez que générer du code informatique qui avait été écrit auparavant, de trouver des protéines et des molécules dont les propriétés avaient déjà été étudiées et décrites, et répondre aux questions de devoirs qui avaient déjà été posées auparavant.
En effet, les SMM et les systèmes d’IA dont ils ont besoin pour halluciner pour créer, plutôt que de simplement servir les informations existantes. Il est similaire, conceptuellement, à la façon dont les humains rêvent ou imaginent des scénarios lorsqu’ils évoquent de nouvelles idées.
Penser trop hors des sentiers battus
Cependant, Hallucinations AI Présentez un problème lorsqu’il s’agit de fournir des informations précises et correctes, surtout si les utilisateurs prennent les informations à valeur nominale sans vérification ni surveillance.
« Cela est particulièrement problématique dans les domaines où les décisions dépendent de la précision factuelle, comme la médecine, le droit ou la finance », a déclaré Watson. « Alors que des modèles plus avancés peuvent réduire la fréquence des erreurs factuelles évidentes, le problème persiste dans des formes plus subtiles. Au fil du temps, la confabulation érode la perception des systèmes d’IA en tant qu’instruments fiables et peut produire des dommages matériels lorsque le contenu non vérifié est agi. »
Et ce problème semble être exacerbé à mesure que l’IA avance. « À mesure que les capacités du modèle s’améliorent, les erreurs deviennent souvent moins manifestes mais plus difficiles à détecter », a noté Watson. « Le contenu fabriqué est de plus en plus ancré dans des récits plausibles et des chaînes de raisonnement cohérentes. Cela introduit un risque particulier: les utilisateurs peuvent ignorer que des erreurs sont présentes et peuvent traiter les résultats comme définitifs lorsqu’ils ne le sont pas. Le problème ne se révèle pas de filtrer les erreurs brutes pour identifier des distorsions subtiles qui peuvent ne se révéler que sous le contrôle de près. »
Kazerounian a soutenu ce point de vue. « Malgré la croyance générale que le problème de l’hallucination de l’IA peut et s’améliorera avec le temps, il semble que la génération la plus récente de modèles de raisonnement avancé ait peut-être commencé à halluciner plus que leurs homologues plus simples – et il n’y a pas d’explications convenues pour expliquer pourquoi », a-t-il déclaré.
La situation est encore compliquée car il peut être très difficile de déterminer comment les LLMS proposent leurs réponses; Un parallèle pourrait être établi ici avec la façon dont nous ne savons toujours pas vraiment, comment fonctionne un cerveau humain.
Dans un récent essai, Dario Amodeile PDG de la société d’IA Anthropic, a souligné un manque de compréhension dans la façon dont les AIS proposent des réponses et des informations. « Lorsqu’un système d’IA génératif fait quelque chose, comme résumer un document financier, nous n’avons aucune idée, à un niveau spécifique ou précis, pourquoi il fait les choix qu’il fait – pourquoi il choisit certains mots par rapport à d’autres, ou pourquoi il fait parfois une erreur malgré le fait d’être exact », a-t-il écrit.
Les problèmes causés par l’IA hallucinant les informations inexactes sont déjà très réelles, a noté Kazerounian. « Il n’y a pas de moyen universel, vérifiable, d’obtenir un LLM pour répondre correctement aux questions posées sur certains corpus de données auxquelles il a accès », a-t-il déclaré. « Les exemples de références hallucinées inexistantes, de chatbots orientés clients constituant une politique de l’entreprise, etc., sont désormais trop courantes. »
Rêves écrasants
Kazerounian et Watson ont déclaré à Live Science que, en fin de compte, les hallucinations de l’IA peuvent être difficiles à éliminer. Mais il pourrait y avoir des moyens d’atténuer le problème.
Watson a suggéré que la «génération auprès de la récupération», qui fonde les sorties d’un modèle dans les sources de connaissances externes organisées, pourrait aider à garantir que les informations produites par l’IA sont ancrées par des données vérifiables.
« Une autre approche consiste à introduire une structure dans le raisonnement du modèle. réponses.
« Enfin, les systèmes peuvent être conçus pour reconnaître leur propre incertitude. Plutôt que de défaut avec des réponses confiantes, les modèles peuvent être enseignés à signaler lorsqu’ils ne sont pas sûrs ou à s’en remettre au jugement humain le cas échéant », a ajouté Watson. « Bien que ces stratégies n’éliminent pas complètement le risque de confabulation, elles offrent un chemin pratique à suivre pour rendre les sorties d’IA plus fiables. »
Étant donné que l’hallucination de l’IA peut être presque impossible à éliminer, en particulier dans les modèles avancés, Kazerounian a conclu que les informations que les LLM produisent devront être traitées avec le « même scepticisme que nous réservons pour les homologues humains ».
