Ai ‘hallucine’ constamment, mais il y a une solution

Le principal problème avec l’expérience de Big Tech avec intelligence artificielle (AI) n’est pas qu’il pourrait reprendre l’humanité. Ce sont que les modèles de langues importants (LLMS) comme le chatppt d’Open AI, les Gemini de Google et le lama de Meta continuent de se tromper, et le problème est insoluble.

Connu sous le nom d’hallucinations, l’exemple le plus important était peut-être le cas du professeur de droit américain Jonathan Turley, qui était accusé faussement de harcèlement sexuel par Chatgpt en 2023.

La solution d’Openai semble avoir été de « disparaître » Turley en programmation pour dire qu’elle ne peut pas répondre aux questions à son sujet, ce qui n’est clairement pas une solution juste ou satisfaisante. Essayer de résoudre les hallucinations après l’événement et le cas par cas n’est clairement pas la voie à suivre.

La même chose peut être dite des LLM amplification des stéréotypes ou donner Réponses centrées sur l’Ouest. Il y a aussi un manque total de responsabilité face à cette désinformation généralisée, car il est difficile de déterminer comment le LLM est parvenu à cette conclusion en premier lieu.

Nous avons vu un débat féroce sur ces problèmes après la sortie en 2023 de GPT-4, le plus récent paradigme majeur dans le développement de LLM d’Openai. On peut dire que le débat s’est refroidi depuis lors, mais sans justification.

L’UE a dépassé son AI AC En temps record en 2024, par exemple, dans le but d’être le leader mondial de la supervision de ce domaine. Mais la loi s’appuie fortement sur les entreprises d’IA pour se réguler sans vraiment s’adresser les questions en question. Il n’a pas empêché les entreprises technologiques de libérer les LLM du monde entier à des centaines de millions d’utilisateurs et de collecter leurs données sans examen approprié.

Entre-temps, le dernier tests indiquer que Même les LLM les plus sophistiqués restent peu fiables. Malgré cela, les principales sociétés d’IA Résister toujours à assumer la responsabilité pour les erreurs.

Malheureusement, les tendances des LLMS à désinformer et à reproduire le biais ne peuvent pas être résolues avec des améliorations progressives au fil du temps. Et avec l’avènement de AI agentiqueoù les utilisateurs pourront bientôt attribuer des projets à un LLM tel que, disons, la réservation de leurs vacances ou l’optimisation du paiement de toutes leurs factures chaque mois, le potentiel de problèmes devrait se multiplier.

Le domaine émergent de l’IA neurosymbolique pourrait résoudre ces problèmes, tout en réduisant les énormes quantités de données nécessaires à la formation LLMS. Alors, qu’est-ce que l’IA neurosymbolique et comment cela fonctionne-t-il?

Le problème LLM

Les LLM fonctionnent en utilisant une technique appelée apprentissage en profondeur, où elles reçoivent de grandes quantités de données de texte et utilisent des statistiques avancées pour déduire les modèles qui déterminent le mot ou la phrase suivant dans une réponse donnée. Chaque modèle – ainsi que tous les modèles qu’il a appris – est stocké dans les tableaux d’ordinateurs puissants dans de grands centres de données appelés réseaux de neurones.

Les LLM peuvent sembler raisonner en utilisant un processus appelé chaîne de pensées, où ils génèrent des réponses en plusieurs étapes qui imitent comment les humains pourraient logiquement arriver à une conclusion, sur la base des modèles observés dans les données de formation.

Sans aucun doute, les LLM sont une grande réussite technique. Ils sont impressionnants pour résumer le texte et la traduction, et peuvent améliorer la productivité de ces diligents et suffisamment compétents pour repérer leurs erreurs. Néanmoins, ils ont un grand potentiel à induire en erreur parce que leurs conclusions sont toujours basées sur des probabilités – et non à la compréhension.

Une solution de contournement populaire est appelée « humaine dans la boucle »: s’assurer que les humains utilisant des IS prennent toujours les décisions finales. Cependant, la répartition du blâme aux humains ne résout pas le problème. Ils seront encore souvent induits en erreur par une désinformation.

Les LLM ont maintenant besoin de tant de données de formation pour avancer que nous devons maintenant leur nourrir des données synthétiques, ce qui signifie des données créées par les LLM. Ces données peuvent copier et amplifier les erreurs existantes à partir de ses propres données source, de sorte que les nouveaux modèles héritent des faiblesses des anciennes. En conséquence, le coût de la programmation des IS est plus précis après leur formation – connue sous le nom de « l’alignement du modèle post-hoc » – monte en flèche.

Il devient également de plus en plus difficile pour les programmeurs de voir ce qui ne va pas, car le nombre d’étapes du processus de réflexion du modèle devient toujours plus grand, ce qui rend plus difficile à corriger les erreurs.

L’IA neurosymbolique combine l’apprentissage prédictif des réseaux de neurones avec l’enseignement de l’IA une série de règles formelles que les humains apprennent à être en mesure de délibérer de manière plus fiable. Ceux-ci incluent des règles de logique, comme « Si A alors B », comme « S’il pleut, tout l’extérieur est normalement mouillé »; Règles mathématiques, comme « Si a = b et b = c alors a = c »; et les significations convenues de choses comme des mots, des diagrammes et des symboles. Certains d’entre eux seront entrés directement dans le système d’IA, tandis qu’il en déduira d’autres en analysant ses données de formation et en faisant « l’extraction des connaissances ».

Cela devrait créer une IA qui n’hallucinera jamais et apprendra plus rapidement et plus intelligemment en organisant ses connaissances en parties claires et réutilisables. Par exemple, si l’IA a une règle sur le fait que les choses soient mouillées à l’extérieur lorsqu’il pleut, il n’est pas nécessaire qu’il conserve chaque exemple des choses qui pourraient être mouillées à l’extérieur – la règle peut être appliquée à tout nouvel objet, même celui qu’il n’a jamais vu auparavant.

Au cours du développement du modèle, l’IA neurosymbolique intègre également l’apprentissage et le raisonnement formel à l’aide d’un processus appelé « cycle neurosymbolique ». Cela implique des règles d’extraction d’IA partiellement formées de ses données de formation, puis de réinstaller ces connaissances consolidées dans le réseau avant de s’entraîner avec les données.

Cela est plus économe en énergie car l’IA n’a pas besoin de stocker autant de données, tandis que l’IA est plus responsable car il est plus facile pour un utilisateur de contrôler la façon dont il parvient à des conclusions particulières et s’améliore avec le temps. Il est également plus juste car il peut être fait de suivre des règles préexistantes, telles que: « Pour toute décision prise par l’IA, le résultat ne doit pas dépendre de la race ou du sexe d’une personne ».

La troisième vague

Le première vague de l’IA dans les années 1980, connue sous le nom d’IA symbolique, était en fait basée sur l’enseignement des règles formelles des ordinateurs qu’ils pourraient ensuite appliquer à de nouvelles informations. L’apprentissage en profondeur a suivi comme deuxième vague dans les années 2010, et beaucoup voient l’IA neurosymbolique comme le troisième.

Il est plus facile d’appliquer des principes neurosymboliques à l’IA dans les zones de niche, car les règles peuvent être clairement définies. Il n’est donc pas surprenant que nous l’avons vu d’abord émerger dans Google Alphafoldqui prédit les structures protéiques pour aider à la découverte de médicaments; et Alphageométriequi résout des problèmes de géométrie complexes.

Pour des AIS plus larges, la profondeur chinoise utilise un Technique d’apprentissage appelée « distillation » qui est un pas dans la même direction. Mais pour rendre l’IA neurosymbolique entièrement réalisable pour les modèles généraux, il doit encore y avoir plus de recherches pour affiner leur capacité à discerner les règles générales et à effectuer une extraction des connaissances.

On ne sait pas dans quelle mesure les fabricants de LLM travaillent déjà dessus. Ils semblent certainement qu’ils se dirigent vers le sens d’essayer d’enseigner à leurs modèles à réfléchir plus intelligemment, mais ils semblent également attachés à la nécessité de se développer avec des quantités de données toujours plus importantes.

La réalité est que si l’IA veut continuer à progresser, nous aurons besoin de systèmes qui s’adapteront à la nouveauté à partir de quelques exemples, qui vérifient leur compréhension, qui peuvent effectuer plusieurs tâches et réutiliser les connaissances pour améliorer l’efficacité des données et qui peut raisonner de manière fiable de manière sophistiquée.

De cette façon, la technologie numérique bien conçue pourrait potentiellement offrir une alternative à la réglementation, car les contrôles et contrepoids seraient intégrés à l’architecture et peut-être standardisés dans l’industrie. Il y a un long chemin à parcourir, mais au moins il y a un chemin à parcourir.

Cet article édité est republié à partir de La conversation sous une licence créative Commons. Lire le article original.