Lorsqu’on nous demande d’évaluer à quel point nous sommes bons dans quelque chose, nous avons tendance à nous tromper complètement. Il s’agit d’une tendance humaine universelle, dont l’effet est plus marqué chez ceux qui ont des niveaux de capacité inférieurs. Appelé le Effet Dunning-KrugerSelon les psychologues qui l’ont étudié pour la première fois, ce phénomène signifie que les personnes qui ne sont pas très bonnes dans une tâche donnée sont trop confiantes, tandis que les personnes ayant de grandes capacités ont tendance à sous-estimer leurs compétences. Cela est souvent révélé par des tests cognitifs, qui contiennent des problèmes permettant d’évaluer l’attention, la prise de décision, le jugement et le langage.
Mais maintenant, des scientifiques de l’Université Aalto en Finlande (avec des collaborateurs en Allemagne et au Canada) ont découvert qu’en utilisant intelligence artificielle (IA) supprime pratiquement l’effet Dunning-Kruger – en fait, elle l’inverse presque.
À mesure que nous devenons tous plus familiarisés avec l’IA grâce à la prolifération des grands modèles de langage (LLM), les chercheurs s’attendaient à ce que les participants soient non seulement meilleurs dans leur capacité à interagir avec les systèmes d’IA, mais également à mieux juger de leurs performances dans leur utilisation. « Au lieu de cela, nos résultats révèlent une incapacité significative à évaluer avec précision les performances d’une personne lorsqu’elle utilise l’IA de manière égale dans notre échantillon. » Robin Welschun informaticien de l’Université Aalto qui a co-écrit le rapport, a déclaré dans un communiqué déclaration.
Aplatir la courbe
Dans l’étude, les scientifiques ont confié à 500 sujets des tâches de raisonnement logique issues du Test d’admission à la faculté de droitdont la moitié est autorisée à utiliser le chatbot IA populaire ChatGPT. Les deux groupes ont ensuite été interrogés sur leurs connaissances en IA et sur leurs performances, et ont promis une compensation supplémentaire s’ils évaluaient leurs propres performances avec précision.
Les raisons derrière ces résultats sont variées. Parce que les utilisateurs d’IA étaient généralement satisfaits de leur réponse après une seule question ou invite, acceptant la réponse sans autre vérification ou confirmation, on peut dire qu’ils se sont livrés à ce que Welsch appelle un « déchargement cognitif » : interroger la question avec une réflexion réduite et l’aborder d’une manière plus « superficielle ».
Moins d’engagement dans notre propre raisonnement – appelé « surveillance métacognitive » – signifie que nous contournons les boucles de rétroaction habituelles de la pensée critique, ce qui réduit notre capacité à évaluer avec précision nos performances.
Plus révélateur encore est le fait que nous surestimons tous nos capacités lorsque nous utilisons l’IA, quelle que soit notre intelligence, l’écart entre les utilisateurs hautement et peu qualifiés se réduisant. L’étude attribue cela au fait que les LLM aident chacun à mieux performer dans une certaine mesure.
Même si les chercheurs n’y ont pas fait directement référence, cette découverte arrive également à un moment où les scientifiques en nous interrogeant, nous commençons à nous demander si les LLM courants sont trop flagorneurs. L’équipe d’Aalto a mis en garde contre plusieurs ramifications potentielles à mesure que l’IA se généralise.
Premièrement, la précision métacognitive pourrait en souffrir. À mesure que nous nous appuyons davantage sur les résultats sans les remettre en question rigoureusement, un compromis apparaît dans lequel les performances des utilisateurs s’améliorent mais l’appréciation de la façon dont nous accomplissons les tâches diminue. Sans réfléchir aux résultats, sans vérifier les erreurs ou sans raisonner plus en profondeur, nous risquons de réduire notre capacité à obtenir des informations de manière fiable, ont déclaré les scientifiques dans l’étude.
De plus, l’aplatissement de l’effet Dunning-Kruger signifiera que nous continuerons tous à surestimer nos capacités lorsque nous utilisons l’IA, et que les plus instruits parmi nous le feront encore plus – conduisant à un climat accru de prise de décision mal calculée et à une érosion des compétences.
L’une des méthodes suggérées par l’étude pour arrêter un tel déclin consiste à demander à l’IA elle-même d’encourager les utilisateurs à s’interroger davantage, les développeurs réorientant les réponses pour encourager la réflexion – en posant littéralement des questions telles que « dans quelle mesure avez-vous confiance dans cette réponse ? ou « qu’est-ce que vous avez pu manquer? » ou autrement promouvoir une interaction plus poussée grâce à des mesures telles que les scores de confiance.
La nouvelle recherche ajoute encore du poids à la conviction croissante selon laquelle, comme la Royal Society a récemment soutenula formation en IA doit inclure la pensée critique, et pas seulement les compétences techniques. « Nous… proposons des recommandations de conception pour les systèmes d’IA interactifs afin d’améliorer la surveillance métacognitive en permettant aux utilisateurs de réfléchir de manière critique à leurs performances », ont déclaré les scientifiques.
