Le philosophe grec, Platon, a écrit sur Socrate défiant un élève avec le problème « double de la place » en environ 385 avant notre ère lorsqu’on lui a demandé de doubler la zone d’un carré, l’étudiant a doublé la longueur de chaque côté, ignorant que chaque côté du nouveau carré devrait être la longueur de la diagonale de l’original.
Les scientifiques de l’Université de Cambridge et de l’Université hébraïque de Jérusalem ont sélectionné le problème à poser à Chatgpt en raison de sa solution non évidente. Depuis la rédaction de Platon il y a 2 400 ans, les chercheurs ont utilisé le doublement du problème carré pour déterminer si les connaissances mathématiques nécessaires pour la résoudre sont déjà en nous, publiées par la raison ou uniquement accessibles par l’expérience.
La réponse est venue lorsque l’équipe est allée plus loin. Comme décrit dans une étude publiée le 17 septembre dans la revue Journal international d’éducation mathématique en sciences et technologiesils ont demandé au chatbot de doubler la zone d’un rectangle en utilisant un raisonnement similaire. Il a répondu que parce que la diagonale d’un rectangle ne peut pas être utilisée pour doubler sa taille, il n’y avait pas de solution en géométrie.
Cependant, le boursier de l’Université de Cambridge en visite Nadav Marco de l’Université hébraïque de Jérusalem et professeur d’enseignement mathématique Andreas Stylianidessavait qu’une solution géométrique existait.
Marco a déclaré que les chances de la fausse affirmation existant dans les données de formation de Chatgpt étaient « de manière disparue », ce qui signifie qu’il improvisait des réponses basées sur une discussion précédente sur le doublement du problème carré – une indication claire de l’apprentissage généré plutôt que inné.
« Lorsque nous sommes confrontés à un nouveau problème, notre instinct est souvent d’essayer les choses en fonction de notre expérience passée », a déclaré Marco le 18 septembre dans un déclaration. « Dans notre expérience, Chatgpt semblait faire quelque chose de similaire. Comme un apprenant ou un érudit, il semblait proposer ses propres hypothèses et solutions. »
Machines qui pensent?
L’étude met en lumière les questions sur les questions sur le intelligence artificielle (AI) Version du « raisonnement » et de la « pensée », ont déclaré les scientifiques.
Parce qu’il semblait improviser les réponses et même faire des erreurs comme l’élève de Socrate, Marco et Stylianides suggérés par Chatgpt pourraient utiliser un concept que nous connaissons déjà de l’éducation appelée un zone de développement proximal (ZPD), qui décrit l’écart entre ce que nous savons et ce que nous pourrions éventuellement savoir avec les bonnes conseils éducatifs.
Chatgpt, ont-ils dit, pourraient utiliser un cadre similaire spontanément, résolvant de nouveaux problèmes qui ne sont pas représentés dans les données de formation simplement grâce aux bonnes invites.
C’est un exemple brutal du problème de la boîte noire de longue date dans l’IA, où la programmation ou le « raisonnement » qu’un système traverse pour parvenir à une conclusion est invisible et introuvable, mais les chercheurs ont déclaré que leur travail souligne finalement l’opportunité de mieux fonctionner l’IA pour nous.
« Contrairement aux preuves trouvées dans les manuels réputés, les étudiants ne peuvent pas supposer que les preuves de Chatgpt sont valides », a déclaré Stylianides dans le communiqué. « La compréhension et l’évaluation des preuves générées par l’IA sont en train de devenir des compétences clés qui doivent être intégrées dans le programme de mathématiques. »
C’est une compétence de base qu’ils veulent que les élèves maîtrisent dans des contextes éducatifs, ce qu’ils ont dit nécessite une meilleure ingénierie rapide – par exemple, en disant à l’IA «je veux que nous explorions ce problème ensemble» plutôt que «» dites-moi la réponse. «
L’équipe est prudente quant aux résultats, nous avertissant de ne pas les interpréter et conclure que les LLM « élaborent des choses » comme nous. Mais, Marco a qualifié le comportement de Chatgpt comme «semblable à l’apprenant».
Les chercheurs voient la possibilité de recherches futures dans plusieurs domaines. Des modèles plus récents peuvent être testés sur un ensemble plus large de problèmes mathématiques, et il est également possible de combiner Chatgpt avec des systèmes de géométrie dynamique ou des provers de théorème, créant des environnements numériques plus riches qui prennent en charge une exploration intuitive, par exemple, dans la façon dont les enseignants et les élèves utilisent l’IA pour travailler ensemble dans les salles de classe.
