Approches actuelles pour intelligence artificielle (IA) sont peu susceptibles de créer des modèles qui peuvent correspondre à l’intelligence humaine, selon une récente enquête auprès d’experts de l’industrie.
Sur les 475 chercheurs de l’IA, interrogés pour l’enquête, 76% ont déclaré que la mise à l’échelle des modèles de langue importante (LLM) était « improbable » ou « très peu probable » pour atteindre l’intelligence générale artificielle (AGI), la jalon hypothétique où les systèmes d’apprentissage automatique peuvent apprendre aussi efficacement, ou mieux, que les humains.
Il s’agit d’un licenciement remarquable des prévisions de l’industrie technologique selon laquelle, comme le boom de l’IA génératif de 2022, a soutenu que les modèles actuels de l’IA de pointe n’ont besoin que de données, de matériel, d’énergie et d’argent pour éclipser l’intelligence humaine.
Maintenant, comme le modèle récent publie apparaître à stagnerla plupart des chercheurs interrogés par le Association pour l’avancement de l’intelligence artificielle Je pense que les entreprises technologiques sont arrivées dans une impasse – et l’argent ne les en sortira pas.
« Je pense que cela est apparent depuis peu après la libération de GPT-4, les gains de l’échelle ont été incrémentiels et coûteux » » Stuart Russellun informaticien de l’Université de Californie à Berkeley qui a aidé à organiser le rapport, a déclaré à Live Science. « (Les sociétés d’IA) ont déjà trop investi et ne peuvent pas se permettre d’admettre qu’elles ont fait une erreur (et) être hors du marché pendant plusieurs années lorsqu’elles doivent rembourser les investisseurs qui ont mis des centaines de milliards de dollars. Ainsi, tout ce qu’ils peuvent faire, c’est doubler. »
Diminuer les rendements
Les améliorations surprenantes des LLM ces dernières années sont en partie dues à leur architecture de transformateur sous-jacente. Il s’agit d’un type d’architecture d’apprentissage en profondeur, créé pour la première fois en 2017 par Google Scientists, qui grandit et apprend en absorbant les données de formation de la contribution humaine.
Cela permet aux modèles de générer des modèles probabilistes à partir de leurs réseaux de neurones (collections d’algorithmes d’apprentissage automatique disposées pour imiter la façon dont le cerveau humain apprend) en les alimentant en avant lorsqu’il est invite, avec leurs réponses améliorant la précision avec plus de données.
Mais la mise à l’échelle continue de ces modèles nécessite des quantités alléentes d’argent et d’énergie. L’industrie de l’IA génératrice a augmenté 56 milliards de dollars dans le capital-risque mondial en 2024 seulement, avec une grande partie de celle-ci dans la construction d’énormes complexes de centres de données, dont les émissions de carbone ont Triplé depuis 2018.
Les projections montrent également que les données finies générées par l’homme essentielles pour une nouvelle croissance seront très probablement épuisées À la fin de cette décennie. Une fois que cela s’est produit, les alternatives seront de commencer à récolter des données privées auprès des utilisateurs ou pour renvoyer des données « synthétiques » générées par l’IA dans des modèles qui pourrait les mettre au risque de s’effondrer à partir des erreurs créées après avoir avalé leur propre entrée.
Mais les limites des modèles actuels sont probablement non seulement parce qu’ils ont faim des ressources, selon les experts en enquête, mais en raison des limites fondamentales de leur architecture.
« Je pense que le problème de base avec les approches actuelles est qu’ils impliquent tous la formation de grands circuits à action directe », a déclaré Russell. «Les circuits ont des limites fondamentales comme moyen de représenter les concepts. battre facilement Les programmes GO « surhumains » « .
L’avenir du développement de l’IA
Tous ces goulots d’étranglement ont présenté des défis majeurs aux entreprises travaillant pour augmenter les performances de l’IA, provoquant des scores sur les références d’évaluation à plateau Et le modèle GPT-5 d’Openai n’apparaît jamais, ont déclaré certains des répondants à l’enquête.
Les hypothèses selon lesquelles des améliorations pouvaient toujours être apportées par la mise à l’échelle ont également été sapées cette année par la société chinoise Deepseek, qui correspondait aux performances des modèles coûteux de la Silicon Valley à une fraction du coût et de la puissance. Pour ces raisons, 79% des répondants de l’enquête ont déclaré que les perceptions des capacités de l’IA ne correspondent pas à la réalité.
« Il y a beaucoup d’experts qui pensent que c’est une bulle », a déclaré Russell. « En particulier lorsque des modèles raisonnablement hautes performances sont donnés gratuitement. »
Pourtant, cela ne signifie pas que les progrès dans l’IA sont morts. Les modèles de raisonnement – des modèles spécialisés qui consacrent plus de temps et de puissance de calcul aux requêtes – il a été démontré que Réponses plus précises que leurs prédécesseurs traditionnels.
L’appariement de ces modèles avec d’autres systèmes d’apprentissage automatique, en particulier après avoir été distillés à des échelles spécialisées, est un chemin passionnant à suivre, selon les répondants. Et le succès de Deepseek pointe vers Beaucoup plus de place pour l’innovation d’ingénierie dans la façon dont les systèmes d’IA sont conçus. Les experts indiquent également que la programmation probabiliste ayant le potentiel de construire plus près de l’AGI que les modèles de circuits actuels.
« L’industrie place un grand pari qu’il y aura des applications de grande valeur de l’IA générative », » Thomas Dietterichun professeur émérite d’informatique à l’Oregon State University qui a contribué au rapport, a déclaré à Live Science. « Dans le passé, les grandes avancées technologiques ont nécessité 10 à 20 ans pour montrer de grands rendements. »
« Souvent, le premier lot d’entreprises échoue, donc je ne serais pas surpris de voir de nombreuses startups Genai d’aujourd’hui échouer », a-t-il ajouté. « Mais il semble probable que certains réussissent un succès. J’aimerais savoir lesquels. »
