Cette IA trouve des modèles d’activité cérébrale visuelle et les transforme en images

Un intelligence artificielle (IA) peut utiliser des scanners cérébraux pour recréer les images que les gens regardaient avec une précision étrange.

Le système, appelé Brain-IT, utilise les données de l’imagerie par résonance magnétique fonctionnelle (IRMf) pour mesurer l’activité du cortex visuel, la partie de le cerveau qui traite les entrées visuelles. Un modèle informatique prédit ensuite à la fois la présentation générale d’une image et des informations de haut niveau sur son contenu. Il transmet ensuite ces prédictions à un générateur d’images IA, ont expliqué les chercheurs dans un article. étude téléchargée dans la base de données de prépublication arXiv. La recherche a été présentée au ICLR 2026 conférence, tenue du 23 au 25 avril, et rendue publique par ses auteurs en septembre.

Brain-IT s’appuie sur une approche appelée Encodeur cérébral universel. Ce modèle commence par une image, puis prédit la réponse IRMf qui serait attendue dans des « voxels » individuels – de petites unités 3D – lors d’un scanner cérébral.

« L’idée clé est que chaque voxel, un minuscule cube de tissu cérébral, possède son propre vecteur appris qui capture ce qui l’intéresse en images », a déclaré le premier auteur de l’étude. Romain Beliydoctorant au Département d’informatique et de mathématiques appliquées de l’Institut des sciences Weizmann en Israël.

Certains voxels peuvent être adaptés à des éléments relativement simples d’une image, tels que des bords, des textures ou des emplacements. D’autres pourraient répondre à des catégories abstraites de niveau supérieur, comme les visages, les corps ou les scènes.

Regardant dans ton esprit

Les systèmes traditionnels d’image vers IRMf ont généralement été formés sur mesure pour chaque participant et ensemble de données. L’Universal Brain Encoder est plus flexible. Selon l’étude, il apprend des données de plusieurs personnes et peut transférer des informations entre participants, ensembles de données ou différents systèmes d’IRM avec différentes intensités de champ magnétique.

Un voxel peut déterminer quelles parties d’une image lui sont pertinentes en fonction de son profil appris, en disant essentiellement : « Je reconnais les bords. Quelles parties de cette image sont des bords ?

L’Universal Brain Encoder commence par une image et prédit l’activité cérébrale ; Brain-IT commence par mesurer l’activité cérébrale et reconstruit l’image vue par la personne. En d’autres termes, il demande « sur la base de cette activité cérébrale, qu’est-ce que le sujet regardait ? ». Il trie des milliers de minuscules mesures d’analyse cérébrale du cortex visuel en 128 groupes en fonction du type d’informations visuelles qu’elles ont tendance à véhiculer.

Le système permet ensuite à ces groupes de partager des indices entre eux, ce qui lui permet de combiner, par exemple, des informations sur la forme, la couleur et les objets possibles d’une scène, pour construire une image plus complète de l’image, a expliqué Beliy.

Le décodeur produit deux types de prédictions visuelles. L’un capture des informations sémantiques – les caractéristiques associées à ce qui est probable dans une scène ; pour une image d’un chien debout dans l’herbe, par exemple, cela inclurait des éléments tels que les caractéristiques d’un chien et un cadre extérieur herbeux. L’autre capture des informations structurelles, comme la disposition visuelle générale ou la manière dont les formulaires sont disposés.

Dans l’exemple ci-dessus, il s’agirait d’aspects tels que le contour du chien ou l’endroit où il était positionné dans le cadre. La prédiction structurelle donne au générateur un point de départ pour l’image, plutôt que de partir du bruit pur, tandis que les informations sémantiques guident un générateur d’image qui supprime la statique restante jusqu’à ce que l’image émerge.

Bien que le nouvel outil puisse recréer ce que les gens voient, il ne peut pas reproduire des souvenirs ou des scènes imaginées.

« Nous ne lisons pas dans les pensées des gens », co-auteur de l’étude Michel Iraniinformaticien à l’Institut des sciences Weizmann, a déclaré à Live Science. « Les images que nous parvenons à récupérer à partir de l’IRMf nécessitent la coopération des gens et une collaboration totale. »

Comment les scientifiques ont testé le modèle

Les images synthétiques de Brain-IT ont été comparées aux images vues par les participants. Brain-IT a surpassé les méthodes de pointe précédentes sur les mesures de reconstruction objective standard et a produit des résultats plus fidèles, ont écrit les auteurs de l’étude. Le système a brillé lorsque des données IRMf limitées d’un nouveau participant étaient disponibles, avec seulement une heure de données d’un nouveau participant produisant des résultats aussi précis que les approches précédentes qui avaient été formées sur 40 heures d’enregistrements.

Cependant, une sortie avec un score élevé ou d’aspect réaliste ne doit pas être confondue avec une copie parfaite de ce que quelqu’un a vu.

Lors de la dernière étape du traitement, le système utilise un générateur de diffusion standard entraîné sur un nombre massif d’images. Des modèles comme celui-ci génèrent des images plausibles et peuvent lisser les textures, accentuer les traits du visage ou combler les détails manquants.

Beliy a déclaré que cette « embellissement » peut rendre les reconstructions plus raffinées et plus convaincantes et introduire des détails qui ne proviennent pas nécessairement des données cérébrales elles-mêmes. En d’autres termes, l’analyse contraint l’image générée, mais le modèle d’IA fournit une partie de son réalisme à partir de modèles appris dans les photographies.

Pourquoi ce n’est pas un décodage de mémoire

Bien que le nouveau système produise des résultats impressionnants pour les images vues, il ne peut pas être utilisé pour reconstruire une image imaginée ou mémorisée.

« Brain-IT s’appuie sur la façon dont le cerveau traite une image vue », a déclaré Irani. « Les informations circulent des yeux jusqu’au cortex visuel primaire, puis à travers une série de zones visuelles qui reconnaissent les objets et les scènes. »

Dans une expérience contrôlée, les chercheurs savent également précisément quelle image a été affichée, donnant ainsi au modèle une cible lors de la formation et de l’évaluation. En revanche, les souvenirs et les images imaginées n’offrent pas la même référence nette. Ils peuvent être vagues et façonnés par les réseaux cérébraux impliqués dans la mémoire et la pensée, avec une réactivation seulement partielle et plus faible des régions visuelles, a expliqué Irani. L’une des limites qui empêcherait le déploiement à grande échelle de cette technologie est que le seul moyen d’obtenir des résultats fiables consiste à recourir à l’IRMf, qui est lourde et coûteuse. L’équipe expérimente actuellement l’utilisation de données d’électroencéphalogramme (EEG) plus faciles à collecter, obtenues via des électrodes sur la tête, mais ce travail en est à ses premiers stades, selon Irani.

Le nouveau système pourrait aider les chercheurs sur le cerveau à mieux comprendre quelles informations visuelles sont représentées dans différentes régions du cerveau, comment ces régions interagissent et comment les schémas individuels diffèrent. De tels outils pourraient éventuellement révéler des différences dans le traitement visuel qui pourraient aider les cliniciens à repérer les troubles neurologiques, neurodéveloppementaux et psychiatriques.

« Il existe de nombreuses applications médicales utiles vers lesquelles nous nous efforçons actuellement », a déclaré Irani. « Celles-ci incluent l’utilisation de notre codeur/décodeur cérébral pour détecter et analyser les troubles cérébraux tels que MSSSPT, autisme et troubles psychiatriques.