Une approche novatrice permet de déchiffrer les pensées humaines à partir de l’activité cérébrale, offrant des descriptions détaillées des perceptions visuelles. Ce développement a le potentiel d’améliorer la communication chez ceux qui en ont perdu la capacité.
Bien que l’exploration de l’activité cérébrale avec des technologies modernes ne soit pas un concept inédit, un chercheur a mis au point une technique innovante appelée « légende mentale », qui permet de lire les pensées humaines à partir d’examens cérébraux.
Parallèlement à l’invisibilité ou à une pluie de billets, la capacité de lire dans les pensées est un souhait partagé par de nombreuses personnes, et avec les avancées technologiques actuelles, cela devient une réalité.
Les techniques existantes se concentrent souvent sur l’identification de mots isolés reliés à des objets ou des actions que l’on observe, ou à associer des signaux cérébraux à des mots prononcés.
Certaines méthodes exploitent des bases de données de légendes ou des réseaux neuronaux profonds, mais ces approches restent limitées par la couverture des mots des bases de données ou introduisent des informations non présentes dans le cerveau.
La génération de descriptions structurées et détaillées des perceptions visuelles ou de pensées complexes demeure ardue.
Nouvelle technique de « légende mentale »
Un nouveau projet aborde cette problématique en développant une technique appelée « légende mentale ».
Cette méthode utilise un processus d’optimisation itérative où un modèle de langage simulé génère des descriptions textuelles, en alignant les caractéristiques du texte avec celles décodées par le cerveau.
La technique inclut également des modèles linéaires entraînés à décoder des caractéristiques sémantiques d’un modèle de langage profond, en utilisant l’activité cérébrale obtenue par IRMf.
Grâce à cette méthode, le chercheur a réussi à obturer des descriptions textuelles détaillées de ce qu’un participant voit dans sa pensée.
Technique de « légende mentale » testée en deux phases. Source: Tomoyasu Horikawa, Mind captioning: Evolving descriptive text of mental content from human brain activity. Sci. Adv. 11, eadw1464 (2025).
Analyse de l’activité cérébrale lors de la visualisation de vidéos
Dans la première phase des tests, six participants ont regardé 2196 courtes vidéos pendant que leur activité cérébrale était surveillée via l’IRMf. Les vidéos présentaient divers objets, scènes, actions et événements aléatoires, et comprenaient des locuteurs natifs japonais et des non-natifs anglais.
Les mêmes vidéos avaient préalablement été légendées par d’autres spectateurs, avec un modèle de langage préentraîné qui avait extrait des caractéristiques spécifiques.
Ces caractéristiques ont ensuite été combinées avec l’activité cérébrale pour générer du texte à travers un processus itératif avec un modèle de langage appelé RoBERTa-large.
Au départ, les descriptions étaient fragmentées et manquaient de clarté. Cependant, grâce à l’optimisation itérative, elles ont évolué vers une structure cohérente, capturant efficacement les aspects clés des vidéos visionnées. Les descriptions finales reflétaient fidèlement le contenu, intégrant les changements dynamiques des événements observés.
Le chercheur a observé que « même lorsque les objets spécifiques n’étaient pas identifiés avec précision, les descriptions réussissaient à transmettre la présence d’interactions entre différents objets ».
Le chercheur a ensuite comparé les descriptions générées avec des légendes correctes et incorrectes, afin de mesurer la précision, qui s’est élevée à environ 50%.
Cette précision est jugée supérieure à d’autres méthodes actuelles, offrant un potentiel d’amélioration pour l’avenir.
Comportement du cerveau lors du rappel des mêmes vidéos
Ensuite, les six participants ont été invités à se remémorer les vidéos, toujours sous IRMf, pour tester la capacité de la méthode à lire la mémoire plutôt que l’expérience visuelle.
Les résultats de cette partie des tests se sont également révélés encourageants.
Les analyses ont produit des descriptions reflétant avec précision le contenu des vidéos rappelées, même si la précision variait d’un participant à l’autre.
Pourquoi cette légende présente un potentiel
Pour les individus ayant perdu la capacité de communiquer, comme ceux ayant subi un AVC, cette technique, une fois perfectionnée, pourrait devenir un outil pour rétablir la communication.
La capacité du système à saisir des relations profondes et des significations complexes, au-delà de simples associations de mots, pourrait permettre à ces individus de récupérer une plus grande part de leur capacité communicative par rapport à d’autres méthodes d’interface cerveau-ordinateur.
Cependant, des enjeux de confidentialité et d’éventuels usages abusifs de la technologie doivent être pris en compte. Des optimisations supplémentaires et des tests sur des échantillons plus vastes sont nécessaires avant d’apporter cette technique aux personnes qui en ont besoin.
Le chercheur souligne que « notre approche combine interprétabilité, généralisation et performance, établissant une méthode transparente pour décoder la pensée non verbale en langage et ouvrant la voie à l’étude systématique de la sémantique structurée dans le cerveau humain ».