Décodage de la lecture silencieuse à partir d'EEG non invasif : Extraction d'informations lexicales à vocabulaire ouvert
Cet article traite du dilemme central des données dans le décodage non invasif de la parole interne : l'impossibilité d'obtenir des corpus appariés d'activité cérébrale et de monologue intérieur spontané. Il propose la lecture silencieuse comme tâche proxy extensible et étudie combien d'informations lexicales et sémantiques un décodeur contrastif peut en extraire. À partir d'un seul sujet à échantillonnage dense, sur 393 sessions (environ 49 heures) d'EEG à électrodes sèches à 19 canaux, environ 240 000 mots ont été présentés par présentation visuelle série rapide avec une mise en page randomisée pour découpler l'identité du mot de sa forme visuelle de bas niveau. Un encodeur EEG à convolution s'enchaîne sur un transformer causal, alignant les fenêtres EEG sur les embeddings d'état caché d'un LLM via un objectif contrastif de type CLIP. Le décodage est évalué par recherche top-10 par groupe de mots, stablement au-dessus du hasard, s'étendant aux fréquences moyennes et basses ainsi qu'aux mots rares, et croissant linéairement avec la quantité de données d'entraînement sans signe de saturation. La suppression des électrodes occipitales et temporales postérieures réduit le gain au niveau du mot d'environ un tiers tout en préservant le suivi du contexte. Les résultats établissent que l'information au niveau des mots à vocabulaire ouvert est récupérable dans la lecture silencieuse, et que le décodage est limité par la quantité de données plutôt que par la saturation.
Contexte
Le décodage non invasif de la parole interne traîne depuis longtemps un problème de données plutôt qu'un problème de modélisation. Pour restituer le monologue intérieur spontané, il faudrait enregistrer simultanément l'activité cérébrale et les mots réellement pensés ou prononcés, or ces corpus appariés ne se collectent pas de façon systématique. Les solutions existantes sont pires encore : la répétition dirigée et la génération à partir de rapports rétrospectifs sont lentes à acquérir, mal synchronisées dans le temps, et reposent sur une conformité des sujets qu'on ne peut vérifier. L'article comble directement ce vide en reformulant la question comme un problème empirique disposant de données disponibles.
Le pari proposé est un pivot pragmatique : utiliser la lecture silencieuse comme tâche proxy extensible. Les participants lisent un texte narratif continu pendant l'enregistrement EEG, si bien que les mots présentés sont connus avec exactitude et que le paradigme reste entièrement contrôlé. La question scientifique centrale devient alors mesurable : quelle part d'information lexicales et sémantiques un décodeur contrastif peut-il extraire de l'EEG pendant une lecture silencieuse passive ?
Analyse approfondie
Les données proviennent d'un seul sujet à échantillonnage dense, réparti sur 393 sessions totalisant environ 49 heures d'EEG à 19 canaux à électrodes sèches, avec environ 240 000 mots présentés. Les mots apparaissent par présentation visuelle série rapide, et la mise en page est randomisée à chaque essai. Ce découpage découpe délibérément l'identité du mot de sa forme visuelle de bas niveau, empêchant le modèle de dériver vers un raccourc visuel au lieu d'apprendre de véritables signaux lexicaux.
Côté modélisation, un encodeur EEG à convolution sert d'épine dorsale d'extraction de caractéristiques, éventuellement suivi d'un transformer causal pour modéliser les dépendances temporelles. L'entraînement repose sur un objectif contrastif de type CLIP alignant de courtes fenêtres EEG sur les embeddings d'état caché des mots présentés, extraits d'un grand modèle de langage. Cet alignement projette les signaux cérébrale dans un espace sémantique, ce qui confère la capacité à vocabulaire ouvert : le décodage n'a pas besoin de se fermer sur un vocabulaire d'entraînement fixe.
L'évaluation s'appuie sur la recherche top-10 par groupe de mots, confrontée à une baseline de permutation. La performance se maintient stablement au-dessus du hasard et s'étend au-delà des mots fréquents aux fréquences moyennes et basses ainsi qu'aux mots rares, signe qu'apprentissage a acquis des représentations lexicales généralisées plutôt que mémorisé les mots d'entraînement. L'accuracy croît de façon logarithmiquement-linéaire avec la quantité de données d'entraînement, sans aucun signe de saturation.
Impact sur l'industrie
La portée de ce travail dépasse largement les gains de précision d'une seule expérience. Elle démontre à la communauté open source et aux chercheurs en décodage cérébral que l'information au niveau des mots à vocabulaire ouvert peut être récupérée depuis un EEG de lecture silencieuse facilement disponible, jetant les bases de faisabilité d'une interface cerveau-ordinateur à électrodes sèches, bon marché, de longue durée et à domicile.
Les expériences d'abolition révèlent une structure claire des contributions spatiales : supprimer les électrodes occipitales et temporales postérieures réduit le gain au niveau du mot d'environ un tiers tout en préservant le suivi du contexte. Cela montre que le décodage mot-à-mot et le suivi contextuel sont partiellement dissociables dans leurs sources neurales, la région occipito-temporale contribuant substantiellement à l'information mot-à-mot. Des analyses de contrôle ont par ailleurs dissocié le décodage lexical, le suivi du contexte narratif et le prior de position non neuronal introduit par les embeddings de position du transformer.
Perspectives
Bien que l'étude repose sur un seul sujet, son volume de données et la précision de son paradigme sont rares dans le domaine, posant des fondations solides pour une extension multisujets et une translation clinique. Le paradigme proxy établi, le cadre d'alignment contrastif et la méthode dissociant l'information mot-à-mot de l'information contextuelle offrent des chemins techniques réutilisables pour les objectifs plus larges du décodage de la parole interne et du décodage sémantique du cerveau.
La découverte qu'une lecture silencieuse restitue une information à vocabulaire ouvert laisse penser qu'elle pourrait devenir une source de données majeure pour le décodage sémantique cérébral. Les travaux futurs devront valider ces résultats à travers sujets et modalités, mais la conclusion pilotée par les données oriente le domaine vers la priorisation de l'échelle de collecte comme principal levier de progrès, plutôt que vers la complexité modélisée excessive.