Accueil
Partenaires
Recherche
Publications
Expérimentations
Matériel
Contacts

Responsable : Laurent Bougrain, équipe Cortex (LORIA)

Contexte scientifique

Introduction aux interfaces cerveau-ordinateur

Les interfaces cerveau-ordinateur ou brain-computer interfaces (BCI) [1], interprètent l’activité cérébrale pour produire des commandes sur un ordinateur ou d’autres périphériques comme un fauteuil roulant [2]. Une BCI permet donc à son utilisateur, et en particulier à une personne ayant un fort handicap moteur, d’interagir avec son environnement uniquement par la pensée.

Une variabilité de la commande mentale non maîtrisée

Une des difficultés majeures pour bien interpréter la commande mentale réside dans le fait que l’activité cérébrale est très variable même dans le cas où une tâche particulière est reproduite à l’identique. Au delà du bruit acquis par le système d’enregistrement, les autres activités cérébrales non liées à la commande mentale ou encore l’état de concentration, de fatigue ou la médication du sujet sont à l’origine de cette variabilité.

Cette variabilité rend difficile la reconnaissance de la commande mentale par le système. Aussi, généralement, l’effort d’adaptation incombe au sujet. Celui-ci doit changer de stratégie. Concrètement, cela signifie par exemple, que pour générer des rythmes mu et beta autour de la position C3, il peut imaginer ouvrir ou fermer sa main droite (stratégie 1), imaginer des rotations du poignet (stratégie 2) ou encore jouer du piano (stratégie 3). On mesure alors laquelle des trois stratégies est la mieux reconnue par le classifieur. Il est également possible de présenter à l’utilisateur une visualisation de sa production cérébrale, appelée retour ou neurofeedback, pour mieux générer les bonnes commandes mentales. Toutefois, cet effort n’est pas toujours suffisant. Il devient donc nécessaire d’étudier de nouvelles solutions pour traiter cette variabilité.

Intérêt de l’apprentissage par renforcement

Ainsi, il s’avère maintenant nécessaire de réaliser des systèmes de décision qui s’adaptent à la variabilité et à l’évolution de la production cérébrale et qui s’améliorent au fur et à mesure de l’utilisation de l’interface. C’est pourquoi quelques projets introduisent un apprentissage par renforcement dans leur système BCI. Actuellement, les solutions détaillées concernent l’utilisation d’un potentiel d’erreur qui lorsqu’il est détecté suite à une mauvaise reconnaissance du classifieur permet d’exécuter la deuxième action la plus probable [3] ou de modifier le classifieur [4]. Nous proposons d’utiliser l’apprentissage par renforcement dans un contexte plus général.

Etude proposée

Les différentes étapes correspondant à l’enregistrement de l’activité cérébrale, au traitement du signal, à la prise de décision et à l’exécution de la commande forment une boucle de contrôle ouverte. En réalité dans une tâche de contrôle, la boucle est fermée. Ainsi, dans le cas du contrôle d’une prothèse ou d’un bras robotique, le contrôle visuel joue un rôle important pour corriger le mouvement initié. On parle d’un système sensorimoteur. L’utilisateur effectue des actions et perçoit les résultats de ses actions.

Nous souhaitons dans ce projet montrer qu’un apprentissage par renforcement [5,6,7,8,9,10] permet d’améliorer le contrôle d’un bras robotique de type Manus en utilisant conjointement des commandes mentales et des informations visuelles.

Programme de travail

1. Apprentissage d’une tâche de pointage sur cible fixe en utilisant la solution d’une équation cinématique : Une cible parmi cinq situées sur un demi-cercle est choisie au hasard (Figure 1). Le bras doit atteindre la cible à partir de la position centrale de départ. Les coordonnées de la cible et de la position de départ sont connues. Le mouvement à effectuer par le bras est calculé de manière classique en résolvant l’équation cinématique.

2. Apprentissage d’une tâche de pointage sur cible fixe à partir de données cérébrales

Même tâche qu’à l’étape 1, mais le mouvement du bras est appris à partir d’une séquence de commandes mentales en utilisant un algorithme par renforcement. La récompense utilisée est la distance entre l’extrémité du bras et la cible.

3. Apprentissage d’une tâche de pointage bruitée sur cible fixe à partir de données cérébrales avec un retour visuel

Le mouvement du bras appris à l’étape 2 est perturbé par un léger bruit sur les moteurs. Une caméra placée au dessus de la scène rend compte de la perturbation. La distance à la cible (?x, ?y) est ajoutée aux entrées c’est-à-dire à la commande mentale. Un nouvel apprentissage par renforcement est appliqué lequel tient compte dorénavant également de l’information visuelle pour générer la commande motrice.

4. Apprentissage d’une tâche de pointage sur cible mobile à partir de données cérébrales avec un retour visuel

La cible (par exemple un robot Khepera) se déplace lentement sur le demi-cercle où étaient matérialisées les cinq cibles fixes utilisées aux étapes 1 à 3. Le bras doit toucher la cible. L’information visuelle indiquant la distance entre l’extrémité du bras et la cible vient corriger le mouvement initial demandé par la commande mentale.

Participants

  • LORIA/INRIA Nancy grand-est : Cortex (neurosciences computationnelles)
    • Laurent Bougrain, maître de conférences à Nancy-Université/UHP
    • Thierry Vieville, directeur de recherche INRIA
  • Supélec – Campus de Metz : IMS (Information, Multimodalité & Signal)
    • Olivier Pietquin, Enseignant-chercheur à Supélec Metz
    • Matthieu Geist, Enseignant-chercheur à Supélec Metz
  • Université de Metz : Laboratoire d’Automatique humaine et de Sciences Comportementales
    • Etienne Losson, maître de conférences à université Paul Verlaine de Metz
    • Guy Bourhis, professeur des universités à l’université Paul Verlaine de Metz
    • Pierre Pino, maître de conférences à l’université Paul Verlaine de Metz
  • LORIA/INRIA Nancy grand-est : MAIA (Machine intelligente et autonome)
    • Alain Dutech, chargé de recherche INRIA
    • Olivier Buffet, chargé de recherche INRIA

Intérêt scientifique de la collaboration

L’association de ces équipes régionales permet d’avoir l’ensemble des compétences nécessaires à la réussite du projet car elle regroupe des chercheurs en traitement du signal (IMS), apprentissage par renforcement (IMS, MAIA) [8,9,10], décodage des signaux cérébraux (Cortex) [11,12] et interface utilisateur (LASC)[13]. L’IMS, CORTEX et le LASC ont une déjà une expérience dans le domaines des BCIs. Les trois centres possèdent au moins un amplificateur EEG.

Porteur

Laurent Bougrain est le coordinateur d’un projet international STIC-AmSud 2009-2010 sur la détection rapide de potentiels évoqués pour les BCI synchrones et le lauréat d’une compétition BCI internationale en 2008 sur la prédiction de la flexion des doigts de la main à partir de signaux ECoG (électro-corticogramme) [12,13]. Il est l’organisateur d’une session spéciale interfaces cerveau-machine à la conférence AMINA08 (Applications Médicales de l’Informatique : Nouvelles Approches) et du premier Workshop Chilien sur les BCI qui s’est déroulé à Vina del Mar en octobre 2009. En 2009, il était conférencier invité sur le thème des BCI dans deux conférences étrangères : Argentine Symposium on Brain-Computer Interfaces et Chilean Symposium of Biomedical Engineering. Il a également participé à une école d’été sur les neurosciences computationnelles pour y présenter les interfaces cerveau-ordinateur non invasives.

Besoins

1. Matériel

Le IARM (Intelligent Assistant Robot Manipulator) de la société néerlandaise Exact Dynamics (http://www.exactdynamics.nl) est un bras robotique qui contribue à une plus grande autonomie de vie : manger, boire, ouvrir une porte, etc. Le IARM est monté sur un fauteuil roulant électrique et se branche sur la batterie du fauteuil. Le IARM a une portée de 80 cm, comme le bras humain et pèse 9kg.

Il dispose de cinq menus différents de contrôle du bras en fonction des besoins. Il est possible en particulier de contrôler indépendamment chacun des 6 degrés de liberté ou bien de demander des déplacements sur un axe (coordonnées cartésiennes). Ce contrôle peut se faire par un clavier, un joystick ou par un seul bouton. Techniquement, le module de contrôle convertit la position finale décrite par ses coordonnées (x, y, z) et l’orientation de la pince (tangage, lacet et roulis) en un ensemble d’angles désirés par l’application de la cinématique inverse. Il existe un émulateur en cours de développement (http://sourceforge.net/projects/man...) L’ensemble de ces aptitudes va nous permettre de contrôler efficacement le bras à partir d’une BCI.

Rappelons que chacun des trois centres impliqués dans ce projet possède un système d’acquisition électroencéphalographique. Aucune demande n’est à faire de ce côté-là.

2. Ressources humaines :

En plus des chercheurs mentionnés dans la section « participants », Baptiste Payan, ingénieur dans l’équipe Cortex dans le cadre d’une ADT (aide au développement technologique de l’INRIA) contribuera dans une certaine mesure au projet. Plus précisément, cette ADT a pour but de développer la plate-forme OpenViBE pour la réalisation de nouvelles interfaces cerveau-ordinateur (http://openvibe.inria.fr). Il participera donc si besoin à l’implémentation de l’interface dans OpenViBE.

Nous comptons également demander le soutien du SED de l’INRIA Nancy Grand Est, à travers Olivier Rochel, ingénieur roboticien lequel pourrait contribuer à la prise en main du bras robotique.

Bibliographie

[1] J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, and T. M.Vaughan, “Brain-computer interfaces for communication and control”. Clinical Neurophysiology, vol. 113, no. 6, pp. 767–791, 2002

[2] Johan Philips, José del R. Millán, Gerolf Vanacker, Eileen Lew, Ferran Galán, Pierre W. Ferrez, Hendrik Van Brussel and Marnix Nuttin. Adaptive Shared Control of a Brain-Actuated Simulated Wheelchair. IEEE 10th International Conference on Rehabilitation Robotics, June 12-15. 2007

[3] P. Ferrez, Error-related EEG potentials in brain-computer interfaces. Thèse sciences de Ecole polytechnique fédérale de Lausanne, no 3928, 2007

[4] M. Clerc et al. ANR Co-adapt, 2009

[5] J. Peters et S. Schaal, Reinforcement learning of motor skills with policy gradients. Neural Networks, vol°21, pp682-697, 2008

[6] F. Razvan, A reinforcement learning algorithm for spiking neural networks. In Proc. of the Seventh Int. Symposium on Symbolic and Numeric Algorithms for Scientific Computing, pp299—306, 2005

[7] P. Bartlett and J. Baxter, Hebbian Synaptic Modifications in Spiking Neurons that Learn. The Austrialian National University, Canberra, Australia, 1999

[8] M. Geist, O. Pietquin, G. Fricout, "From Supervised to Reinforcement Learning : a Kernel-based Bayesian Filtering Framework". In International Journal on Advances in Software, ISBN : 1942-2628, 2(1):101-116, 2009.

[9] R. Aras, A. Dutech, An investigation into Mathematical Programming for Finite Horizon Decentralized POMDPs, Journal of Artificial Intelligence Research, 2010

[10] S. Thiébaux, O. Buffet, Operations Planning, In Markov Decision Processes in Artificial Intelligence, ISTE Ltd and John Wiley & Sons Inc (Ed.) 2010

[11] N. Liang and L. Bougrain. "Decoding Finger Flexion using amplitude modulation from band-specific ECoG", LNCS (to appear)

[12] http://ida.first.fraunhofer.de/proj...

[13] S. Ghedira, P. Pino, G. Bourhis, Conception and experimentation of a communication device with adaptative scanning, ACM Transactions on Accessible Computing, special issue on Augmentative and Alternative Communication, vol.1, n°3, article n°14, 2009

 
Informatique Située - Plate-forme
"Appartement intelligent pour l'assistance à la personne"
CoBras