Interactions personnes / systèmes robotiques à partir de

Interactions personnes / systèmes robotiques à
partir de caméras
M. Barnachon _ O. Ben-Henia _ L. Dutreve _ M. Portela Sotelo
A. Meyer _ E. Guillou _ S. Bouakaz _ J.M. Moreau _ E. Desserée
LIRIS - CNRS UMR 5205
1 Animations faciales
Une des thématique de l'équipe porte sur la capture et le transfert d'animations faciales, avec
application aux loisirs numériques. L'animation faciale est un des points clés dans le réalisme des
scènes 3D mettant en scène des humains, ceci à cause de notre faculté de détecter et d'analyser les
mouvements les plus _ns d'un visage. Dans ce contexte, nous présenterons deux aspects de nos
travaux sur l'animation de visage qui s'appuient sur des aspects vision/analyse :
• la mise en correspondance de deux maillages de visage qui nous sert à transférer de
paramètres d'animations d'un visage générique à un visage que l'on désire animer ;
• la capture monoculaire de mouvement de visage avec peu de marqueurs et leur transfert,
avec pour perspective la capturer des détails de déformations de peaux.
2 Motion Capture
Un autre pan de recherche est axé sur la capture de mouvement du corps humain à l'aide de
caméras. Dans des espaces d'acquisition vastes, nous sommes en mesure de reconstruire de façon
voxélique un corps, et d'identifier sa pose. Diverses méthodes ont été proposées, fournissant des
résultats de bonne qualité dans un environnement peu contrôlé.
Par ailleurs deux méthodes ont été proposé afin de suivre et reproduire les gestes d'une main, avec
une seul caméra et sans marqueur. L'estimation de la pose 3D est de bonne qualité et ouvre la porte
à de nombreuses interactions avec un ordinateur.
3 Suivi multi-objets basé modèle pour le contrôle de positionnement à partir de vidéo
dans une salle de traitement
Les récentes évolutions du traitement des tumeurs par radiothérapie demandent de développer de
nouveaux outils d'assistance pour contrôler à la fois le positionnement du patient par rapport à une
position de référence, mais aussi celui des robots chargés d'effectuer des tâches à distance relatives
au déplacement du patient ou des équipements liés à la séance de traitement. Le suivi à chaque
instant de tous les éléments de la salle permettrait de réduire la probabilité d'erreurs d'ordre physique
(manipulations, collisions, mouvements involontaires, etc.) mais aussi d'erreurs dans la configuration
de la salle de traitement par rapport au patient traité (principalement la présence et l'emplacement des
machines et des objets liés au traitement). Notre travail exploite les informations du patient (obtenues
par imagerie), souvent très précises, et du traitement (position des machines, accessoires utilisés,
etc.), pour créer un modèle numérique de la salle pour un patient donnée. Ce modèle est ensuite
manipulé à l'aide des techniques de recalage 3D afin de d'obtenir une représentation numérique _
équivalente _ à la réalité (vue par les caméras) à "tout instant". La complexité de ce type de
techniques est réduite par les contraintes liées aux traitements par radiothérapie, la salle de traitement
étant un "milieu contrôlé".
4 Travaux en cours
Nous sommes actuellement en train de travailler sur l'interprétation de ces captures. Une des pistes
explorées est l'interaction Homme-Machine. L'interprétation dans le cadre de la robotique semble tout
aussi pertinent. De même, l'utilisation de ses méthodes de capture afin de reconnaitre des émotions
est en cours d'étude. Dans ce contexte, nous bénéficions de méthodes de capture orientées sur
l'humain et sur ses parties plus spécifiques (tête et mains). Notre présentation s'articulera autour des
possibilités offertes par chacune de ses méthodes pour l'interaction Homme / Robotique.