Gest-art : un avatar pour l`apprentissage du - fablab

Proposition sujet projet ENSIMAG 2A
Gest-art : un avatar pour l’apprentissage du langage via la gestualité
Cadre
Encadrants : Maisonnasse Jérôme, Dohen Marion, Rochet-Capellan Amélie
Lieu: FabLab Ensimag/MJK
Contexte
Ce projet s’inscrit dans un projet de recherche sur le rôle du geste manuel dans l’apprentissage de la
parole, vers le développement de plateformes pour l’apprentissage et la rééducation de la parole,
basées sur le jeu et les technologies immersives. Ex. : projet Marionnect, http://vimeo.com/49039887
Problématique et objectif global
Quand nous parlons, nous bougeons non seulement notre appareil phonatoire mais aussi très souvent
nos mains. La pratique des orthophonistes et la recherche scientifique suggèrent que les gestes
manuels peuvent faciliter l’acquisition du langage par les enfants souffrant de troubles de la parole.
Dans ce cadre, notre objectif est de prototyper un outil permettant à l’enfant de développer sa
gestualité communicative. L’outil permettra: (1) à l’enfant d’apprendre « sans s’en rendre compte »;
(2) aux thérapeutes d’avoir des données sur la progression de l’enfant ; (3) aux chercheurs d’évaluer
objectivement le rôle du geste dans l’acquisition du langage et de la parole.
Tâche
Il s’agira de prototyper un jeu basé sur l’interaction communicative par le geste :
1. Animer des personnages imaginaires (2D ou 3D) - bras et mains à partir de la capture des
gestes communicatifs d’un “éducateur”, ces gestes simplifiés désigneront des personnages ou
des objets pré-définis;
2. Réaliser un programme de reconnaissance de ces gestes afin de pouvoir les identifier quand
l’enfant les produira et de générer des événements adaptés dans le jeu;
3. Implémenter un ou plusieurs scénarii de jeu satisfaisant deux types d’objectifs :
- Evaluation de la mémorisation/compréhension du geste par l’enfant: Par exemple, le “clône”
de l’éducateur apparaît et propose à l’enfant de “jouer”: il désigne des objets avec des gestes
seulement ou des gestes associés à de la parole, l’enfant “attrape” ces objets dans le jeu via des gestes
de pointage/saisie ou bien présente au système les objets réels désignés par le geste ;
- Evaluation de la production/de l’expression par le geste: l’enfant imite le geste ou anime son
avatar par des gestes pour interagir avec « l’éducateur » dans le jeu.
Le système mémorise les paramètres des gestes effectués par l’enfant en production et ses
performances en réception pour permettre aux thérapeutes et aux chercheurs de traiter ces données.
Le jeu pourra inclure des objets tangibles simplifiant l’interaction, par exemple, pour s’identifier,
sélectionner des personnages, donner des réponses, en présentant ces objets à la caméra par exemple.
Méthodes
Dans le cadre du projet, vous pourrez découvrir :
− les outils de développement de Kinect (OpenNi),
− des outils de vision par ordinateur (OpenCV),
− des outils de classification pour la reconnaissance de gestes.
Plusieurs approches pourront être expérimentées pour trouver le meilleur résultat.
L'essentiel de ces outils sont en C++.
Vous aurez également à développer l'architecture du jeu (automate) pour mettre en œuvre les scénarii
et les différents éléments de l'interface.
Dans le cadre de ce projet, vous aurez l'opportunité d'approfondir vos savoir-faire en génie logiciel,
développement C++ et découvrir des outils de vision par ordinateur dans un contexte d’application
ludique et pédagogique lié à des enjeux de recherche appliquée.