Clavier virtuel multimodal Applications à des

Clavier virtuel multimodal
Applications à des situations de handicap moteur
Philippe Alexia, Jaime Lopez Krahe (1), Jean-Paul Mazeau (2)
Université Paris 8, Laboratoire THIM (1), EA 4004 (CHART), LTCM (2)
D 303, 2, rue de la liberté - Saint-Denis 93526 Cedex 02
[email protected], [email protected], [email protected]
Résumé :
Cette communication se situe dans le thème « interfaces
homme-homme et homme-machine » et dans la catégorie
des interfaces à manipulations directes. Elle propose de
communiquer avec une machine au moyen d’un clavier
virtuel implanté dans un volume pouvant atteindre plusieurs dizaines de mètres cubes. Dans ce volume nous
« installons » des touches virtuelles qui sont définies par
des régions fixes ou mobiles. Comme les touches traditionnelles, ces touches interactives vont permettre d’établir
une communication gestuelle directe entre les éléments qui
évoluent dans le volume interactif, et les ordinateurs auxquels ils sont « reliées ». L’application qui est traité ici
correspond à une interface adaptative destinée à des personnes handicapées moteurs.
Mots clés : Interface corporelle, désignation gestuelle,
ordinateur sans clavier, représentation visuelle, multimodalité, clavier adapté.
Abstract :
Once the function & the characteristics of the Keyboard
have been recalled, the aim of this communication is to
suggest a substitution of a material keyboard by a virtual
keyboard set into an interactive space which is limited by a
volume that can range a hundred cubic meters. In that
volume we set virtual keys which are defined by fixed or
mobile volumes. As with the traditional keys, these interactive keys will allow the setting up of a gestual communication between the persons within the keys & the computers to which these keys are connected.
Keywords: corporal interface, designation by gesture, visual representation, the keyboard-free, specialized device.
1
INTRODUCTION
L’application « clavier virtuel », est une interface
Homme/machine tridimensionnelle qui se situe dans un
espace vide. Nous pouvons lui donner l’image
d’un « espace 3D interactif au toucher ». Nous présenterons ici ses principales fonctionnalités et caractéristiques.
L’application est développée sur une base PC Windows de
configuration classique.
Les touches du clavier peuvent «flotter» dans l’espace
d’interaction, se déplacer et se déformer indépendamment
les unes des autres. [1]
Pour des personnes ne pouvant utiliser des claviers
conventionnels, nous pouvons créer des touches personnalisées, quant à leur forme, emplacement et couleurs. Ceci
permet une adaptation à des systèmes de communication
iconique [2] ou à des systèmes adaptatifs du type pointeur
validation [3].
2
RAPPEL DES INTERFACES
HOMME/ORDINATEUR POUR PERSONNES
HANDICAPEES
Le contrôle de l’environnement informatique se fait principalement au moyen du clavier et de la souris. Ces deux
éléments posent des difficultés d’utilisation en cas
d’handicap moteur. Ces difficultés sont très diverses, leurs
substitutions a souvent un but précis : comme l’usage d’un
joystick, d’un stylet ou d’une tablette graphique.
Les systèmes informatiques proposent quelques solutions
d’accessibilité en générale très limitées (utilisation de
touches de raccourci, claviers virtuels, usage adapté à une
seule main, etc.). A titre d’exemple et sans vouloir être
exhaustifs, nous citerons quelques interfaces pour un
contrôle alternatif de l’environnement informatique. Ces
équipements ont comme objectif d’être adaptés aux conditions d’utilisation d’une personne avec des difficultés de
motricité, la variabilité des besoins étant fort importante
[4].
Les modalités d’accessibilité alternative peuvent se classifier en trois types : le clavier, le pointage et validation et le
défilement. [5]
2.1 Claviers
Guide-doigts : ils sont dédiés à ceux qui ont tendance à
appuyer sur plusieurs touches à la fois par manque de précision, fatigue, etc., il permet à l'utilisateur de stabiliser ses
mains en évitant ainsi l'activation involontaire de plusieurs
touches à la fois. Il peut être transparent et se pose sur un
clavier de forme classique.
Claviers temporisés : ils permettent de déclencher une
touche après un certain laps de temps. (par exemple, il
facilite le Ctrl-Alt-Suppr de Windows).
Claviers ergonomiques et/ou à des dimensions adaptées
: mini claviers, claviers à une main (ex: pour les personnes
amputés d’un bras ou ayant une paralysie de l’hémicorps),
claviers au pied (JPR), claviers à bouche avec licorne.
Claviers virtuels : Il s’agit de logiciels faisant apparaître à
l’écran un clavier commandé par l’intermédiaire d'une
souris ou d'un émulateur de souris, certains claviers ont un
mode de défilement successif des touches afin d'être utilisable par un simple contacteur, en parcourant à chaque
clic: les lignes du clavier puis les colonnes. La frappe de
texte est moins rapide que celle d'un clavier matériel et une
fonctionnalité peut permettre de prédire les mots à partir de
dictionnaires ou de claviers iconiques [6], [7].
faiblesses musculaires ou encore pour ceux utilisant habituellement un joystick pour conduire leur fauteuil électrique. Ce peut être aussi un joystick de type jeu vidéo « tout
public». Il faudra alors lui associer un driver comme : «
joystick to mouse » ou « Joymouse » qui va reconnaître
votre joystick comme une souris.
Souris au doigt : Il s’agit d’un pavé tactile pouvant être
branché en externe. Ce dispositif de pointage remplace la
souris traditionnelle sur tous les ordinateurs portables. Pour
bouger le curseur il suffit de glisser le doigt à travers la
surface du touchpad. Le touchpad est de petite taille (environ 12x11x1cm), ce qui a de nombreux avantages. Il possède de plus des boutons et une zone en haut à droite paramétrable.
Interfaces d'émulation de souris
Figure 1 : Clavier virtuel « Clavicom »
Claviers programmables d'aide à la communication :
Ces claviers permettent d’organiser le clavier « Azerty » à
votre guise (grosse taille de lettres, créer votre pavé de
déplacement souris, programmer des touches combinées,
etc.). Ils peuvent avoir un usage auprès de ceux qui ont des
mouvements athétosiques, incoordonnées mais pouvant
pointer une surface élargie. En réalité, ils sont souvent
utilisés en rééducation auprès du public polyhandicapé.
Ces types de claviers ne sont pas utilisés pour du traitement de texte simple mais au titre d’outil de communication, d’évaluation, de rééducation, d’éveil des capacités
cognitives par les professionnels. Par exemple, pour ceux
qui ne possèdent pas le langage écrit, les cases sont composées d’images (pictogrammes) symbolisant un objet ou
une action.
Claviers dynamiques Il s’agit de systèmes d’optimisation
de parcours pour claviers logiciels. Les lettres sont placées
près de celle qui a été frappée précédemment et grâce à un
système de prédiction, l’objectif étant d’obtenir un gain de
la vitesse de saisie. Un exemple est le système KeyGlasses
[8]
2.2
Souris de tête pour les personnes tétraplégiques : il
s’agit d’un dispositif qui interprète les mouvements de tête
de l’utilisateur, le plus souvent au moyen d’une ou plusieurs caméras.
Figure 2 : HeadDev (souris par détection de forme)
La méthode employée peut être un programme chargé de
détecter un point fixe du visage (Figure 2), comme le nez,
pour l’utiliser comme souris. Le système « HeadDev »
utilise ce principe par le biais d’une Webcam de type standard. Ce logiciel peut être téléchargé sur :
http://fundacion.vodafone.es/VodafoneFundacion/Fundaci
onVodafone/0,,25311,00.html [31-01-08]
Souris
Trackball ou souris à boule inversé : il en existe de différente taille et de forme, des mini TrackBall (pouvant être
encastré dans un clavier) à la TrackBall plus grosse (celle
que l’on voit en supermarché pour les enfants).
Il existe aussi des Trackball de petite taille qui peuvent
être tenus dans la main. Des petits mouvements suffisent
pour son utilisation (par exemple du doigt).
Joystick : il en existe de toute forme répondant ainsi à
plusieurs sortes de difficultés. Souvent le joystick est utile
quand la motricité fine distale est imparfaite. Ce peut-être
un joystick miniaturisé et souple pour quelqu’un avec des
Figure 3 : IRDATA 2000 (souri s par détection infrarouge)
D’autres systèmes simplifient ce repérage dans l’espace
par l’apport d’une pastille adhésive réfléchissante que le
patient place sur son front qui est localisée par un tracker
infrarouge chargé d'orienter le déplacement pointeur sur
l’écran en fonction des mouvements de tête (voir Figure 3).
Souris visuelle : une caméra filme les mouvements de
l’œil et fait bouger le curseur à l'écran en fonction de la
direction du regard. En quelque sorte, il suffit de regarder
les touches d'un clavier pour écrire, ou « promener » le
regard sur l'écran pour dessiner. Technologiquement, il
s'agit d'un appareil très sophistiqué. Il peut servir de base à
des applications informatiques standards, au contrôle de
l'environnement, à l'aide à la communication.
2.3
Clavier et souris combinés
Ecran et dalle tactile, commande ou dictée vocale,mais
aussi des couples constitués d'un clavier virtuel et d'un
dispositif de pointage étendu à la surface totale de l'écran.
Claviers avec gestion autonome de la souris : Ils offrent
une émulation complète de la souris et du clavier pour un
système de défilement. L'utilisateur sélectionne une action
en actionnant un ou plusieurs contacteurs, telle que « déplacer le curseur vers le haut », « faire défiler les fonctions
d'un clavier ». Par exemple, SwitchXS propose plusieurs
méthodes configurables de défilement avec un ou plusieurs
contacteurs. Il comporte plusieurs dispositions de clavier
prédéfinies. [9]
3
3.1
NOTRE CLAVIER VIRTUEL
Apports du projet
Le clavier virtuel que nous avons mis en œuvre ne demande aucun matériel spécifique à la situation de handicap. Il nécessite une amplitude de déplacement supérieure
à 20 cm. L’utilisateur contrôle les touches par le bout de
son doigt ou un autre membre comme le pied.
Figure 4 : VisioBoard (souris visuelle)
Souris à bouche : Elle permet à l’utilisateur d’activer avec
la bouche toutes les fonctions d’une souris standard. Une
aspiration ou une expiration minimale permet de commander les clics de la souris.
Souris à touches : chaque bouton représente une flèche
contrôlant la direction du curseur à l'écran.
Souris par contacteurs : son principe est identique à la
souris à touche à l'exception que chaque bouton peut être
affecté à un contacteur quelconque, par exemple un contacteur : par simple appui, au souffle, pneumatique, par
contraction musculaire, etc... Par exemple, « Mouse mover
» permet d’émuler le déplacement et les clics de souris par
l'intermédiaire de contacteurs externes (directions: haut,
bas, gauche, droite; clics: gauche, droit, double, maintenu
pour un « glissé-déposé »).
Mécanismes de clic de souris
Il s’agit de contacteurs spécifiques qui permettent la validation du pointage.
Contacteurs à pression, au souffle, sonore, sensitif, par
mouvement physique sans contact, musculaire, à tirer,
pneumatique, temporisateur, etc.
Figure 5 : (4)Cône représentant une touche virtuel, (1) Webcam, (2)
touche graphique, (3) écran.
Le traitement est entièrement logiciel et l'interface manipulée se situe dans un espace « vide » (dans le champ caméra). Le clavier virtuel est visible à l’écran au dessus du plan
filmé, pour que l’utilisateur se voit agir sur les touches
graphiques. Ainsi, il désigne un volume dans l'espace filmé
(voir Figure 5). Une touche peut être fixe ou mobile. Les
intérêts du projet sont :
- de travailler sur n’importe quel ordinateur muni
d’une Webcam,
- de gérer dynamiquement la position et le comportement des touches,
- d’établir une marge d’erreur de l’utilisateur par le
volume des touches,
- de se déplacer dans un espace vide, ce qui autorise des mouvements amples,
- d’absorber les tremblements du patient par le vo-
-
-
lume d’une touche,
de mettre à jour le programme au mesure des
améliorations techniques et des évolutions du
handicap,
d’exploiter la taille du clavier, pour des mouvements restreints, ou au contraire, pour une activité
physique dans un contexte sportif, rééducatif, voir
artistique.
3.4
Appropriation de l’espace d’interactivité
3.2
Définition
Dans le cas général nous admettons qu’un clavier virtuel
est inscrit dans un espace réel 3D vidé de tout matériel. Un
espace réel étant un volume représentant le champ de vision d’une caméra. Cet espace contient un ensemble de
cônes vides fixes ou mobiles et de section quelconque. Ces
cônes se substituent aux touches matérielles des claviers ou
graphiques des écrans tactiles. Ce sont les relations entre
ces volumes et les objets identifiés par des spectres de
couleurs qui permettent la communication entre les utilisateurs et l’ordinateur.
Le clavier virtuel s’utilise directement avec le corps et ses
membres.
Figure 7 : Schéma de l’installation sur table. (1) Webcam, (2) Ecran ,
(3)Un gant, main, doigt dont la couleur est uniforme et réservée à ce seul
objet.
Examinons ici le matériel et les liaisons requises. La
Figure 7 montre les principaux éléments. Le système doit
interpréter la position de l’usager par rapport à
l’ordonnancement des touches actuelles. Pour analyser les
gestes de l’utilisateur, nous utilisons une Webcam fixe, son
cône de vision définit le volume maximum d’interactions.
Elle sera disposée à la verticale. L’image de la caméra
contient tous les éléments nécessaires à l’interaction, avec
les images affichées sur un ou plusieurs écrans.
3.5
Figure 6 : notre clavier virtuel
3.3
Prototypes
Notre application permet la mise en relation et l’interaction
entre plusieurs objets graphiques représentés dans un
écran, et plusieurs objets réels visualisés dans le même
écran. Cette interaction se décompose en trois temps:
l’interprétation des espaces réels, la mise en relation avec
les objets graphiques et la visualisation de l’espace mixte.
Celui-ci contient l’ensemble des éléments d’origine réels
ou graphiques qui interviennent dans une application. Ce
cycle d’interaction se fait en temps réel. Le système actuel
a été utilisé dans plusieurs maquettes destinées à l’écriture
de textes (Figure 6), à des formes de rééducations fonctionnelles, des claviers de commande virtuels sur des applications de sensibilisation : au tri de déchet, à la sécurité
routière, etc.
Echelle de représentation
La taille et l’emplacement du clavier sont optimisés en
fonction de l’application. Il existe une échelle entre le
clavier virtuel, qui se situe dans l’espace vide, et sa représentation à l’écran, par conséquent la taille du clavier affiché détermine le volume du clavier virtuel. La hauteur de
la caméra permet aussi d’ajuster cette « échelle
pixels/centimètres ».
La hauteur d’une touche virtuelle est égale à la hauteur du
cône de vision caméra. Par exemple, pour une touche sous
forme d’un disque plein, nous aurons un cône de section
circulaire. Afin de mieux se repérer dans l’espace, l’arrière
plan est l’image de la caméra.
La Figure 8 représente la taille du clavier virtuel à différentes distances de l’objectif caméra.
Figure 8 : clavier virtuel par rapport au cône de vision caméra
3.6
Environnement lumineux
L’application doit être utilisée dans un environnement
lumineux stable ou variant faiblement. De plus nous devons traiter les parasites qui perturbent la détection d’un
membre. Pour cela, nous devons contrôler le fond afin de
le discriminer des éléments de désignation. La segmentation des couleurs permet au système de visualiser le membre corporel interactif. Si une ambiguïté existe lors de la
détection il nous suffit d’agir sur les filtres de l’image
comme le contraste, la luminosité, la balance des blancs.
De plus la taille réduite des parasites permet aussi de les
distinguer automatiquement.
3.7
Contrôle des interactions
3.7.1
Touche
Une touche virtuelle peut avoir trois états : « survolée »,
« validée » et « inactive ». Ces états sont utilisés par les
algorithmes pour l’habillage dynamique, graphique et
sonore des applications.
3.7.2
Validation des touches du clavier
Pendant le survol d’une touche, sa validation peut
s’effectuer de différentes façons, nous suggérons trois
scénarios de déclenchement :
- par le temps (appliqué à la démonstration actuelle), où la saisie n’est valide qu’après un survol
continu d’une durée donnée,
- par simple survol de touches optimisées et organisées afin de déclencher et valider plus rapidement,
- par un deuxième « outil corporel de désignation »
comme le pied.
4
4.2.2
Configuration matériel et logiciel requis
Pour une image en 640*480, l’ordinateur doit avoir une
vitesse d’horloge supérieure ou égale à 2,8 GHz, sinon
l’application devra être utilisée en 320*240.
Les autres minima requis sont :
- Windows
2000/XP
comme
système
d’exploitation, avec DirectX version 9.0 ou
plus pour la gestion des périphériques
- 1 Go de mémoire vive (RAM) permet de travailler aisément sur d’autres logiciels, tout en utilisant
l’application de manière permanente
- Une Webcam ou un autre système de capture relié
à une carte d’acquisition.
(Remarque: Pour les PC dont la vitesse d’horloge est inférieure à 2 GHz, certains pilotes de Webcam limitent le
débit à 5 FPS)
Notre ordinateur est équipé d’une carte graphique NVIDIA
GeForce FX 5200 (128 Mo).
5
CONCLUSSIONS ET PERSPECTIVES
Après un premier contact avec des ergothérapeutes susceptibles de nous aider dans la phase de validation, un ensemble de recommandations nous ont été données avant de
proposer une phase de test. La plus importante est de
convertir la résolution de l’espace de représentation de la
caméra à la résolution de l’écran de manière à rendre compatible le système avec une émulation complète de la souris et de faciliter la navigation sur Internet par exemple
[10]. Ceci implique des transformations géométriques
simples, mais qui peuvent devenir incompatibles avec le
traitement en temps réel. Des travaux en cours nous permettront d’évaluer ces possibilités avant d’effectuer des
tests en grandeur nature.
DEMONSTRATION DU PROTOTYPE
6
4.1
Description
L’application permet d’écrire des caractères dans une fenêtre sélectionnée.
Le survol des touches est signalé par un son et une coloration. La validation temporelle est signifiée par la recopie
du caractère dans la fenêtre ciblée et la recoloration de la
touche.
Une touche de basculement, permet la sonorisation en
français ou en anglais de chaque touche survolée.
4.2
6.1
[1]
[2]
[3]
Caractéristiques de l’image
4.2.1
Vitesse de rafraîchissement
La résolution de la fenêtre est égale à celle de la caméra.
Les vitesses relevées pour un PC à 3 GHz de CPU, sont les
suivantes :
- 21 images par secondes (FPS) en 640*480
- 23 FPS en 320*240
Le débit d’écriture est en fonction du temps de validation
de chaque caractère. Le temps minimum de validation
étant de 10 validations par seconde.
[4]
[5]
[6]
REFERENCES
Articles
Mazeau JP, Architecture de traitement d’images
interagissant en temps réel. Brevet d’invention
N° 02/16189, Paris 19/12/2002
E. Bellengier, S. Rauzy, J. Marty. Systèmes de
communication iconique: Reformulation avancée.
Handicap 2006, Paris Juin 2006, pp 161, 176
Foucher P., Grynszpan O., Adameczek A., Choquet T., Huynh K.C., Lefur C., Lopez Krahe J. .
Efficasouris: an assessment tool for the use of
input pointing devices by people with motor disabilities. AMSE, Modelling C, Vol. 67, pp 12-22.
Barcelonne 2007
Lafont I, Dumas C. Le handicap : définitions,
historique et classifications. In Pruski Alain.
Assistance technique au Handicap. Hermès, Paris,
2002.
M. Ader, P. Blache, S. Rauzy. Souris et claviers
virtuels pour le contrôle alternatif de
l’environnement informatique. Assisth 07, Toulouse 19-21 nov.07, pp 254-261
Wandmacher T, Antoine JY, Methodes to integrate a langage model with semantic information
[7]
[8]
[9]
[10]
for a word prediction component. Proc. of
EMNLP-CoNLL’2007, 28-30 juin. Prague, pp
506-513
Poirier F, Antoine JY, Barhoumi. Sibylle : amélioration de l’interface à partir de critères ergonomiques et de besoins des utilisateurs. Assisth
07, Toulouse 19-21 nov.07, pp 241-247
Reynal M, Vigouroux N. KeyGlasses : Semitransparent keys to optimize text input on virtual
keyboard Assistive Technology : From Virtuality
to Reality. IOS Press, 2005 pp713-717
Collignon P. L’informatique au service du handicap, OEM (Osman Eyrolles Multimédia), Paris,
2003.
Vigouroux N, Vella F, Lepicard G, Chêne, D,
Biard N, Massonneau A. Utilisabilité des sites
Web pour les personnes handicapées moteurs.
Assisth 07, Toulouse 19-21 nov.07, pp 248-253
6.2
Adresse URL :
http://fundacion.vodafone.es/VSharedClient/FundacionVo
dafone/PDF/Guia20Usuario20v3.pdf
6.3
Sites Internet
BALLAYER, Rachel. (Page consultée le 25 octobre 2007).
Guide d'accès à l'informatique auprès du public handicap
moteur en Pays de Loire, [En ligne]. Adresse URL :
http://www.handicapicom.asso.fr/adaptations/guide_AT_informatique.pdf
DELCEY, Michel. (Page consultée le 02 novembre 2007).
Notion de situation de handicap (moteur), les
classifications internationales des handicaps, [En ligne].
Adresse
URL :
http://www.moteurline.apf.asso.fr/informations_medicales/
dmsh/Introduction/classifications_internationales_hp_MD
_1-18.pdf
Photos
VISIOBOARD. (Page consultée le 25 octobre 2007). Liste
des produits METROVISION, [En ligne]. Adresse URL :
http://www.metrovision.fr/index-fr.html
CLAVICOM. (Page consultée le 25 octobre 2007). I’COM
Centre de ressources informatique, [En ligne]. Adresse
URL : http://www.handicap-icom.asso.fr/
IRDATA 2000. (Page consultée le 25 octobre 2007).
Présentation du système, [En ligne]. Adresse URL :
http://www.irdata.com/irdata2000_en.htm
HEADDEV. (Page consultée le 25 octobre 2007).
Présentation du système, [En ligne, langue espagnole].
SwitchXS
(Consulté
le
15
janv.
http://www.assistiveware.com/switchaccess.php
2008)