ALEx, la machine où parler, c`est montrer des représentations

ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
ALEx, la machine où parler, c’est montrer des
représentations
Maryvonne ABRAHAM,
Ecole Nationale Supérieure des Télécommunications de Bretagne
résumé
Un problème concret d’interface évoluée de
coopération avec une machine nous est posé, dans le
cas d’acquisition de leur langue par des enfants IMC
(infirmes moteurs cérébraux)1 privés de la faculté de
parler . Pour les aider à s’exprimer, nous leur
construisons une machine d’Aide à L’Expression,
ALEx, qui s’appuie sur une interface présentée sous
forme d’un langage pictographique : « parler »
devient « montrer des représentations »2 (d’objets, de
propriétés, de schèmes d’action). La suite de
pictogramme représentant les mots d’une phrase est
ensuite traduite en une phrase de texte, prononcée
par une synthèse vocale.
Une telle aide à l’expression vocale requiert de
définir tant les niveaux utiles de la langue dans une
architecture convenable, que les choix de
modélisation des connaissances et les modalités de
l’interaction homme-machine, qui doivent au mieux
prendre en compte le fonctionnement des systèmes
cognitifs naturels de ces enfants et leur handicap
moteur. Après avoir rappelé les contraintes portant
sur les périphériques d’entrée dûes au handicap des
utilisateurs, nous évaluerons les caractéristiques
essentielles de la langue icônique, ce qui soulèvera
quelques problèmes d’ordre cognitif :
• le vocabulaire de cette machine est fermé.
Comment « dire » ou montrer un mot qui n’est
pas dans le lexique ?
• dans un grand nombre de cas, les icônes
représentent des mots polysémiques : quelle
représentation prototypique choisir pour que
l’image soit correctement interprétée ?
• le mouvement de la souris est simulé par un
balayage automatique présentant le plus
intuitivement
possible
les
mots-icônes
1Depuis
une vingtaine d’années, le CNET - Lannion a
collaboré à la conception de machines de prothèses
langagières
pour
enfants
IMC
(SAHARA,
MUTAVOX). Nous nous situons dans la lignée de ces
travaux.
2
Ce pourrait être aussi montrer explicitement des objets
(ce que fait mon chat) ou des schémas d’actions ; dans
ces deux cas, l’abstraction es moindre puisque il n’est
pas fait appel aux représentations.
prototypiques : il faut déterminer comment les
grouper par micro-domaine sémantique.
• doit-on icônifier tous les mots ou bien peut-on,
par défaut, forcer les articles, et certaines
prépositions ou conjonctions ? en ce cas, quelles
sont les limitations de l’expressivité de la
langue ainsi créée?
Nos travaux de construction de la langue icônique se
placent dans le cadre d’analyse de la grammaire
applicative et cognitive. La question des relations des
mots avec les images sensées les représenter permet
de poser la question de l’architecture d’analyse de la
langue et des liens entre la langue et l’image. Nous
prendrons l’exemple d’un verbe polysémique. Nous
évoquerons la question de sa représentation icônique
à partir d’icônes primitives, et nous verrons
comment insérer ce verbe dans des phrases faisant
appel à différents micro-domaines sémantiques, et à
différentes combinaisons avec des prépositions.
Les problèmes liés à l’analyse et à la compréhension
de la langue naturelle mis en évidence dans ce cas
particulier pourront être pris en compte dans le
cadre plus général d’interfaces hommes-machines
appliqués à d’autres situations.
OoOoo
Mots-clés :
schémas
de
modélisation
des
connaissances, primitives sémantiques, prototypes,
conception des interfaces d'accès, organisation des
connaissances dans les interfaces de coopération
homme-machine.
1.
COMMUNIQUER AVEC UN ORDINATEUR
1.1 Organiser des connaissances dans un
système d’aide à des enfants IMC.
1.1.1 La problématique
Un problème concret d’interface évoluée de
coopération avec une machine nous est posé, dans le
cas d’acquisition de leur langue par des enfants IMC
(infirmes moteurs cérébraux)3 privés de la faculté de
3Depuis
une vingtaine d’années, le CNET - Lannion a
collaboré à la conception de machines de prothèses
langagières
pour
enfants
IMC
(SAHARA,
1
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
• le vocabulaire de cette machine est fermé.
Comment « dire » ou montrer un mot qui n’est
pas dans le lexique ?
• dans un grand nombre de cas, les icônes
représentent des mots polysémiques : quelle
représentation choisir pour que l’image soit
correctement interprétée ?
• le mouvement de la souris est simulé par un
balayage automatique présentant le plus
intuitivement
possible
les
mots-icônes
prototypiques : il faut déterminer comment les
grouper par micro-domaine sémantique.
• doit-on icônifier tous les mots nécessaires à la
construction d’une phrase, ou bien peut-on, par
défaut, forcer les articles, et certaines
prépositions ou conjonctions ? en ce cas, quelles
sont les limitations de l’expressivité de la
langue ainsi créée?
Chacune de ces questions appelle un long
développement. Nous les aborderons à l’aide
d’exemples.
1.1.2 Quel lien entre la langue et l’image?
La question des relations des mots avec les images
sensées les représenter permet de poser la question
de l’architecture d’analyse de la langue et des liens
entre la langue et l’image.
Un texte qui décrit des situations spatio-temporelles
extra-linguistiques est une représentation verbalisée
MUTAVOX). Nous nous situons dans la lignée de ces
travaux.
4
Ce pourrait être aussi montrer explicitement des objets
(ce que fait mon chat) ou des schémas d’actions ; dans
ces deux cas, l’abstraction est moindre puisque il n’est
pas fait appel aux représentations.
Représentation cognitive
foncteur de transfert
Représentation discursive
Représentation cognitive
figure
r->
représentations intermédiaires
->
oter
dén
Une telle aide à l’expression vocale requiert de
définir tant les niveaux utiles de la langue dans
une architecture convenable, que les choix de
modélisation des connaissances et les modalités
de l’interaction homme-machine, qui doivent au
mieux prendre en compte le fonctionnement des
systèmes cognitifs naturels de ces enfants et leur
handicap moteur. Après avoir rappelé les
contraintes portant sur les périphériques d’entrée
dûes au handicap des utilisateurs, nous
évaluerons les caractéristiques essentielles de la
langue icônique, ce qui soulèvera quelques
problèmes d’ordre cognitif :
de ces situations. Comprendre un texte portant sur
des situations spatiales évolutives, c'est construire
des représentations intermédiaires qui aboutissent à
des représentations ``mentales" ou sémanticocognitives. A l’inverse, ces représentations sont
exprimées par le texte qui lui-même dénote une
situation spatio-temporelle évolutive. Représentée
par une image, la même situation externe doit
aboutir à une représentation mentale compatible
avec la représentation discursive.
comprendre ->
parler . Pour les aider à s’exprimer, nous leur
construisons une machine d’Aide à L’Expression,
ALEx, qui s’appuie sur une interface présentée sous
forme d’un langage pictographique : « parler »
devient « montrer des représentations »4 (d’objets, de
propriétés, de schèmes d’action).
représentations
intermédiaires
Représentation imagée ou figurale
Référentiel spatio-temporel extra-linguistique
Figure 1-1 de la langue à l'image
Dans le cas qui nous intéresse, le contrôle et
l’acquisition du vocabulaire reposent sur la
description de tableautins à l’aide du vocabulaire
icônique.
Une
telle
opération
suppose
nécessairement une compatibilité entre les deux
représentations cognitives. « Un noème apparaît
[donc] comme une relation abstraite sous-tendant les
opérations sémantiques générales des langues, et il
est visualisable afin de se rapprocher le plus possible
de l’intuition d’une représentation mentale partagée»
(Pottier 1992:78).
1.2 L'analyse de la langue: les trois
niveaux de la grammaire applicative et
cognitive
La compréhension de textes par une machine fait
appel à plusieurs niveaux d'analyse. La théorie de la
GAC (Grammaire Applicative et Cognitive5), retient
trois niveaux de représentation de la langue:
linguistique, prédicatif et cognitif.
Les énoncés d'une langue dénotent des situations
externes (concrètes ou mentales). Au niveau
linguistique, celui des observables, une langue est un
système de représentation où certaines unités
grammaticales encodent des opérations, et où
certaines
unités
lexicales
expriment
des
significations. Les encodages et les expressions de
signification sont déterminés par le système de la
langue.
5
langue phénotype : Les expression de langue phénotype et de
langue génotype sont empruntées à la Grammaire
Applicative Universelle (GAU) de S.Shaumyan (1977).
Dans la GAC, J.P.Desclés étend la G.A.U. au niveau
cognitif.
2
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
Les opérations qui sont encodées par les marqueurs
grammaticaux sont décrites à un autre niveau, qui
aura pour tâche, entre autres, de décrire les
agencements prédicatifs sous-jacents aux énoncés de
la langue observée; en particulier cet agencement
prédicatif fera ressortir l'opposition entre prédicat et
arguments6, et des opérations universelles dont les
unités linguistiques ne sont que les traces
(prédication, énonciation, thématisation, ...)
A un troisième niveau, le niveau cognitif, la
signification des mots peut être décrite par des
réseaux de relations, et, pour les verbes, par des
réseaux de schèmes7 . Pour un même mot, il peut
exister
plusieurs
descriptions
sémantiques.
Considérer les mots comme polysémique revient à
organiser les différentes significations du mot autour
d’un sens abstrait8. La machine que nous allons
présenter vise une production de paroles en
s’adressant à la perception visuelle, ce qui pose le
problème de la représentation icônique : pour être
interprétées, les icônes doivent-elles représenter des
prototypes évoqués par les mots, ou bien prendre en
compte l’archétype cognitif du mot, très abstrait,
mais permettant la polysémie ?
2.
ENTRE
LA
LANGUE
ET
L’IMAGE,
LE
PICTOGRAMME
2.1 quel est le statut du pictogramme dans
la machine ALEx ?
Il s’agit de relier le verbal au figuratif. Les
représentations sémantico-cognitives issues de la
langue doivent être compatibles avec d'autres modes
de représentation non verbalisés (comme les
représentations figuratives ou imagées des situations
extra-linguistiques). Nous cherchons à traduire la
compatibilité entre les représentations cognitives
construites : i) à partir du discursif ; ii) à partir
d'images ou de figures ; iii) et à partir du langage
pictographique. Le langage pictographique se
présente comme une langue intermédiaire tenant à la
fois des deux systèmes de représentation: les mots
sont représentés par des icônes, mais ils sont agencés
en une suite de la même manière que dans une
phrase de texte. L’encodage du désigné change, perd
l’information sémantique indiquée par les
6
On retrouve ici le langage conceptuel de Ray Jackendoff
(1983).
7
La représentation des verbes qui expriment des
modifications spatio-temporelles fait appel à des
schèmes sémantico-cognitifs (SSC) qui sont des
combinaisons de primitives sémantiques, ancrées en
particulier sur la perception visuelle Desclés 1985 ,
1991; Abraham 91, Abraham 95
8
Le signifié de puissance chez les Guillaumiens (Picoche
1986), ou un archétype cognitif (Desclés 1985).
transformations morphologiques9 qui, sur
une
figure, ne sont plus possibles avec les mêmes
conventions.
LANGUE
pictogrammes
Représentations
Représentations
cognitives
Génotype
invariants
opératoires
Phénotype
observables
de la langue
IMAGE
Représentations
cognitives icôniques
Représentations
intermédiaires
observab
les
: suite
cognitives figurales
Représentations
intermédiaires
observables
d’icônes
:
image
Référentiel extra-linguistique
Figure 2-1
relation entre texte, suite icônique et image
Les correspondances qui peuvent exister entre les
mots encodés dans la langue, et ceux représentés par
des icônes, soulèvent plusieurs questions. Si chaque
mot d’une phrase de texte est remplacé par une
icône, comment se fait la production de cette
phrase ? Nous sommes devant un nouveau langage
puisque les flexions possibles sur une structure
alphabétique ne le sont pas sur une structure
icônique : nous perdons les encodages sémantiques
correspondants. Rien ne nous assure que nous ayions
dans la langue pictographique le même schéma de
compilation du niveau icônique vers le niveau
cognitif, tel qu’il est représenté dans la Erreur !
Source du renvoi introuvable.. Ce n’est pas tout :
dans le nouveau langage, il faut de plus
« redescendre », c’est-à-dire passer du niveau des
représentations cognitives à l’expression linguistique.
Que faut-il donner aux icônes qui puisse assurer ces
passages sans trop de perte d’information ? Une
icône peut-elle être polysémique ? quelles sont les
relations entre la polysémie de l’icône et celle du
mot ? Nous voyons bien vite apparaître des
difficultés de représentation liées aux parties du
discours noms, verbes, articles, qualificatifs, ... Nous
allons nous limiter à quelques remarques concernant
les noms et nous détaillerons plus amplement des
exemples de verbes.
9
Les différents prototypes confirment qu´il faut, dans tous
les cas de langage icônique (où une icône représente un
mot) , capter une structure de "phrase", qui, dans les
langues naturelles, est indiquée, soit par l´ordre des
mots, soit par des cas marqués morphologiquement. On
remarquera à l´appui que la structure du BLISS (qui est
une langue à part entière) s’appuie sur une grammaire
complexe réalisée par des assemblages d´icônes.
3
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
2.2 L’opposition
verbo-nominale :
les
icônes résolvent-elles le problème de la
polysémie ?
Figure 2-2
Les représentations pictographiques des tableaux de
communication pour IMC utilisent deux systèmes:
figuratif (COMMUNIMAGE) pour les entités concrètes,
et symbolique (BLISS) pour les verbes. Ce mélange de
systèmes de représentation, choisi pour des raisons
d’efficacité de perception, souligne en pratique
l’opposition verbo-nominale. Il s’agit de rendre
perceptible
visuellement
des
propriétés
caractéristiques des entités, reconnues facilement par
tous.
Dans Alex, les mots sont présentés à l’écran dans les
catégories constituées par les parties du discours,
repérées par des couleurs ; chacune des catégorie est
organisée en une hiérarchie de micro-domaines
sémantiques10, qui peuvent permettre de résoudre la
polysémie nominale. Par exemple, le poulet vivant
sera recherché dans les animaux ; cuit, on le trouvera
dans le micro-domaine « nourriture ». Cette
représentation intuitive pose rapidement des
problèmes d’encombrement, il devient préférable de
ne garder qu’un des représentations d’un même mot .
D’autre part, on ne peut éviter la polysémie11 des
icônes, conséquence de la limitation du dictionnaire
proposé, qui est fermé. L’utilisation des tableaux de
communication montre que différents glissements
sémantiques, ou bien phonétiques, sont nécessaires
pour que le co-locuteur puisse interpréter les phrases
icôniques: Gaétane choisit « bonbon » pour
remplacer « bijoux », absent du dictionnaire, ce qui
10
En pratique, on a privilégié dans quelques cas d’icône
isolée, les micro-domaines sémantiques, qui facilitent
l’accès aux icônes.
11
En nous appuyant sur les méthodes courantes
d’enseignement des langues, nous avions d’abord cru
qu’un langage pictographique résolvait les problèmes de
polysémie, du moins nominale, comme dans la figure 22. Une analyse de notre comportement a révélé que lors
des tests de la machine à écriture icônique, nous ne
regardions pas les icônes, sous-titrées par du texte, mais
les mots qu’elles représentaient. Cette utilisation n’est
pas celle des enfants, en particulier, elle exclut la
polysémie de l’image, puisque cette dernière n’est pas
vue. Cette lecture biaisée ne nous est pas personnelle :
tous les étudiants qui ont testé la machine ont procédé
de cette façon, qui est aussi utilisée par les éducateurs
puisque ce sont eux qui ont demandé le sous-titrage
pour mieux aider l’enfant: nous lui proposons donc un
outil que nous n’utilisons pas.
peut se concevoir au niveau sémantique12, où leurs
propriétés respectives sont comparables. En ce cas,
c’est au co-locuteur de comprendre les raisons de la
substitution. Sébastien utilise l’icône Noël (fête) pour
désigner un homme prénommé Noël, car le nom de
cette personne n’est pas enregistré dans son
dictionnaire. Sans contrôle de cohérence sémantique,
la phrase produite, puis prononcée, sera la phrase
voulue, alors que, dans le dictionnaire fourni à
l’enfant, le pictogramme « Noël » représente un
événement d’un micro-domaine sémantique qui n’a
rien à voir avec une personne13.
Si, malgré tout, nous pouvons estimer que les
pictogrammes figuratifs représentant les entités
concrètes ne posent pas trop de difficulté de
perception puis d’interprétation, la représentation
devient moins aisée dans le cas des adjectifs où il
s’agit finalement d’une convention de code,
représentée par une icône la plus évocatrice
possible : comment représenter grand, heureux,
méchant? Ces adjectifs décrivent des états pouvant
affecter aussi bien des objets, des personnes, des
lieux14, que du temporel ou du notionnel.
3. LES VERBES
3.1 quelques
langages
icônique
de
représentations des verbes
L’encodage des entités en BLISS15 et en
COMMUNIMAGE ne nous semblent pas toujours
adéquat pour représenter la sémantique verbale à
l’adresse d’enfants. Un verbe traduit très souvent une
modification spatio-temporelle, que l’on peut
12
un bonbon est pour elle un plaisir, comme peuvent
l’être les bijoux pour un adulte
13
par exemple, la suite [Noël] [manger] [le bonbon] devra
produire la phrase « Noël mange le bonbon », et non
« A Noël, (je) mange le bonbon ».
14
Par exemple, « beau » est représenté par l’image d’une
belle personne. Une enfant de huit ans (pas IMC)
commente : « je suis belle ». La représentation idéale
serait donnée par une transformation visualisée de
l’entité à laquelle s’applique le qualificatif. L’ambition du
dictionnaire pour le moment n’est pas aussi grande. Il se
limite à des représentation de la sémantique de chacun
des mots; la signification de la phrase doit être
reconstituée
par
le
co-locuteur.
L’animation
représentant la scène exprimée par la phrase n’est pas
envisagé ici ; pour de tels travaux voir (Battistelli,
Valliez).
15
Le BLISS, est un langage symbolique abstrait qui
combine des caractères icôniques de base pour former
un pictogramme. Des opérations sur ces symboles
permettent une dérivation autour du sens. Il n’est pas
envisagé, pour les enfants, d’écrire en BLISS, c’est-à-dire
de combiner l’alphabet BLISS pour créer des mots. Nous
prenons les pictogrammes des mots constitués.
4
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
représenter au minimum par deux images, la
situation initiale et la situation finale ; si la
modification est repétitive, (marcher, courir, ..), la
conservation d’une même situation évolutive doit
pouvoir être perçue. Verbaliser, c’est placer l’entité
dans le temps. L’encodage des verbes en BLISS utilise
explicitement cette opération, marquée par le signe
^ qui surmonte une entité nominale Par exemple, le
signe ~ représente l’eau, et ∪ un contenant. La
composition du contenant et de l’eau représente un
bain ; surmonté du signe d’action, l’icône représente
laver. :
∧
∼
∪
Le langage BLISS est donc très puissant, mais très
abstrait ; surtout, il est une nouvelle écriture, qui
demande un apprentissage assez complexe pour des
enfants le plus souvent atteints de paralysie, qui ne
savent ni ne peuvent écrire ; ils ne disposent pas
d’une machine qui leur permettrait de composer les
symboles. COMMUNIMAGE, plus figuratif, moins
abstrait, choisit une des représentations imagées, et
laisse ainsi de côté la possibilité de composer des
primitives.
casser
Sit1
modification
→
Sit2
/casser/ en BLISS est la verbalisation d’une rupture :
dans la GAC, nous représentons /casser/ comme
une modification spatio-temporelle entre deux
situations référentielles Sit1 et Sit2 ; en Sit1, l’entité y
est dans son état intègre ; en Sit2, elle est dans un
nouvel état, rompu. : le nouvel état est lié aux
propriétés de l’entité cassée, qui peut être abstraite
un jugement, la voix, ... Nous nous appuyons sur le
modèle de la GAC pour animer la représentation des
verbes sur un écran.
3.2 exemples de verbes
Si, pour construire une phrase, il faut assembler des
mots à la suite, en respectant des règles syntaxiques,
ces mots n’ont pas tous le même statut. A l’usage,
nous voyons bien vite que si l’on remplace les motstexte par des « mots » icôniques, un certain nombre
de questions se posent au sujet des articles,
prépositions, conjonctions... Peut-on, sans trop de
distorsion de sens, faire l’économie des icônes qui
leur correspondent16 ? .... dans le cas de notre
16
Ce serait intéressant en pratique, puisque chaque choix
d’icône nécessite au minimum deux appuis de la part de
l’enfant, qui a de grandes difficultés de mobilité
machine, quelle confiance peut-on lui accorder si elle
doit réintroduire ces mots, moyennant quelles
limitations dans la signification résultante?
3.2.1 le verbe /jouer/
Prenons l’exemple de la suite: [Marie]
poupée].
[jouer] [la
Décrire le verbe jouer, qui tient une grande place
dans le vocabulaire des enfants, fait appel à des
représentations d’activité, de situations imaginées et à
des états affectant le joueur. Nous avons, dans
ALEx, représenté jouer par une petite animation
prototypique, très souvent interprétée comme « jouer
au ballon », elle est trop spécifiée. Une
représentation concrète induit une trop grande
spécificité ; /jouer/ est assez compliqué à décrire
donc à représenter visuellement. Sans entrer dans les
détails de notre méthode, nous pouvons dire que le
schème sémantico-cognitif17 de /y jouer/ se décrit
comme la conservation d’un même type de situation
entre deux situations référentielles Sit1 et Sit2. En
Siti, y est à l’intérieur d’une activité non précisée ; y
se représente cette activité, et la réalise ; de plus,
l’état de y change : il prend du plaisir à cette activité.
L’activité peut être précisée par un complément,
introduit ou non par une préposition
En BLISS, jouer s’écrit (ci-dessous) « faire des
activités qui rendent heureux ». Un jouet est l’activité
de jouer. :
3.2.2 peut-on se passer des prépositions ?
En français, « jouer » peut se construire sans ou avec
des prépositions comme: à, avec, de, dans18 ... Est-il
possible, sans information supplémentaire, (sans
préposition explicite) de reconstruire une phrase qui
soit du français et qui ne trahisse pas ce que voudrait
dire l’enfant ? Autrement dit, y a-t-il dans le typage19
ou les propriétés des compléments introduits par la
préposition manquante des informations suffisantes
pour retrouver cette préposition ? La question
revient à se demander si, étant donnée une entité,
elle ne peut complémenter un verbe que dans une
seule construction : le prédicat verbal associé à
17
pour la définition des schèmes, voir (Desclés, 1985),
Abraham.
18
Il y en a certainement d’autres, mais nous nous limitons
à des échanges assez simples avec des enfants.
19
Dans la GAC, nous retenons la nécessité d’un typage
sémantique (Desclés, 1990): nous distinguons les entités
individuelles, notées J, les lieux, les entités massives, les
entités collectives et les entités notionnelles. Les entités
peuvent changer de type : la poupée devient l’activité
construite autour d’une poupée ; nous notons A le type
activité.
5
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
On peut jouer :
/jouer/ peut être unaire ou binaire : composé avec
une préposition, le prédicat peut être binaire,
ternaire, .. Prenons des exemples correspondant à un
prédicat binaire et demandons-nous si les
significations associées au prédicat complexe
résultant sont voisines ou non. Par exemple, Marie
joue la fée (dans un rôle au théâtre), la Maman, ...
mais plus difficilement le ballon, le violon, le jardin
ou la rue. A partir des constructions possibles,
essayons de caractériser les propriétés sémantiques
des compléments qui donnent à la phrase une
signification.
• à (la poupée, le ballon, les cartes, ....) (le chien, la
mariée, le pompier...), à (le jardin, la maison,...), mais
pas à (la rue, ...)
• avec (la poupée, le ballon, les cartes, ....) (Marie, Papa,
le garçon ...) (le chien, la mariée, le pompier...), mais
sans doute pas, ou beaucoup moins, avec le jardin,
et plus généralement pas avec des lieux.
• de (le violon)
• dans (le jardin, la maison, la rue).
La
fée
(la)
Maman
la
poupé
e
le
chien
la
fleur
le
ballo
n
le violon
le jardin
la
maison
la rue
type
premier
J
J
J
J
J
J
J
L
L
L
rien
(activité)
A
A
A
A
A
à
A
A
A
A
L
L
avec
J
J
J
J
L
L
A
J
de
J
J
A
dans
Peut-on trouver des conditions qui permettent de
sélectionner une combinaison ? Dans les exemples,
les entité de type sémantique lieu sont introduites par
les prépositions à et dans. La distorsion de
signification est acceptable dans le cas qui nous
occupe. Mais nous voyons que les constructions sur
avec et à diffèrent, puisque l’une conserve le type des
entités, alors que l’autre change leur type. La
préposition à introduit un lieu spatial (le jardin,..) ;
mais elle introduit aussi une activité dans le cas du
/ballon/ de /la fée/, /la maman/, /la poupée/, /le
chien/... Nous pouvons expliquer ces constructions
de la préposition à : nous avons montré, rejoignant
en cela les travaux de B.Pottier sur l’homologie entre
le spatial, le temporel, et le notionnel, que les mêmes
constructions de la langue étaient utilisées pour ces
différents « lieux », introduisant ainsi des « lieux
d’activité ». Ici, les activités sont construites sur des
entités individuelles, la construction /jouer/ ou
/jouer à/ change leur type (tableau).
La préposition avec introduit une entité, qui garde
son type premier. Nous pourrions avoir : je joue à la
fée (type : activité), avec la fée (type : entité
individuelle). Les prédicats complexes construits sur
/jouer à/ et /jouer avec/ n’ont pas la même
signification.; le premier construit une activité autour
de l’entité complément; le second introduit une
nouvelle entité sans changement de type sémantique.
Ce n’est pas le complément qui possède le type
activité, mais le prédicat qui le lui donne L’exemple
confirme qu’il n’y a pas, pour un mot donné comme
complément, unicité de spécification correspondant
L
au verbe jouer composé avec une préposition : il faut
indiquer la préposition.
Cette remarque sur les construction verbales peut
être vérifiée pour un grand nombre de verbes, et
vient à l’appui d’un certain nombre de travaux sur les
changements de type (Desclés, Pustejovsky,
Abraham, Flageul, ..)
4.
QUE NOUS APPRENNENT DE TELLES MACHINES
À PARLER?
L’observation de certains enfants IMC privés de
parole confrontés à l’utilisation exclusive d’appareils
utilisant des tableaux de communication pour
construire des messages vocalisés a permis de mieux
mettre en évidence quelques considérations de
nature cognitive, liées à la langue naturelle dans les
interfaces de communication homme-machine. Dans
notre machine, il ne peut être question d’imposer
une interprétation qui sera fausse dans certains cas.
Le problème, tel qu’il est posé, est trop contraint
Pour la machine, il s’agit moins de comprendre,
(l’étendue des champs sémantiques à couvrir nous y
met au défi), que de choisir le niveau où l’aide sera la
plus efficace possible pour produire des phrases, et
la part d’automatisation laissée à la machine. La
machine doit produire des phrases relativement
correctes, qui surtout ne trahissent pas les
représentations du niveau conceptuel de l’enfant20,
quitte à être sous-spécifiées. L’interface de
20
quitte à être moins performante sur le style de la phrase
synthétisée
6
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
coopération homme-machine fournit une aide guidée
à la structuration de la phrase, mais ne se substitue
pas à la construction mentale. Si en pratique, on ne
veut pas introduire les prépositions dans le
vocabulaire de la machine, nous devons admettre :
ou bien que la phrase soit a-grammaticale, et le colocuteur devra faire l’effort de la rétablir; ou bien,
que l’on propose plusieurs phrases, au choix.
Nous avons établi que :
• Un modèle cognitif d’analyse de la langue et de
ses liens avec le noémique est nécessaire pour
choisir le niveau de l’aide et le modéliser.
• Le problème posé nous a confrontés une fois de
plus à la partition de la langue en classes fermées,
les grammèmes, et classes ouvertes, les lexèmes.
Nous voyons que les possibilités d’expressions se
réduisent : i) si l’on ferme le dictionnaire, et nous
ne pouvons l’éviter ; ii) si l’on ne prend pas en
compte toute la grammaire.
• Nous avons mis en évidence l’importance de la
polysémie des mots, qu’ils se présentent sous
forme de caractères ou d’icônes, et la polysémie
n’est pas la même dans les deux cas.
• De plus, nous retrouvons des possibilités de
changement de type sémantique provoqués par le
prédicat verbal, qui montrent qu’un mot peut, en
contexte, représenter une activité.
Développer tous les aspects (nombreux) de
l’interface aurait dépassé le cadre de cet article, mais
nous pensons avoir souligné quelques points
importants liés à ce type de langage. En particulier, le
cadre théorique de la grammaire applicative et
cognitive qui sous-tend notre projet linguistique
montre que l’absence des prépositions qui,
combinées avec un verbe, forment un nouveau
prédicat, ne peut conduire à une reconstruction juste
de la phrase. La mise à l’épreuve de la GAC dans la
construction d’une machine à exprimer des
représentations mentales fait apparaître que le
changement de type sémantique d’une entité doit
être pris en compte, même dans des lexiques réduits.
COLING-92, Proceedings of the fifteenth International Conference on
Computational Linguistics, : 1043 -1047. (vidéo-film)
ABRAHAM,M. DESCLES,J.P. (1992) « Du spatial au cognitif:
peut-on envisager une invariance operatoire? » Actes du colloque
ECCOS'92 : 141-- 155.
ABRAHAM,M. (1994) Semantique lexicale des verbes CIRCULER
ET EVITER. -- Traitement Automatique des Langues (TAL).-- VOL
35, N.1 :131-145
ABRAHAM,M. (1995) Analyse sémantico-cognitive des verbes de
mouvement et d’activité ; contribution méthodologique à la constitution d’un
dictionnaire informatique des verbes; thèse de doctorat, Ecole des
Hautes Etudes en Sciences Sociales, Paris.
BATTISTELI D., VALLIEZ C. (1997) Eléments de conception
d’un système d’interprétation automatique de textes par des images
TALN’97, Grenoble.
BAZANTAY,E.
.DENEUVILLE,A.
TSIMBA,V.
(1994)
« Apprendre à communiquer dans un groupe d’enfants I.M.C. sans
parole » Glossa, les cahiers de l’Unadrio, n°42 (21:23),
CHOMSKYN. PIAGET,J. (1979) Théories du langage théories de
l'apprentissage Le débat entre Jean Piaget et Noam Chomsky Points 138
Seuil, Paris
DENEUVILLE, A. TSIMBA,V. (1994) « Pour une pédagogie des
tableaux de communication fondée sur la logique de l’enfant »
Glossa, les cahiers de l’Unadrio, n° 42 (18:20)
DESCLES,J.P., FROIDEVAUX, Ch.(1983) « axiomatisation de la
notion de repérage abstrait ». Mathématiques Informatique et Sciences
Humaines, CNRS-EHESS, Paris, 1983.
DESCLES, J.P. (1985) « Représentation des connaissances:
archétypes
cognitifs,
schèmes
conceptuels,
schémas
grammaticaux ». EHESS- CNRS, Actes Sémiotiques, VII, no 69-70,
pp. 5-51.
DESCLES,J.P. (1990 a) Langages applicatifs, langues naturelles et
cognition . Hermès, Paris
DESCLES, J.P. & alii, (1990 b)« Langage naturel et représentations
cognitives: un problème d'architecture et de compilation. » Actes
du 4ème colloque de l'A.R.C: Progrès de la recherche cognitive
DESCLES,J.P. (1991) « La prédication opérée par les langues (ou à
propos de l'interaction entre langage et perception)», in
LANGAGE, n°103, Larousse, Paris
FAUCONNIER,G. (1984) Les espaces mentaux. Le Seuil, Paris
FLAGEUL, V. (1997) Description sémantico-cognitive des prépositions
spatiales du français thèse de doctoral nouveau régime, Paris IV
HJELMSLEV,L. (1972) La catégorie des cas, étude de grammaire
générale. 1935. repris dans Munchen: Wilhem Fink Verlag.
remerciements : Nous remercions les ingénieurs, médecins, et
orthophonistes du centre de Kerpape, nos stagiaires et élèves,
et les chercheurs du CNET-Lannion qui ont mis au point
les premiers prototypes.
5.
BIBLIOGRAPHIE
ABRAHAM,M. J.P.DESCLES R.AFZALI J.BERRI CH.JOUIS
H.G.OH. (1991) Représentation du mouvement verbalisé;
AFCET, Actes du 8ème congrès RFIA, vol 1 :11-21.
ABRAHAM,M. AFZALI,R., JOUIS,Ch. (1992) « Les archétypes
sont des générateurs de représentation des connaissances »,
T.A.Information, 1992. vol 32}, no 1 :47--64.
ABRAHAM,M. DESCLES, J.P. (1992) « Interaction between
lexicon and image: linguistic spécifications of
animation. »
JACKENDOFF, R. (1983) Semantics and Cognition . MIT Press,
Cambridge,.
R.LANGACKER. (1987) Fondation of cognitive grammar,vol 1.
Standford University Press
PICOCHE, J. (1986) Structures sémantiques du lexique français .
NATHAN, FRANCE.
Bernard POTTIER (1987) Théorie et analyse en linguistique . Hachette,
Paris
Bernard POTTIER(1992) Sémantique générale PUF, Paris
PUSTEJOSKY,J. (1995) The generative lexicon
Cambridge, Ma.
MIT Press,
7
ALEx, la machine où parler, c’est montrer des représentations PREMIERES JOURNEES DU CHAPITRE FRANCAIS DE L'ISKO, 1997
PYLYSHYN,Z. (1984)à Computation and Cognition : Toward a
foundation for Cognitive Science. MA:MIT Press, A Bradfor Book,
Cambridge
REGIS,J.P. (1990) les langues modernes « des images au cours de
langue : analyse de l’image photos de presse et publicité» (15:27)
n°4
SCHAUMYAN,S.K. (1977) Applicational Grammar as a semantic
theory of natural language. Chicago University Press, Chicago.
SOWA, J.F(1984). Conceptual structures: Information Processing in Mind
and Machine. Addison-Wesley, London
TSIMBA,V. , DENEUVILLE,A « La valse des étiquettes : étude
de la syntaxe mise en oeuvre dans les tableaux de communication »
Ann. Réadaptation Med Phys (1:6), Elsevier, 1996
vidéo-film, réalisé à Kerpape : Mélanie et Mutavox
8