Réseaux de neurones récurrents à fonctions de base radiales : RRFR

Transcription

Réseaux de neurones récurrents à fonctions
de base radiales : RRFR
Application à la surveillance dynamique
Ryad Zemouri – Daniel Racoceanu – Noureddine Zerhouni
Laboratoire d’Automatique de Besançon,
Groupe Maintenance et Sûreté de Fonctionnement,
25, Rue Alain Savary
25000 Besançon
France
[email protected] - [email protected] - [email protected]
RÉSUMÉ.
La surveillance des équipements industriels nécessite le traitement d’un certain
nombre de signaux capteurs. Il s’agit essentiellement de détecter toute déviation par rapport
à un comportement de référence, en générant une alarme. C’est alors que la fonction
diagnostic aura pour rôle de localiser l’organe défaillant et d’identifier les causes de la
défaillance. De part leur flexibilité, leur facilité d’exploitation et leur sûreté de
fonctionnement, les Réseaux de neurones à Fonctions de base Radiales (RFR) sont des outils
tout à fait adaptés à ce genre de traitement. Afin d’intégrer la dimension temporelle
essentielle de la surveillance industrielle, nous proposons une nouvelle architecture de RFR
dynamiques appelés RRFR (Réseaux de neurones Récurrents à Fonctions de base Radiales).
Nous montrons ainsi l’adéquation de ce réseau de neurones dynamique par rapport aux
problèmes spécifiques de la surveillance dynamique, comme la détection précoce des paliers
de dégradation et la reconnaissance de fausses alarmes.
ABSTRACT. Monitoring of industrial equipments requires the processing of a certain number of
signals sensors. The aim is to detect any deviation by generating alarms. The diagnosis
function has to locate then the fail and to identify the cause of the failure. Radial Basis
Function (RBF) neural network seems to be a powerful tool for this kind of processing. In
order to consider the dynamic of a monitoring process, we propose a new architecture of
dynamic radial basis function (RRBF - Recurrent Radial Basis Function) neural network. We
demonstrate also the advantages of the RRBF for dynamic monitoring problems like earlier
detection of degradation and false alarms.
MOTS-CLÉS : Surveillance, Detection, Diagnostic, Réseaux de neurone temporel, RFR Réseaux de neurones à fonctions de base radiales.
KEYWORDS: Monitoring, Detection, Diagnosis, Dynamic Neural Network, RBF - Radial
Basis Function.
Journal Européen des Systèmes Automatisés. Volume X – n°X/2002, pages 1 à 33
2
Journal Européen des Systèmes Automatisés. Volume X – n°X/2002
1.
Introduction
Dans un grand nombre d'applications industrielles, une demande croissante est
apparue en matière de remplacement des politiques de maintenance curative par des
stratégies de maintenance préventive. Basée sur la surveillance en continu de
l'évolution de la machine, le rôle de ce type de maintenance est de prévenir un
dysfonctionnement avant qu'il n'arrive et d'écarter les fausses alarmes qui peuvent
ralentir la production (Basseville, 1996).
De nombreux auteurs ont abordé le domaine de la surveillance industrielle
(Combacau, 1991), (Combastel, 2000), (Cussenot, 1996), (Devauchelle, 1991),
(Evsukoff, 1998), (Lefebvre, 2000), (Poulard, 1996), (Toguyeni, 1992), (Weber,
1999), (Zhang, 1999), (GRP – SPSF, 1998), mettant ainsi en évidence l’intérêt
croissant manifesté par la communauté scientifique et les industriels par rapport à
cette problématique.
Le principe de la surveillance consiste à détecter et classer les défaillances en
observant l'évolution du système, puis à les diagnostiquer en localisant les éléments
défaillants et en identifiant les causes premières (Lefebvre, 2000). Un système de
surveillance comporte deux fonctions de base : la détection et le diagnostic. Les
méthodologies de surveillance sont généralement divisées en deux groupes :
méthodologies de surveillance avec modèle et sans modèle (Dash et al., 2000). Les
premières se basent sur l'existence d'un modèle du système et utilisent généralement
les techniques de l'automatique (Combacau, 1991). La deuxième catégorie de
méthodologies est plus intéressante dès lors qu'un modèle formel du système est
inexistant ou difficile à obtenir. Dans ce cas, on utilise les outils de la statistique et
de l'intelligence artificielle (Dubuisson, 1990).
Quelle que soit la méthode ou l'outil utilisé pour la surveillance des systèmes,
l'expert reste un lien irremplaçable entre les informations données par le système de
surveillance et l’action à mettre en place au niveau de l'équipement surveillé. En
effet, tout système de surveillance ne représente qu'un outil d'aide à la décision pour
l'expert. Ces systèmes sont loin d'égaler les capacités de l'opérateur humain à gérer
tous les problèmes complexes de diagnostic. Celui-ci possède en effet les capacités
de perception, de mémorisation, d'apprentissage, de raisonnement logique et
d'adaptation qui représentent des qualités indispensables à l’efficacité de cette
activité.
C'est dans ce sens que les réseaux de neurones artificiels semblent très
intéressants en surveillance. Leur utilisation ne dépend pas de l'existence d'un
modèle formel du système, souvent difficile à obtenir et à reconfigurer, surtout pour
des systèmes complexes. Les réseaux de neurones sont capables d'apprendre,
d'évoluer et de généraliser. Leur parallélisme, ainsi que leur capacité de traiter des
données hétérogènes (données quantitatives et qualitatives), représentent un atout
considérable par rapport à d’autres outils. Dans le cas de notre étude, ces critères
Réseaux de neurones RFR récurrents
3
constituent un très bon argument du choix des outils de l'intelligence artificielle pour
le développement d'un système de surveillance dynamique.
Le réseau de neurone que nous proposons dans cet article, combine les avantages
des réseaux RFR (Réseaux de neurones à Fonctions de base Radiales) avec ceux des
réseaux dynamiques récurrents. En effet, les réseaux RFR se caractérisent par une
certaine souplesse, tant au niveau de l’utilisation qu’au niveau de l’apprentissage.
Dans ce sens, la 2ème partie de cette étude présente le cadre d’utilisation des réseaux
de neurones en surveillance, afin de nous permettre, dans la 3ème section, de mettre
l’accent sur l’adéquation du RFR pour ce type d’application. Ceci nous permet ainsi
de contourner le problème de la lourdeur de l’apprentissage des réseaux récurrents
qui utilisent généralement l’algorithme de rétro propagation (Rumelhart et al.,
1986). Ce type de réseau est connu pour la lenteur du temps d’apprentissage et la
complexité au niveau de sa mise en forme (Hassoun, 1995). D’un autre coté, leur
avantage est d’intégrer implicitement la dimension temporelle, contrairement aux
réseaux qui se base sur une représentation spatiale du temps, à travers une fenêtre
temporelle (Elman, 1990). La 4ème partie constitue par conséquent, un état de l’art
des architectures les plus connues des réseaux de neurones temporels, pour présenter
par la suite une discussion par rapport aux avantages et aux inconvénients de chaque
architecture. On justifie ainsi, dans cette partie, l’intérêt recherché par une nouvelle
représentation dynamique d’un réseau RFR. Cette nouvelle architecture, appelée
RRFR (Réseaux de neurones Récurrents à Fonctions de base Radiales), est ainsi
présentée dans la section 5. A travers deux exemples distincts, nous montrons le
principe d’exploitation du RRFR pour les applications de surveillance dynamique.
Le premier exemple présente les capacités du modèle à apprendre et à prédire une
série temporelle. Cette expérience peut être vue comme une perspective pour des
applications en pronostic et prédiction d’un système non linéaire. Le deuxième
exemple concerne une application de surveillance d’un système à événements
discrets. Nous montrons ainsi les capacités du RRFR pour l’apprentissage de
séquences temporelles. La 6ème section présente une étude de sensibilité du réseau
RRFR. Cette étude aboutit à un exemple de surveillance d’un moteur. Les capacités
de distinguer un palier de dégradation d’un pic de fausse alarme sont ainsi mises en
évidence. Pour finir, la section 7 traite une application de détection et de diagnostic
d’un bras de robot. La complexité de cette application montre que seules les
techniques de l’intelligence artificielle sont capables de traiter ce genre
d’applications, où un modèle formel est quasi impossible à obtenir. La mémoire
dynamique du réseau RRFR, lui permet d’apprendre l’allure des signaux capteur,
afin de pouvoir reconnaître le mode de fonctionnement du robot.
2. Réseaux de neurones et surveillance
Les techniques de surveillance par reconnaissance des formes sont fondées sur
l'existence des classes de fautes (Bernauer, 1996) et non pas sur l'existence d'un
modèle du système. Ces classes sont établies à partir de l'expérience ou de
4
l'historique du système. Le schéma général d'une application de surveillance est de
trouver une relation calculable entre deux variables, de manière à pouvoir prédire ou
estimer les variables de sortie en ne connaissant que les variables d'entrée
(Dubuisson, 2001). Cette phase est mise en œuvre par le processus d'apprentissage.
Selon le type d'application, on peut avoir deux types de relations entrées-sorties :
- Problème de discrimination ou classification : La relation entrées-sorties
représente directement l'opération de diagnostic (Dubuisson, 2001). Les variables
d'entrée peuvent être constituées par les différents paramètres mesurés sur le
procédé. On cherche à associer un mode de fonctionnement (fonctionnement normal
ou dégradé) à ces variables d'entrée.
- Problème de régression ou de prédiction : La relation entrées-sorties peut
également avoir pour objet, non pas de donner un diagnostic direct, mais de
reconstruire une quantité utile à une décision ultérieure.
Les types de réseaux de neurones les plus utilisés dans les problèmes de
surveillance sont le Perceptron Multicouches (PMC) et les Réseaux de neurones à
Fonctions de base Radiales - RFR (Bernauer et al., 1993)-(Freitas et al., 1999)(Keller et al., 1994)-(Petsche et al., 1996)-(Rengaswamy et al., 1995)-(Poulard,
1996)-(Vemuri et al., 1997)-(Vemuri et al., 1998), (Smyth, 1994), (Koivo, 1994).
Lors de la mise en place d’un système de surveillance, l'expert est censé connaître
les modes de bon fonctionnement et certains des modes de défaillance. Ces
connaissances représentent la base d'apprentissage du réseau de neurone. Une telle
base ne peut jamais être exhaustive. En effet, certaines des situations de
disfonctionnement peuvent ne jamais apparaître lors de la surveillance du système.
C'est pour cette raison que le système de surveillance doit être en mesure d'identifier
ces modes inconnus. Ceci est appelé rejet en distance (Dubuisson, 1990). Un autre
critère, aussi important que le premier, consiste à définir une limite décisionnelle du
système de surveillance. Ce compromis n'est généralement pas évident à résoudre :
− Si on élargit le champ de décision du système de surveillance, on élargit la
capacité de généralisation du réseau de neurone. En contrepartie, le système perd de
sa sensibilité par rapport à la détection des défaillances,
− Rétrécir le champ de décision, rend le système plus vulnérable aux fausses
alarmes.
Quoi qu'il en soit, il existe des situations où le système de surveillance ne peut
donner un diagnostic fiable. Ce sont les situations où la probabilité d'appartenance à
une classe n'est pas prépondérante par rapport aux autres classes, et seul l'expert est
en mesure de prendre une décision. Ces situations sont appelées situations de rejet
d'ambiguïté (Dubuisson, 1990).
Les deux situations de rejets (en distance et d’ambiguïté) sont bien évidemment
des applications de classification où la variable de sortie est une variable catégorielle
(discrimination). Dans ce type d'application, les RFR sont mieux adaptés par rapport
aux PMC, et ceci pour les raisons suivantes :
5
− De part leur topologie, les RFR, avec leur généralisation locale, sont
parfaitement capables d'intégrer les notions de rejet d'ambiguïté et de distance. En
d'autres termes, ces réseaux sont capables de dire "je ne sais pas". Les PMC ne sont
pas capables d'interpréter les deux situations de rejets.
− Les RFR peuvent se montrer moins gourmands en terme de temps
d'apprentissage et de traitement des données. Ceci est d'autant plus avantageux pour
des applications en ligne (surveillance temps réel) (Hassoun, 1995),
− Un autre point qui fait la différence entre les RFR et les PMC est le
phénomène du sur-apprentissage ou de l'oubli catastrophique (over-training). En
effet, dans les applications de classification, contrairement aux PMC, les RFR ne
sont pas atteints par ce genre de limites d'apprentissage.
Ces avantages ont incité l'intérêt de la communauté scientifique envers ce type
de réseaux de neurones. Plusieurs travaux sur les RFR (connus aussi sous le nom de
réseaux RBF – Radial Basis Function) tous aussi intéressants, ont été publiés ces dix
dernières années. Sans être exhaustif, nous pouvons citer ces quelques références :
(Mak et al., 2000), (Hutchinson, 1994), (Ghosh et al., 1992), (Ghosh et al., 2000),
(Hwang et al., 1997), (Hernandez, 1999), (Poggio et al., 1989), (Mustawi et al.,
1992), (Zemouri et al., 2002b). Le paragraphe suivant est consacré à un bref état de
l'art sur les RFR, ainsi qu’à leurs domaines d’application.
3.
Réseaux de neurones à fonctions de base radiales RFR
3.1. Généralités
Les réseaux de neurones à fonctions de base radiales sont capables de fournir une
représentation locale de l'espace grâce à des fonctions de base dont l'influence est
restreinte à une certaine zone de l'espace. Les paramètres de cette fonction de base
sont donnés par un vecteur de référence (centre ou prototype) [µ j]j=1,…,n et la
dimension σj du champ d'influence. La réponse de la fonction de base dépend donc
de la distance de l'entrée x au vecteur prototype µ j, et de la taille σj du champ
d'influence :
φ j ( x) = φ ( x − µ j , σ j )
[1]
par l’intermédiaire des fonctions φ j (.) , généralement maximales lorsque x = µ j et
qui tendent vers 0 quand x − µ j → ∞ . La gaussienne est ainsi la fonction la plus
employée. Elle s'exprime, sous la forme la plus générale, par la relation suivante :
1
2
φ j (x) = exp(− (x − µ j )t Σ −j 1 (x − µ j ))
[2]
6
où Σ j désigne la matrice de variance-covariance associée à la cellule.
Différents paramétrages de Σ j sont possibles. Un choix courant reste cependant
2
Σ j = σ j I où l'on suppose que la décroissance de la gaussienne est la même pour
toutes les directions de l'espace (gaussienne isotrope). Les courbes d'isoactivation
des cellules cachées sont alors des hyper-sphères. Un nombre restreint de fonctions
de base participent au calcul de la sortie pour une entrée donnée. Les RFR peuvent
être classés en deux catégories, en fonction du type de neurone de sortie : normalisé
et non-normalisé (Mak et al., 2000), (Moody et al., 1989), (Xu, 1998).
3.2 Régression ou prédiction
Ce problème est souvent rencontré en surveillance industrielle. La variable de
sortie du réseau de neurone représente soit une sortie d’un capteur à estimer à partir
de la connaissance d’autres sorties capteur jugées fiables, soit de prédire l’évolution
d’une sortie capteur (Dubuisson, 2001). La solution à ce problème en utilisant les
RFR, passe par le choix d’un groupe de N fonctions de base, centrées aux xn points
d'entrée (n=1,..,N), en utilisant la définition des fonctions radiales avec wn le poids de
la connexion de la néme fonction de base vers le neurone de sortie (Ghosh et al. 1992)
– (Poggio, 1989) :
N
h(x) = ∑ wnφ ( x − x n )
[3]
n =1
Il a été démontré (Michelli, 1986) qu'il existe une classe de fonctions
(gaussiennes, multiquadratique,.) où la matrice Φ = [φij = φ ( µi − µ j , σ j )] est non
singulière. Par conséquent le vecteur de pondération peut s’écrire sous la forme
suivante w = [ wn ]n =1,..., N :
w=Φ -1 .t
[4]
3.3 Classification
Les RFR sont également utilisés dans des problèmes de classification. Dans le
cas d’une application de surveillance, les classes de sortie représentent des modes de
fonctionnement (normal, dégradé, interdit, défaillant, transitoire, critique, …)
(Dubuisson, 2001). En théorie de la classification probabiliste, la loi du vecteur x,
quand on ne connaît pas sa classe d'appartenance, est donnée par la loi mélange f(x) :
M
f (x) = ∑ Pr(α i ) f (x / α i )
i =0
[5]
7
f (x / α i ) , supposée connue, représente la loi conditionnelle d'appartenance du
vecteur x dans la classe α i ; Pr(α i ) représente la probabilité à priori des classes α i ,
supposée aussi connue. Par analogie, la sortie d'un RFR présente l'expression
suivante (Ghosh et al., 2000) :
M
f (x) = ∑ wkiφi (x)
[6]
i =0
avec wki représentant le poids de la connexion entre le iéme neurone radial et le kéme
neurone de sortie.
4.
Représentation du temps dans les réseaux de neurones
La représentation donnée par (Chappellier et al., 1996), (Chappellier, 1996) fait
apparaître deux types de solutions : dans les réseaux de neurones, le temps peut être
représenté soit par un mécanisme externe, soit par un mécanisme interne. Ces deux
termes correspondent respectivement à une représentation spatiale et à une
représentation dynamique du temps (Elman, 1990) (Fig.1).
Réseaux de
neurones temporels
Temps, mécanisme externe:
(NETalk)
(TDNN)
(TDRBF)
Temps mécanisme
interne.
Le temps est représenté
explicitement dans
l'architecture
Le temps au niveau
des connexions
Modèle fonction
du temps
Le temps est implicite
( réseau récurrent)
Le temps au niveau
du neurone
Modèle
biologique
Figure 1. Représentation du temps dans les réseaux de neurones
8
4.1. Représentation spatiale du temps
La façon la plus immédiate de représenter le temps dans les réseaux de neurones
est d’utiliser une représentation spatiale du temps. L’information temporelle
contenue dans les données est alors transformée en une information spatiale, c’est à
dire une forme qu’il s’agit de reconnaître. Des lors, les techniques de classification
par réseaux de neurones habituellement employées deviennent applicables. Cette
transformation du temporel en spatial s’obtient par l’utilisation classique de ligne à
retard. Au lieu de présenter au réseau chaque événement, dès son apparition, il
convient d’attendre un certain temps avant de procéder à la classification de la forme
obtenue. Ce type de représentation du temps fait donc appel à un mécanisme externe
qui est chargé de retarder ou de retenir un certain temps les données, ce qui conduit
à l’appeler également représentation externe du temps.
4.1.1.
NETtalk (Sejnowski et al., 1986)
Dans cette application, il s'agit d'apprendre à prononcer un texte en anglais à
partir des phrases proposées lettre après lettre à l'entrée du réseau. NETtalk utilise
une représentation spatiale du temps sous la forme d'une fenêtre temporelle d'une
longueur de 7 lettres. L'objectif est alors de prononcer correctement le phonème qui
se trouve au centre de la fenêtre. Le réseau de neurones utilisé est constitué d'une
couche d'entrée, d'une couche cachée et d'une couche de sortie. L'apprentissage est
réalisé avec l'algorithme de rétropropagation.
4.1.2.
TDNN (Time Delay Neural Networks) (Waibel et al., 1989)
Le TDNN offre un autre exemple de représentation spatiale du temps appliqué à
la reconnaissance de la parole. Une fenêtre temporelle est utilisée à l'entrée du
réseau mais également pour chaque neurone de la couche cachée et de la couche de
sortie. L'apprentissage est réalisé avec la rétropropagation.
4.1.3.
TDRBF (Time Delay Radial Basis Function)
Introduit par Berthold en 1994 pour la reconnaissance de phonèmes (Berthold,
1994), les réseaux TDRBF combinent les caractéristiques des TDNN et des
RFR(RBF). Ce type de réseau de neurone utilise également une fenêtre temporelle à
l’entrée du réseau (comme les TDNN). Son avantage réside dans la simplicité de son
apprentissage (simplicité des techniques d’apprentissage des RFR).
4.2. Représentation dynamique du temps
Il existe un tout autre type de représentation du temps par l'effet qu'il produit.
Ceci conduit à doter le réseau de propriétés dynamiques, d'où le nom de
représentation dynamique du temps. En d’autres termes, cela revient à donner au
9
réseau la capacité de mémoriser des informations. Il existe différents moyens de
réaliser une telle mémoire :
4.2.1.
Réseaux récurrents
La connectivité des unités dans les réseaux de neurones récurrents ne se limite
pas, comme dans le cas des réseaux à propagation avant (feedforward), à des
architectures dans lesquelles l'information se propage de l'entrée vers la sortie
couche après couche. Tout type de connexion est admis, c'est à dire d'un neurone à
n'importe quel autre, y compris lui-même. Ceci donne lieu à des comportements
dynamiques qui peuvent être fort complexes. Parmi les architectures les plus
connues, nous pouvons citer le modèle de Hopfield (Hopfield, 1982) basé sur le
concept de mémoire adressée par son contenu (mémoire associative). Ce type de
réseau est généralement utilisé dans des problèmes d'optimisation, où les vecteurs
mémorisés jouent le rôle d'attracteurs. Le réseau se stabilise dans un de ces points en
minimisant sa fonction d'énergie (apprentissage non-supervisé). D'autres
algorithmes d'apprentissage supervisé ont été proposés pour des types de réseau
récurrent à couches. Ce sont des adaptations de l'algorithme de rétro-propagation du
gradient des réseaux feedforward (Rumelhart et al., 1986) - (Le Cun, 1985)(Werbos, 1974). Une de ces adaptations est l'algorithme appelé rétropropagation
récurrente, qui nécessite une inversion de matrice de taille N x N à chaque itération
(Rohwer et al., 1987). Le principe de cet algorithme est de propager l'erreur de la
couche de sortie vers la couche d'entrée, avec une certaine modification des poids et
des fonctions d'activations des neurones. Les poids des connexions récurrentes sont
ainsi mis à jour avec le même principe que la mise à jour des poids dans l'algorithme
de rétropropagation du gradient. Un autre type d'algorithme d'apprentissage pour les
réseaux récurrents est appelé rétropropagation dans le temps. Le but de cet
algorithme est d'obtenir une certaine réponse désirée pour certains neurones à
certains instants. L'idée est de dupliquer les neurones sur l'horizon temporel (t =
1,2,…,T) de façon à ce qu'une unité Vi t représente l'état Vi (t ) du réseau récurrent
équivalent (Rumelhart et al., 1986). Le réseau ainsi déplié est de type feedforward et
peut faire l'objet d'un apprentissage par une version légèrement modifiée de
l'algorithme de la rétropropagation. Williams et Zipser (Williams et al., 1989) ont
proposé un algorithme pour l'apprentissage dans les réseaux entièrement connectés
qui évite d'avoir à dupliquer les unités. Une version de cet algorithme appelée
RTRL1 s'effectue en temps réel ce qui revient à réaliser l'apprentissage pendant que
les données sont présentées au réseau au lieu d'avoir à attendre que la totalité des
données soient produite.
Afin de ne pas trop compliquer le processus d'apprentissage, il existe des réseaux
dynamiques partiellement récurrents. Les connexions récurrentes utilisées
permettent au réseau de prendre en compte les informations d'un passé récent, et
sont généralement fixes (ne font pas l'objet d'un apprentissage). L'architecture
1
. Real Time Recurrent Learning
10
proposée par (Elman, 1990) utilise une couche, appelée couche de contexte, qui
duplique les états des neurones de la couche cachée à l'instant précédent. Une autre
architecture similaire à celle de Elman est proposée par Jordan (Jordan, 1986). Dans
cette architecture, les unités de la couche de contexte reçoivent une copie des états
des unités de la couche de sortie mais tiennent également compte de leur propre état
à l'instant précédent. L’équipe du laboratoire ESPCI de Paris propose une
architecture plus simple que celle de Jordan (Dreyfus et al., 2002). Le vecteur de sortie
du réseau de neurone est réinjecté à l’entrée de celui-ci avec un retard unitaire.
Dans ces trois types d'architectures (Elman, Jordan, Dreyfus), l'algorithme
d'apprentissage utilisé est celui de la rétropropagation du gradient, où les connexions
récurrentes ne sont pas nécessairement modifiables.
4.2.2.
Les connexions à délais
Pour ce type de réseau, chaque connexion possède à la fois un poids et un délai
et où peut exister plus d'une connexion entre deux unités (notamment avec des délais
différents). La difficulté que pose ce type de modèle à délai sur les connexions,
réside dans l'élaboration d'un algorithme d'apprentissage qui permette non seulement
une adaptation des poids des connexions mais également une adaptation des délais.
4.3. Analyse des représentations temporelles
La représentation spatiale du temps, caractérisée par l'emploi d'une métaphore
spatiale du temps, présente plusieurs désavantages. Tout d'abord, elle suppose
l'existence d'une interface avec le monde extérieur dont le rôle est de retarder ou de
retenir les données jusqu'au moment de leur utilisation dans le réseau : comment
connaître l'instant où les données doivent être traitées ? Le second désavantage est
représenté par le fait d'utiliser une fenêtre temporelle (ou des retards) de longueur
finie et déterminée à priori, soit par la plus longue information à traiter, soit en
supposant la même longueur pour toutes les données. Enfin, c'est dans la nature
même de la représentation spatiale que se pose la difficulté de différencier une
position temporelle relative d'une position temporelle absolue (Elman, 1990).
Les réseaux récurrents peuvent exhiber deux types de comportements temporels :
soit ils se stabilisent dans un certain nombre de points d'équilibre, soit ils sont
capables de décrire une trajectoire particulière dans leur espace d'état. Un
changement infinitésimal des conditions initiales ou de la pente d'un point
intermédiaire sur la trajectoire, peut changer le point d'équilibre vers lequel le
système évolue. Ceci rend la procédure d’initialisation du réseau dynamique très
complexe.
Les algorithmes d'apprentissage dans les réseaux récurrent permettent, lorsque
les modèles classiques de type feedforward ont échoué, d'envisager la résolution des
problèmes dans lesquels le temps occupe une place essentielle. Ils offrent également,
11
par le fait qu'ils utilisent une représentation dynamique du temps, des potentialités
que n'offrent pas les modèles qui font appel à une représentation spatiale du temps.
Les temps d'apprentissage et les ressources informatiques nécessaires à leur mise en
œuvre peuvent être relativement importantes. Comme pour la plupart des
architectures neuronales, aucune méthode formelle ne permet de dimensionner les
réseaux récurrents par rapport au problème à traiter.
Le réseau de neurone que nous présentons au paragraphe suivant combine les
avantages des réseaux à fonctions de base radiales RFR et ceux des réseaux
récurrents. En effet, le problème de la lourdeur du processus d'apprentissage des
réseaux récurrents peut être éviter grâce à la souplesse de l'apprentissage des RFR.
5. RFR dynamiques : Réseaux de neurones Récurrents à Fonctions de base
Radiales (RRFR)
Le réseau de neurones que nous proposons, considère le temps comme une
représentation interne au réseau (Chappellier, 1996), (Elman, 1990). Cet aspect
dynamique est obtenu par une récurrence des connexions au niveau des neurones de
la couche d'entrée ( 1 ) (Fig.2). Ces auto-connexions procurent aux neurones
d’entrée une capacité de prise en compte d’un certain passé des données en entrée.
On peut ainsi qualifier ces neurones bouclés par mémoire élémentaire dynamique du
réseau de neurones. Le réseau RRFR est donc doté de deux types de mémoires : une
mémoire dynamique (couche 1 ) pour la prise en compte de la dynamique des
données en entrée, et une mémoire statique (couche 2 ) pour mémoriser les
prototypes. La couche de sortie 3 représente la couche de décision.
w11
Entrée
I1
w22
I2
w33
Neurones de sortie
I3
Fonction Sigmoïde
1
Radial Basis Function
2
3
Figure 2. Réseau RRFR (Réseaux Récurrents à Fonctions de base Radiales )
12
5.1. Neurone bouclé
Chaque neurone de la couche d'entrée effectue une sommation à l'instant t entre
son entrée Ii(t) et sa sortie de l'instant précédent x(t-1) pondérée par le poids de
l'auto-connexion wii . Il donne en sortie le résultat de la fonction d'activation :
ai (t ) = wii xi (t − 1) + I i (t )
[7]
xi (t ) = f (ai (t ))
[8]
avec ai(t) et xi(t) représentant respectivement l'activation du neurone i et sa sortie à
l'instant t. f est la fonction d'activation ayant l'expression de la sigmoïde ci-dessous :
f ( x) =
1 − exp(− kx)
1 + exp(−kx)
[9]
où wii représente le poids de l'auto-connexion du neurone i.
Pour mettre en évidence l'influence de cette auto-connexion sur les capacités de
mémorisation dynamique des neurones bouclés, on prend en considération
uniquement l'entrée Ii(t0) = 0 et xi(t0) = 1, en laissant évoluer le neurone sans
l'influence de l'entrée extérieure (Frasconi et al., 1995) - (Bernauer, 1996). La sortie
du neurone a donc l'expression suivante :
x(t ) =
1 − exp(−kwii x(t − 1))
1 + exp(− kwii x(t − 1))
[10]
La figure 3.a montre l’évolution de la sortie du neurone à chaque instant.
xi
t
∆=
xi
ai
wii
∆=
a+
f(ai)
ai
wii
f(ai)
t+1
t+2
a0
(∆)
-a-
ai
a0
ai
a-
-b-
Figure 3. Points d’équilibre du neurone bouclé : - a - comportement d’oubli
( kwii ≤ 2 ). - b - comportement de mémorisation temporaire ( kwii > 2 ).
13
Cette évolution dépend de la pente de la droite ∆ (Fig. 3), c’est à dire du poids
de la connexion (wii) et du paramètre k de la fonction d’activation. Les points
d'équilibre du neurone bouclé satisfont l'équation suivante :
a (t ) = wii f (a (t − 1))
[11]
Le point a = a0 = 0 est une première solution évidente de cette équation. Les
autres solutions à l’équilibre s'obtiennent par l'étude des variations de la fonction :
g (a ) = wii f (a ) − a
[12]
En fonction de kwii, le neurone bouclé possède un ou plusieurs points
d'équilibre (Fig.3) :
− Si kwii ≤ 2 , le neurone possède un seul point d'équilibre, alors a0 = 0
− Si kwii > 2 , le neurone possède trois points d'équilibres : a0 = 0, a + > 0, a − < 0.
Pour étudier la stabilité de ces points, on étudie les variations de la fonction de
Lyapunov (Frasconi et al., 1995) - (Bernauer, 1996) :
Dans le cas où kwii ≤ 2 , cette fonction est définie par V (a) = a 2 . On obtient :
∆V = ( wii f (a )) 2 − a 2 = g (a )( wii f (a) + a)
[13]
Si a>0, alors f(a)>0 et g(a)<0. Vu que le poids wii > 0 , nous obtenons ∆V < 0 .
Inversement, si a<0, alors f(a)<0 et g(a)>0. wii > 0 alors on a bien ∆V < 0 . Le point
a0 = 0 est donc un point d'équilibre stable si kwii ≤ 2 avec wii > 0 .
Dans le cas où kwii > 2 , le neurone bouclé possède trois points d'équilibre
a0 = 0, a + > 0 et a - < 0 . Pour étudier la stabilité du point a+ , on défini la fonction
de Lyapunov par V (a) = (a − a + ) 2 (Frasconi et al., 1995) - (Bernauer, 1996). On
obtient ainsi :
∆V = ( wii f (a) − a + ) 2 − (a − a + ) 2 = g (a )[ g (a) + 2(a − a + )]
[14]
Si a>a+, g(a)<0 et [ g (a) + 2(a − a + )] > 0 . On a donc ∆V < 0 . Le raisonnement est le
même dans le cas où a<a+. Le point a+ est donc un point d'équilibre stable. De façon
similaire, on prouve que le point a- est également un point d'équilibre stable. Ainsi,
lorsqu'on s'écarte de a0 = 0, c'est pour atteindre l'un des deux points d'équilibre
stables a+ ou a-. Le point a0 est donc un point d'équilibre instable.
Le neurone bouclé peut ainsi exhiber deux comportements en fonction de kwii :
comportement d'oubli ( kwii ≤ 2 ), et comportement de mémorisation temporaire
( kwii > 2 ). La figure 4 montre l'influence du produit k wii sur le comportement du
neurone bouclé. Dans tous les cas, l'auto-connexion permet au neurone de
mémoriser un certain passé des données d'entrée. Cette auto-connexion peut être
14
obtenue par apprentissage, mais le plus aisé serait de la fixer a priori. Nous verrons
dans les paragraphes suivants, comment ce neurone bouclé peut permettre au réseau
RRFR de traiter des données dynamiques alors que les RFR classiques ne traitent
que des données statiques.
1
0.9
Sortie du neurone
0.8
0.7
0.6
0.5
0.4
kwii = 2, 05
0.3
0.2
0.1
0
20
40
kwii = 2
kwii = 1, 95
kwii = 1,5
0
60
80
100
120
140
160
180
200
Temps
Figure 4. Influence du produit k wii sur le comportement du neurone bouclé. Le
neurone stimulé à t=0, évolue différemment en fonction des deux paramètres.
5.2 Dimensionnement, initialisation et apprentissage des RRFR
L’application du réseau RRFR en surveillance des systèmes dynamiques passe
par trois étapes essentielles : dimensionnement, initialisation et apprentissage.
Les dimensions de la couche d’entrée et de sortie sont définies en fonction de la
dimension du problème. Le nombre de neurones bouclés est égal à la dimension du
vecteur d’entrée. Le nombre de neurones de sortie est égal au nombre de variables
de sortie, pour des applications en régression ; et varie selon le codage adopté pour
représenter la variable catégorielle, pour des applications de classification. Le
nombre de neurones de la couche cachée est déterminé par le processus
d’apprentissage. Cette étape permet également de déterminer les paramètres des
neurones cachés (centres et rayons d’influence des prototypes), ainsi que les poids
des connexions de sortie (uniquement entre la couche cachée et la couche de sortie).
Les paramètres des neurones bouclés sont initialisés en fonction du but recherché
par l’application et du type de variable en entrée. Pour des applications
d’apprentissage de séquences (simples ou complexes) d’événements discrets, les
variables d’entrée sont de type binaire : 1 dans le cas où l’événement associé à
l’entrée du neurone bouclé se produirait et 0 dans le cas contraire. Dans ce type
d’application, on impose un aspect binaire à la fonction d’activation du neurone
bouclé à travers le paramètre k de la sigmoïde [9] (généralement k ≥ 1). On ajuste
ensuite la valeur de l’auto-connexion en fonction de l’aspect dynamique souhaité
pour le neurone bouclé. Si l’information recherchée est l’instant d’apparition d’un
événement Ei d’une séquence, on impose au neurone un comportement
15
d’oubli kwii ≤ 2 . La plus longue mémoire est obtenue pour kwii = 2 . Le neurone
bouclé est capable de garder en mémoire une trace d’une occurrence d’un
événement pendent plus de 200 pas de simulation (Fig. 4). Pour avoir les mêmes
performances avec d’autres architectures neuronales utilisant la représentation
spatiale (le TDRBF par exemple), il faudrait une fenêtre temporelle de plus de 200
éléments, ce qui alourdi énormément l’architecture du réseau de neurone. Dans le
cas où l’information recherchée est uniquement l’occurrence d’un événement Ei,
sans s’intéresser au moment de son apparition, on impose au neurone un
comportement de mémorisation kwii > 2 . Par contre, si la variable d’entrée est de
type réel, on impose un aspect pseudo linéaire à la fonction d’activation du neurone
autour de l’origine (point 0). Cet allure est obtenue avec des valeurs petites de k
( k ≈ 0.05 ). On applique le même raisonnement pour déterminer la valeur de l’autoconnexion des neurones bouclés.
L’algorithme d’apprentissage que nous avons adopté pour notre application de
surveillance est le « Dynamic Decay Adjustment (DDA) algorithm», introduit par
Berthold (Berthold et al., 1995). Cette technique est extraite partiellement de
l'algorithme RCE2 (Hudack, 1992). Son principe est d'introduire deux seuils θ − et
θ + afin de réduire les zones de conflits entre prototypes, problème essentiel
rencontré dans l'algorithme RCE. Pour assurer la convergence de l'algorithme
d'apprentissage, le réseau doit satisfaire les deux inégalités [15] ci-après pour chaque
vecteur x de classe c de la base d'apprentissage (Fig.5) :
∃i : φic (x) ≥ θ +
[15]
∀k ≠ c, ∀j : φ jk (x) < θ −
φ
A
B
θ+
θ−
xA
xn
xB
x
Vecteur d'entrée
(classe B)
Figure 5. Ajustement des rayons d’influence avec deux seuils θ − et θ + (algorithme
DDA). Pas d’ajout de prototype pour le nouveau vecteur d’entrée ( φ B (x n ) > θ + ). Le
seuil θ − permet de réduire les zones de conflits par les relations suivantes :
φ B (x A ) < θ − , φ A (x n ) < θ − , φ A (x B ) < θ − .
2
Restricted Coulomb Energy
16
5.3 Test du RRFR sur la reconnaissance de séries temporelles
Le test de l’aspect dynamique du RRFR passe par un test sur des exemples
classiques d’apprentissage et de prédiction de séries temporelles. Ceci peut être vu
comme une première validation pour des applications de pronostic. En effet, la
prédiction de l’évolution d’un système dynamique non linéaire nécessite la prise en
compte et l’apprentissage de la dynamique du système. Nous avons testé le RRFR
sur la série temporelle LogisticMap. Les résultats de la prédiction ont été comparés
avec ceux du TDRBF. La série temporelle est définie par l’expression ci-dessous :
x(t + 1) = 4 x(t ).(1 − x(t ))
[16]
Cette série est considérée comme chaotique dans l’intervalle [0,1], avec comme
valeur initiale x(0)=0.2. Le but de cette application est de prédire la valeur de x(t+1)
à partir des connaissances de x(t) et x(t-1). Nous avons pris les 100 premier points de
la série pour la phase d’apprentissage. Nous avons initialisé les neurones bouclés du
RRFR de telle sorte à avoir un comportement pseudo-linéaire avec la plus longue
mémoire possible ( k ≈ 0.05 et wii = 2 ). Les paramètres des neurones cachés ont été
déterminés par l’algorithme DDA. Les figures 6.(a, b, c, d) présentent les résultats
de prédiction du RRFR ainsi que ceux du TDRBF sur cette série temporelle. Les
performances du RRFR sont nettement supérieures par rapport à celles du TDRBF.
L’erreur de prédiction du RRFR est relativement négligeable, comparée à celle du
TDRBF qui atteint un pic de 0.8 (80% de l’amplitude de la série). Le temps
d’apprentissage est quasi nul pour les deux types de réseaux de neurones3. La
rapidité du processus d’apprentissage est en grande partie due à la souplesse des
RFR qui constitue la base statique des deux modèles.
1
Sortie réelle
Sortie prédite
x 10
-11
0
20
9
0.9
8
0.8
7
0.7
6
0.6
5
0.5
4
0.4
0.3
3
0.2
2
1
0.1
0
20
0
40
60
80
100
120 140 160
180 200
0
40
60
-a0.8
1
0.7
0.8
0.6
0.6
0.5
0.4
0.4
0.2
0.3
0
0.2
-0.2
0
100 120 140 160
180 200
-b-
1.2
-0.4
80
0.1
20
40
60
80
100 120 140 160
180 200
0
0
20
40
60
80
100 120 140 160
180 200
-c-dFigure 6. Comparaison des résultats de prédiction entre le RRFR et le TDRBF (a et
respectivement c). Erreurs de prédiction correspondantes (b respectivement d).
3
≈ 0.5 secondes sur un PC ayant un processeur de 700 Mhz
17
5.4 Test du RRFR sur l’apprentissage de séquences d’événements discrets
Dans (Zemouri et al., 2001), nous avons testé le RFR récurent sur un problème
d'apprentissage de séquences simples. Dans le but d’élargir le champ d’application
du RRFR au cadre d’apprentissage des séquences d’événements discrets, nous
considérons le système à événements discrets de la figure 7.a. Le système de
production étudié comporte deux machines M1, M2 avec un temps de traitement
nominal TM1 respectivement TM2. Après traitement sur la machine M1, les pièces
sont mises sur le convoyeur pour être acheminées vers M2 pendant un temps
nominal Ttr. Les informations concernant le fonctionnement du système sont
collectées via quatre capteurs (C1, C2, C3 et C4).
Nous avons utilisé le réseau RRFR pour la détection du mode nominal et
quelques modes dégradés. Ces modes dégradés représentent des séquences où
surviennent des perturbations, soit au niveau des deux machines soit au niveau du
convoyeur. Nous pouvons représenter ce système de production à événements
discrets avec ses perturbations, par un réseau de Petri temporisé (Daniel, 1995),
(Racoceanu et al., 2002) (Fig. 7.b). Les trois places PM1, PM2, Ptr représentent les trois
situations de fonctionnement normal (opération sur la machine M1 ou la machine
M2, ou respectivement convoyage des pièces). Les places P’M1, P’M2 et P’tr
représentent respectivement les trois catégories de perturbations pouvant survenir
sur le système, avec différentes durées possibles (tM1, tM2, ttr). L’impulsion transmise
par les capteurs Ci représente l’entrée externe des neurones bouclés (Fig. 7.c). A
chaque excitation, le neurone bouclé garde en mémoire une trace sur l’instant
d’occurrence de l’événement correspondant pendant au moins 200 pas de
simulations (voir figure 4). A la fin d’une séquence, chaque neurone i exhibe une
sortie xi(t) qui dépend de l’instant d’occurrence de l’événement Ci. Les sorties des
quatre neurones bouclés représentent donc un vecteur caractéristique (prototype) de
chaque type de séquence différent et sera mémorisé par les neurones gaussiens.
Nous avons appris au réseau un mode nominal et trois modes dégradés (pour
trois types de perturbations). Nous avons testé les capacités de généralisation du
réseau RRFR sur la reconnaissance de situations proches de celles qui ont été
apprises. Nous avons aussi testé les capacités du RRFR à détecter de nouveaux
modes dégradés. Le tableau 1 montre les résultats de cette application. La partie
apprentissage présente les données de l’apprentissage avec les sorties du réseau pour
chaque mode (nominal : MN, mode dégradé 1, 2 et 3 : M.D1, M.D2 et M.D3). La
partie test présente les résultats des capacités de généralisation du RRFR. Les
résultats de détection de nouveaux modes sont présentés sur la dernière partie du
tableau. Ces résultats expérimentaux montrent que la mémoire dynamique du réseau
RRFR permet d’apprendre des séquences d’événements discrets avec une certaine
souplesse de l’algorithme d’apprentissage. Grâce à sa généralisation locale, le réseau
est capable d’identifier des modes proches de ceux déjà appris, et de détecter de
nouvelles situations qui n’ont pas encore été rencontrées.
18
Per1
C1
C1
tM1
TM1
PM1
P’M1
Mode Nominal
C2
Per2
C2
Ptr
C4
C3
Machine M2
TM1
Ttr
C3
P’tr
Per3
C3
C1
C2
Machine M1
Mode dégradé 1
ttr
Ttr
PM2
Mode dégradé n
C4
tM2
TM2
P’M2
1
C4
TM2
-a-
-b-
2
3
-c-
Figure 7. a - Système à événements discrets étudié, b - Modélisation du système par
un réseau de Petri temporisé à synchronisations internes, c - Réseau RRFR utilisé
pour l’apprentissage des séquences d’événements discrets du système.
Paramètres du système
Perturbations
Réponse du Réseau de
TM2
Ttr
tM1
tM2
ttr
Apprentis
-sage
10
20
15
0
0
0
1
0
0
10
20
15
5
0
0
0
1
0
0
10
20
15
0
10
0
0
0
1
0
10
20
15
0
0
10
20
15
10
20
15
4
10
20
15
6
10
20
15
0
8
0
10
20
15
0
12
0
10
20
15
0
0
6
10
20
15
0
0
10
20
15
5
2
10
20
15
-5
+5
10
20
15
-5
10
20
15
0
Détection
de
nouveaux
modes
TM1
Validation des modes
connus
neurones
M.N M.D1 M.D2 M.D3
0
7
0
0
0
1
0
0.92
0.4
0
0
0
0
0.58
0.97
0
0
0
0
0.31
0.97
0
0
0
0
0.78
0
0
0
0.8
0
0
0
0
0.7
8
0
0
0
0.7
-7
0
0
0
0
0
0,21
0.09
0.02
0
0
+5
0
0
0
0.05
+5
-5
0
0
0
0
+0,5 -0,5
Tableau 1. résultats de l’application du réseau RRFR sur l’apprentissage des
séquences du système de la figure 7.a. Les Ti représentent les temps nominaux, et les
ti sont des perturbations pouvant agir sur le système. Les colonnes M.N, M.D1,
M.D2, M.D3 sont les réponses des classes de sortie (mode nominal et les trois
modes dégradés). La partie apprentissage représente les données utilisées pour
l’apprentissage des quatre modes. Les deux autres parties donnent les résultats du
réseau RRFR pour la reconnaissance des modes connus et pour la détection des
nouveaux modes (jusqu’alors inconnus par le réseau).
6.
19
Application du RRFR en surveillance dynamique
Comme on l'a vu précédemment, pour des applications de surveillance par
classification, les RFR sont les outils qui semblent être les plus appropriés. Le
principe d'une telle utilisation se base sur l'existence d'une base de donnée. Dans la
pratique industrielle, aussi riche soit-elles, les informations concernant les
défaillances ne peuvent jamais être exhaustives. Cette caractéristique essentielle des
problèmes de surveillance est très bien prise en compte par la topologie du RRFR.
Sa propriété de généralisation locale lui permet de reconnaître des situations
nouvelles, offrant ainsi la possibilité à l'opérateur de mettre à jour sa base de
connaissance.
Pour montrer l'intérêt de l’auto-connexion des neurones d’entrée du RRFR sur le
traitement dynamique d'un signal capteur dans une application de surveillance
(Zemouri et al., 2002a), nous considérons, pour commencer, un exemple simple avec
un seul signal d'entrée S (t ) et deux modes connus (Fig. 8) :
− Mode 1 : Un mode de fonctionnement nominal,
− Mode 2 : Un mode de défaillance connu.
Mode 1
wii
Rbf(t)
X(t)
Signal d’entrée
Mode 2
X(t)
S(t)
Rdef(t)
Neurone bouclé
Radial Basis
Function
Neurone de
sortie
Figure 8. Modèle neuronal de surveillance
Les deux modes sont représentés par les deux neurones de la couche cachée,
centrés sur le prototype xi (t ) . Ce prototype représente le régime permanent de la
sortie du neurone bouclé correspondant aux deux modes connus (Fig.9) :
x(∞) = lim
t →∞
1 − exp(− k ( wii x(t − 1) + s (t )))
1 + exp(− k ( wii x(t − 1) + s (t )))
[17]
Notre modèle de surveillance neuronal aura donc deux fonctions à assurer :
détection et diagnostic des défaillances. La fonction détection est assurée par le
neurone correspondant au mode de fonctionnement nominal. La sortie de ce neurone
est au maximum quand le système est à son fonctionnement nominal et diminue
d'une manière uniforme si le système s'écarte du mode nominal. La fonction
diagnostic est assurée par le neurone correspondant au mode de défaillance connu.
Ce neurone réagit dans le cas où le système se trouverait dans ce mode de
défaillance. Dans le cas contraire, aucun neurone ne donne de réponse. Cette
situation n'est rien d'autre qu’un rejet en ambiguïté (Dubuisson, 1990).
20
S(t)
x(t)
défaillance
Fausse alarme
xdef
sdef
Mode de défaillance
Zone d’ambiguïté
sbf
xbf
Mode nominal
t
R(t)
Figure 9. Correspondance entre la valeur d’entrée du signal capteur et le prototype
mémorisé
6.1. Détection d’un palier de dégradation. Sensibilité du neurone bouclé
Nous allons étudier la sensibilité du neurone bouclé par rapport aux variations du
signal d’entrée. Cette étude correspond à l’analyse de la sensibilité du RRFR
(neurone d’entrée bouclé) face au RFR (neurone d’entrée linéaire). Nous verrons
que cette sensibilité dépend essentiellement du produit kw. Pour des raisons de
simplicités de calcul, nous avons étudié le rapport inverse dS/dx. Toutefois, nous
revenons à l’expression classique de la sensibilité dx/dS lors de l’interprétation de
nos résultats.
Définition du palier de dégradation
~
On associe l’apparition d’un palier de dégradation entre S et S * d’un signal
capteur S (t ) à l'existence d'au moins une valeur intermédiaire S ε telle que :
~
S < Sε < S*
[18]
En d’autres termes :
~
S* − S
∃η > 0 /
=η
∆t
[19]
Propriété 1
Pour un réseau de neurones dynamique de type RRFR :
2
• si − wii > 1 , alors le neurone bouclé est plus robuste qu’un neurone linéaire
k
donc le RRFR est plus robuste que le RFR (statique) ;
•
si
21
2
+
− wii ≤ 1 alors , ∃ S1 ∈ ℜ tel que :
k
- ∀S ∈ ]−∞, − S1 ] ∪ [ + S1 , +∞[ , le neurone bouclé est plus robuste qu’un neurone
linéaire,
- ∀S ∈ [ − S1 , + S1 ] , le neurone bouclé est plus sensible qu’un neurone linéaire.
avec k le paramètre de la sigmoïde, wii le poids le l’auto-connexion du neurone
bouclé et S le signal d’entrée du réseau de neurones.
Démonstration
Pour étudier la sensibilité du neurone bouclé, on considère l’expression du
régime permanent x de sa sortie :
x=
1 − exp(−k ( wii x + S ))
1 + exp(−k ( wii x + S ))
[20]
En écrivant l’expression de S en fonction de x, nous avons par conséquent :
1 1− x
S = − ln(
) − wii x
k 1+ x
[21]
Pour avoir un rapport entre les variations de S et celle de x, on calcule la dérivée
de S par rapport à x :
dS 2
1
= ×
− wii
dx k 1 − x 2
On étudie la sensibilité du neurone bouclé en évaluant
[22]
dS
par rapport à 1 :
dx
dS
2
1
1
k (1 + wii )
2
=1 ⇒ ×
− wii = 1 ⇒
=
⇒ x 2 − (1 −
)=0
2
2
dx
k 1− x
1− x
2
k (1 + wii )
Si
1−
2
2
< 0 ⇒ − wii > 1
k (1 + wii )
k
[23]
[24]
l’équation [23] n’admet pas de solution,
Si
1−
2
2
≥ 0 ⇒ − wii ≤ 1
k (1 + wii )
k
[25]
22
l’équation [23] admet deux solutions :
x11 = + 1 −
2
k (1 + wii )
, x12 = − 1 −
2
k (1 + wii )
[26]
Le tableau des variations de [23] est défini en fonction de k et wii :
x
-1
0
+1
+∞
dS
dx
x
x11
+1
dS
dx
+∞
+1
2
− wii
k
+1
∀x ∈ ]−1, +1[ /
0
+∞
+∞
2
− wii
k
x12
-1
dS
>1
dx
dS
>1
dx
dS
<1
dx
dS
>1
dx
Tableau 2. Sensibilité du neurone bouclé en fonction du paramètre k de la sigmoïde
et du poids de l’auto-connexion wii
Nous obtenons les résultats suivants :
•
•
2
dS
dx
− wii > 1 alors ∀x ∈ ]−1, +1[ /
>1 ⇒
< 1 , le neurone bouclé est plus
k
dx
dS
robuste qu’un neurone linéaire
2
si − wii ≤ 1 alors ;
k
dS
dx
∀x ∈  −1, x12  ∪  x11 , +1 /
≥1 ⇒
≤ 1 le neurone bouclé est plus
dx
dS
robuste qu’un neurone linéaire
dS
dx
∀x ∈  x12 , x11  /
≤1 ⇒
≥ 1 le neurone bouclé est plus sensible qu’un
dx
dS
neurone linéaire
si
La valeur de S1 de la propriété 1 se déduit de l’expression [26] en utilisant la
relation [21].
6.2. Détection d’une fausse alarme
Soit x le régime permanent de la sortie du neurone bouclé correspondant au
régime permanent du signal d'entrée S . On définit un changement brusque du signal
d'entrée par un passage de S à S * en un laps de temps relativement nul. On peut
formaliser ce changement par l'expression suivante :
S * − S
≈ +∞
∆t
23
[27]
Propriété 2
Le réseau RRFR présente une structure insensible aux fausses alarmes.
Démonstration
Soit la réponse du neurone bouclé pour un pic de changement brusque S * ([27]) :
x* =
1 − exp(−k ( wii x + S * ))
1 + exp(−k ( w x + S * ))
[28]
ii
Pour étudier la sortie du neurone bouclé face à un pic de fausse alarme [27] et un
palier de dégradation [19], on compare l’expression [28] et la sortie x** pour S * de
la relation [18] (Fig. 10).
S
wii
Signal
d’entrée
x(t)
x
<
Sε
xε
S(t)
<
S*
x**
x
*
(Palier de dégradation)
( Fausse alarme)
Figure 10. Principe de calcul des sorties du neurone bouclé face à un pic de fausse
alarme et un palier de dégradation
Pour la valeur intermédiaire S ε du signal d’entrée, la sortie du neurone bouclé
présente la forme suivante :
xε =
1 − exp(−k ( wii x + S ε ))
1 + exp(−k ( w x + S ε ))
[29]
ii
Comme la fonction sigmoïde est strictement croissante et que wii > 0 , on obtient
la relation suivante :
xε > x
[30]
La sortie du neurone bouclé pour la valeur S * devient par conséquent :
x** =
1 − exp(−k ( wii xε + S * ))
1 + exp(−k ( wii xε + S * ))
[31]
24
Si l'on considère que wii > 0 , on obtient par la suite :
wii xε + S * > wii x + S *
[32]
x** > x*
[33]
donc :
La sortie du neurone bouclé, de fonction d’activation sigmoïde, est donc
différente dans le cas où on aurait un changement brusque du signal d'entrée et dans
le cas où il s’agirait d’un palier de dégradation. La réponse du neurone bouclé est
plus importante dans le deuxième cas. La sortie du neurone radial, correspondant au
mode de bon fonctionnement, sera donc différente pour les deux situations :
Φ bf ( x − x* ) > Φ bf ( x − x** )
[34]
La figure 11 résume les deux cas étudiés précédemment. La sortie x(t) du
neurone bouclé et bien différente pour le cas d’un palier de dégradation et le cas
d’une fausse alarme. Les neurones de fonction d’activation radiale auront par
conséquent des réponses déférentes.
S(t)
x(t)
100
90
Palier de
dégradation
80
70
Fausse
alarme
60
50
x(t)
x(t)
40
30
20
S(t)
10
S(t)
0
0
temps
t
Figure 11. Réponse du réseau de neurone pour une fausse alarme et un palier de
dégradation
6.3 Exemple d’application : surveillance d’un moteur électrique
Nous présentons les résultats d’un test du réseau RRFR pour la surveillance d’un
moteur électrique dont le but est de valider les résultats concernant la détection
d’une vraie dégradation et l’élimination des fausses alarmes. Le traitement effectué
concerne la surveillance de la vitesse de rotation du moteur. Cette donnée est
récupérée grâce à un tachymètre monté sur l’arbre du moteur et ensuite numérisée.
25
La programmation du réseau de neurone a été effectuée sous Matlab/Simulink. La
figure 12 montre le schéma de l’application.
Mesure de vitesse
moteur
Numérisation
Mode 1
wii
Programmation
Mode 2
S(t)
Neurone bouclé
Neurone de sortie
Radial Basis Function
Réseaux de neurone
RFR dynamique
Figure 12. Schéma d’application de la surveillance d’un moteur.
Pour mettre en évidence le traitement dynamique du réseau de neurones, nous
avons volontairement appliqué au moteur deux types de perturbations externes. Des
frottements au niveau de l’arbre de rotation qui peuvent être assimilé à une
dégradation (roulement défaillant, arbre défaillant,…) et des perturbations au niveau
du capteur de vitesse pouvant représenter des bruits de mesure (fausse alarme). Ces
bruits de mesures provoquent une chute de tension dont l’amplitude est supérieure à
celle causée par les frottements. La figure 13.a montre les mesures de vitesse
effectuées sur l’arbre du moteur avec les deux types de perturbations.
0.5
20
18
0.48
16
0.46
14
12
0.44
10
bruits
0.42
Frottements
8
6
0.4
4
0.38
2
0
0
500
1000
1500
2000
- a - mesure de vitesse
2500
0.36
0
500
1000
1500
2000
2500
- b - réponse du neurone bouclé
Figure 13. Mesure de la vitesse de rotation et réponse du neurone bouclé avec les
deux types de perturbations : frottements et bruits de mesures.
La sortie du neurone bouclé excité par la vitesse de rotation du moteur est
schématisée par la figure 13.b. Les paramètres de ce neurone sont obtenus de telle
sorte à avoir une mémoire dynamique la plus grande possible ( kwii = 2 ). Le
neurone bouclé est bien capable de dissocier une fausse alarme (un bruit
d’acquisition) d’une vraie dégradation des performances.
26
7.
Application
Nous présentons les résultats de l’application du réseau RRFR sur un problème
de surveillance d’un bras de robot d’une cellule d’assemblage. Cette application a
été construite à partir des données réelles du benchmark « Robot Execution
Failures4 ». Le problème consiste à établir un système de supervision intelligent
aidant l’expert dans ces prises de décisions par rapport aux défaillances. Ces
défaillances sont classées en trois catégories (Camarinha-Matos et al., 1996) :
- Défaillances d’exécution : essentiellement des erreurs au niveau du bras de
robot rencontrées lors de l’exécution d’une tache (collisions, obstruction, etc.) ;
- Evénements externes qui peuvent perturber le bon fonctionnement du robot ;
- Erreurs système (hardware ou software), qui perturbent tout le système
d’assemblage.
Dans notre application, nous nous intéressons qu’aux défaillances d’exécution,
en l’occurrence, la détection d’une collision et l’identification du type de collision.
Le bras du robot est muni de trois capteurs de force (Fx, Fy, Fz) (Fig. 14). Les
réponses données par ces trois capteurs nous renseignerons sur l’état de
fonctionnement du bras. Quatre types de défaillances sont susceptibles de se
produire (Fig. 15) : collision frontale, collision par derrière, collision à gauche et
collision à droite. Le réseau RRFR aura pour rôle d’apprendre l’allure des trois
signaux, en fonction de chaque défaillance, et de pouvoir classer ensuite chaque
défaillance à partir de la connaissance des trois signaux capteurs.
Fx
Mode Normal
Capteurs de
forces (Fx, Fy, Fz)
Fy
Fz
Collision Devant
Collision Derrière
Collision Droite
Collision Gauche
Figure 14. Application du réseau RRFR pour la surveillance d’un bras de robot.
Les sorties des trois capteurs de forces constituent les entrées du réseau RRFR.
L’apprentissage permet de définir le nombre, ainsi que les paramètres des neurones
gaussiens.
4
Données disponibles sur le serveur de The UCI KDD Archive [http://kdd.ics.uci.edu].
Irvine, CA: University of California, Department of Information and Computer Science.
gauche
droite
Vue de face
Derrière
27
devant
Vue de profile
Figure 15. Différents types de collisions possibles du robot lors de l’exécution d’une
tache : collision frontale, par derrière, à gauche ou par la droite.
La réponse des trois capteurs dépend du type de défaillance (Fig. 16). Dans
(Camarinha-Matos et al., 1996), les auteurs ont procédé en premier à un traitement
des données capteur pour extraire des informations pertinentes de chaque classe
(essentiellement un calcul de moyenne des signaux capteurs), puis à une phase
d’élaboration de règles d’inférences pour classer les défaillances. Cette phase
représente toute la difficulté de leur approche, car il faut d’un coté fournir un effort
pour identifier les tendances de chaque signal pour chaque classe, et également
établir des bornes de décision pour chaque paramètre (si Fz ∈ [a, b[ et F x ∈ [c, d[ ,
alors situation = collision frontale). La simplicité de notre méthode réside dans la
souplesse de la phase d’apprentissage qui intègre implicitement les tendances de
chaque signal, en fonction du mode de fonctionnement. La mémoire dynamique
permet donc au RRFR d’apprendre les allures des signaux pour chaque mode.
La base de données de cette application contient 47 échantillons avec la
distribution suivante : 43% mode normal, 13% mode collision frontale, 15% mode
collision par derrière, 11% mode collision à droite et 19% collision à gauche. Nous
considérons un échantillon par mode pour l’apprentissage du réseau RRFR. La
dynamique de chaque signal est prise en compte par un neurone bouclé (Fig. 14).
Nous configurons ainsi les paramètres de ce neurone bouclé, de telle sorte à avoir la
plus longue mémoire possible, avec un aspect quasi-linéaire de sa fonction
d’activation autour du point d’origine (zéro) (voir paragraphe 5.2). La taille de la
mémoire statique (neurones gaussiens) est déterminée par l’algorithme
d’apprentissage DDA5. Les paramètres des 12 neurones gaussiens sont déterminés
avec les valeurs de θ+ = 0,4 et θ - = 0,1. Chaque échantillon est composé de 15
mesures (Fig. 16). A chaque échantillonnage du signal d’acquisition, nous
présentons au réseau les valeurs des trois mesures de forces (Fx, Fy, Fz) de chaque
classe. Le réseau converge au bout d’un temps d’apprentissage relativement court
(0.3 secondes sur un PC de 700 Mhz de fréquence d’horloge). La réponse du réseau
est donnée par la couche de décision (la couche de sortie), composée par un neurone
pour chaque classe (Fig. 14).
5
Dynamic Decay Adjustment
28
150
200
100
150
Fz
150
100
100
80
Fz
Fz
50
50
100
0
60
Fx
Fz
0
40
-50
20
Fx
50
Fy
Fx
Fy
Fy
-50
0
-100
0
5
10
15
20
-100
Fy
Fx
25
-acollision frontale
30
-50
0
5
10
15
20
25
-150
0
30
-bcollision par derrière
0
5
10
15
20
25
30
-20
0
-ccollision à droite
5
10
15
20
25
30
-dcollision à gauche
Figure 16. Réponses des capteurs de force (Fx, Fy et Fz) pour chaque type de
collision.
Les résultats obtenus par le réseau RRFR sont donnés par le tableau ci-dessous :
mode
détection Diagnostic
Collision Frontale
100%
60%
Collision par derrière
100%
16,5%
Collision à droite
100%
75%
Collision à gauche
100%
25%
Tableau 3. Résultats du RRFR sur la détection et le diagnostic de chaque
défaillance.
On remarque que le réseau de neurone détecte automatiquement (à 100 %) toutes
les défaillances du système. Ceci s’explique par le faite que les signaux d’entrée du
réseau s’écartent de la zone de couverture du mode normale (zone couverte par le
prototype du mode normal). Le diagnostic est assuré par les prototypes
correspondant à chaque mode de défaillance. Le taux de réussite du diagnostic pour
les deux cas de collision (frontale et à droite) est relativement intéressant
(respectivement 60 et 75 %). Les trois mesures de force évoluent pratiquement selon
la même tendance pour chacune de ces deux types de collisions. Par contre, la
réponse des forces pour les types de collisions par derrière et par la gauche est très
atypique (Camarinha-Matos et al., 1996). Ceci induit des précisions réduites du
diagnostic et reflète toute la complexité d’une telle application. D’un autre coté, la
solution neuronale dynamique RRFR semble la seule à pouvoir exprimer une telle
relation de cause à effet (entrée – sortie) pour le diagnostic. Un modèle formel de
défaillances est dans ce cas quasi impossible à obtenir.
8.
29
Conclusion
Dans cet article, nous avons présenté une application des réseaux de neurones à
fonctions de base radiales (RFR) en surveillance des systèmes de production. Ces
réseaux semblent être les plus appropriés pour ce type d’application et ce pour leur
capacité d’interprétation des rejets d’ambiguïté et de distance. Ces deux situations de
rejets sont très importantes en surveillance, car elles permettent au réseau de
reconnaître de nouvelles situations, tout en laissant une marge décisionnelle
importante à l’expert humain. Ce dernier reste tout de même le seul organe de
décision avant d’agir sur le système.
L’aspect temporel joue souvent un rôle déterminant dans la surveillance des
systèmes dynamiques. La détection d’une fausse alarme où la détection précoce de
dégradation ne peut se faire qu’avec une prise en compte de l’aspect dynamique des
données. Le RFR dynamique présenté dans cet article intègre le temps via une autoconnexion des neurones d’entrée. Nous avons montré que ce RFR dynamique
(appelé RRFR - Réseaux de neurones Récurrents à Fonctions de base Radiales ) est
capable de dissocier un palier de dégradation d'une fausse alarme. Cette
caractéristique peut s'avérer très importante pour un système de surveillance, car
subir l'arrêt d'une machine pour cause de fausse alarme peut engendrer des pertes
économiques très importantes pour l'entreprise. D’un autre coté, cette situation est
souvent mal vécue dans l'atelier de production et par l'équipe de maintenance.
Pour illustrer l’efficacité de l’outil RRFR, nous avons appliqué notre modèle sur
un problème de surveillance d’un bras de robot. La mémoire dynamique du réseau
RFR permet au réseau de neurone d’apprendre l’allure des signaux capteur en
fonction des modes de défaillance. Nous avons montré que notre modèle est capable
de traiter des situations complexes. D’autres méthodes qui se basent sur l’existence
de modèle formel du système sont incapables de fournir une relation de cause à effet
pour le diagnostic. Le domaine du pronostic se situe donc à la frontière de nos
recherches et constituera par la suite une de nos préoccupations majeures.
9.
Références
Basseville M., Cordier M.O., Surveillance et diagnostic des systèmes dynamiques : approche
complémentaire du traitement du signal et de l'intelligence artificielle, rapport de
recherche n° 2861, 1996, INRIA.
Bernauer E., Demmou H., « Temporal sequence learning with neural networks for process
fault détection », IEEE International Conference on Systems, Man, and Cybernetics,
IEEE-SMC 93, vol. 2, Le Touquet France 1993, p. 375-380.
Bernauer E., Les réseaux de neurones et l'aide au diagnostic : un modèle de neurones bouclés
pour l'apprentissage de séquences temporelles, thèse de doctorat, LAAS 1996.
Berthold M. R., « A Time Delay Radial Basis Function Network for Phoneme Recognition »,
Proceedings of International Conference on Neural Networks, Orlando 1994
30
Berthold M. R., Diamond J., « Boosting the Performance of RBF Networks with Dynamic
Decay Adjustment » Advances in Neural Information Processing Systems, Gerald
Tesauro, David S. Touretzky, and Todd K. Leen editors, vol. 7, p. 521-528, MIT Press,
Cambridge, MA, 1995
Camarinha-Matos, L.M., L. Seabra Lopes, and J. Barata «Integration and Learning in
Supervision of Flexible Assembly Systems», IEEE Transactions on Robotics and
Automation, vol. 12, n°2, 1996, p. 202-219.
Chappelier J.C., RST : une architecture connexionniste pour la prise en compte de relations
spatiales et temporelles. Thèse de doctorat, Ecole Nationale Supérieure des
Télécommunications, janvier 1996.
Chappelier J.C., Grumbach A., « A Kohonen Map for Temporal Sequences », Proceeding of
neural Networks and Their Application, NEURAP'96, IUSPIM, Marseille, mars 1996, p.
104-110.
Combacau M., Commande et surveillance des systèmes à événements discrets complexes :
application aux ateliers flexibles, thèse de Doctorat, Université P.Sabatier de Toulouse
1991.
Combastel C., Méthodes d'aide à la décision pour la détection et la localisation de défauts
dans les entraînements électriques Thèse de Doctorat INPG, 2000.
Cussenot C., Surveillance et diagnostic de la chaîne de dépollution d'une automobile, Thèse
de doctorat, Université de Rennes 1, 1996.
Daniel O., Les réseaux de Pétri stochastiques pour l'évaluation des attributs de la sûreté de
fonctionnement des systèmes manufacturiers, Thèse de doctorat, Laboratoire
d'Automatique de Grenoble, Institut National Polytechnique de Grenoble, janvier 1995.
Dash S., Venkatasubramanian V., « Challenges in the industrial applications of fault
diagnostic systems », Proceedings of the conference on Process Systems Engineering
Comput. & Chem. Engng24 (2-7), Keystone, Colorado, July 2000, p. 785-791.
Demmou H., Bernauer E., « Using Self-Recurrent Neurons For Fault Detection and
Diagnosis », 3ème IFAC en WIMS, Romania 1995
Devauchelle G., Diagnostic mécanique des fatigues sur les structures soumises à des
vibrations en ambiance de travail, Thèse de Doctorat, Université de Paris IX Dauphine,
1991
Dreyfus G., Martinez J-M., Samuelides M., Gordon M.B., Badran F., Thiria S., Hérault L.,
Réseaux de neurone, Méthodologies et Application, Paris, Edition Eyrolles, 2002
Dubuisson B., Diagnostic et reconnaissance des formes, Paris, Edition Hermès, 1990.
Dubuisson B., Diagnostic, intelligence artificielle et reconnaissance des formes, Paris,
Edition Hermès, 2001.
Duda R. O., Hart P.E., Pattern classification and scene analysis, John Wiley & Sons, 1973.
Elman J.L., « Finding Structure in Time », Cognitive Science, vol. 14, juin 1990, p. 179-211.
Evsukoff A., Raisonnement approché pour la surveillance des procédés, Thèse de Doctorat,
INPGrenoble, 1998
31
Frasconi P., Gori M., Maggini M., Soda G., « Unified Integration of Explicit Knowledge and
Learning by Example in Recurrent Networks », IEEE Transactions on Knowledge and
Data Engineering, vol. 7, n° 2, 1995, p. 340-346.
Freitas N., I.M. Macleod and J.S. Maltz,, « Neural networks for pneumatic actuator fault
détection », Transactions of the SAIEE, vol. 90, n° 1, 1999, p. 28-34.
Fukunaga K., statistical pattern recognition, Academic Press, 2e édition, 1990.
Ghosh J., Beck S., Deuser L., « A Neural Network Based Hybrid System for Detection,
Characterization and Classification of Short-Duration Oceanic Signals », IEEE Jl. of
Ocean Engineering, vol. 17, n° 4, October 1992, p. 351-363.
Ghosh J., Nag A., Radial Basis Function Neural Network Theory and Applications, Edition R.
J. Howlett and L. C. Jain, Physica-Verlag., 2000.
GRP-SPSF, Rapport du Groupement pour la Recherche en Productique, journée d’étude de
l’atelier de Systèmes de Production Sûr de Fonctionnement, 19 et 20 novembre 1998,
Besançon/ France.
Hassoun M. H., Fundamentals of Artificial Neural Networks. Cambridge, MA : MIT Press,
1995.
Hernandez N.G., Système de diagnostic par Réseaux de Neurones et Statistiques : Application
à la détection d'hypovigilance d'un conducteur automobile, thèse de doctorat,
LAAS/Toulouse, 1999.
Hopfield J.J., « Neural networks and physical Sytems with emergent collective computational
abilities », Proceeding Nat. Acad. Sci. USA, Biophysics, vol. 79, 1982, p. 2554-2558.
Hudak M.J., « RCE Classifiers : Theory and Practice » in Cybernetics and systems, vol. 23 ,
1992, p.483-515.
Hutchinson J.M., A Radial Basis Function Approach to Financial Time Series Analysis,
Thèse de doctorat, Massachusetts Institute of Technology (MIT), 1994.
Hwang Y.S., Bang S.Y., « An efficient method to construct a Radial Basis Function Neural
Network classifier », Neural Networks, vol. 10, n° 08, 1997, p. 1495-1503.
Jordan M.I., « Serial order: a parallel distributed processing approach », University of
California, Institute for cognitive science, 1986.
Keller P., Kouzes R.T., Kangas L.J., « Three Neural Network Based Sensor System for
Environemental Monitoring », Proceedings IEEE Electro94 Conference, Boston, MA,
USA, May 1994
Koivo H.N, « artificial neural networks in fault diagnosis and control », control in
engineering practice, vol.2, n°1, 1994, p. 89-101.
Lefebvre D., Contribution à la modélisation des systèmes dynamiques à événements discrets
pour la commande et la surveillance, Habilitation à Diriger des Recherches, Université de
Franche Comté/ IUT Belfort – Montbéliard, 2000.
Mak M.W., Kung S.Y., « Estimation of Elliptical Basis Function Parameters by the EM
Algorithms with Application to Speaker Verification », IEEE Trans. on Neural Networks,
vol. 11, n° 4, July 2000, p. 961-969.
32
Michelli C.A., Interpolation of scattered data: distance matrices and conditionally positive
definite functions. Contsructive Approximation, 1986.
Moody J., Darken J., « Fast Learning in networks of locally tuned processing units », Neural
Computation, 1989, p. 281-194.
Mustawi M.T., Ahmed W., Chan K.H., Faris K.B., Hummels D.M., « on the training of
Radial Basis Function Classifiers », Neural Networks, vol. 5, 1992, p. 595-603.
Petsche T.A., Marcontonio A., Darken C., Hanson S.J., M.kuh G., Santoso I., A Neural
Network autoassociator for induction motor failure prediction, Cambridge: MIT Press,
Edition D.S. Touretzky, M.C. Mozer, and M.E. Hasselmo, Advances in Neural
Information Prodessing Systems 8, 1996, p. 924-930.
Poulard H., statistiques et réseaux de neurones pour un système de diagnostic. Application au
diagnostic de pannes automobiles, Thèse de Doctorat, LAAS/France, 1996.
Poggio T., Girosi F., A Theory of Networks for Approximation and Learning, AI Memo
1140, July 1989
Racoceanu D., Zerhouni N., Addouche N., « Modular Modeling and Analysis of a Distributed
Production System with Distant Specialised Maintenance », IEEE ICRA 2002,
Washington, USA, 11-15 mai 2002.
Rengaswamy R., Venkatasubramanian V., « A Syntactic Pattern Recognition Approach for
Process Monitoring and Fault Diagnosis », Engineering Applications of Artificial
Intelligence Journal, 8(1), 1995, p. 35-51.
Rohwer R., Forrest B., « Training Time-Dependence in Neural Network », in IEEE First
International Conference on Neural Networks, M. Caudill et C.Butler, vol. 2, San Diego,
California, juin 1987, p. 701-708.
Rumelhart D.E, Hinton G.E., Williams R.J., « Learning Internal Representation by Error
Propagation », in Parallel Distributed Processing Explorations in the Microstructure of
Cognition, vol. 1, The MIT Press/Bradford Books, D.E. Rumelhart and J.L.McClelland,
1986, p. 318-362.
Sejnowski T.J., Rosenberg C.R., NetTalk: a parallel network that learns to read aloud,
electrical engineering and computer science technical report, the johns hopkins university,
1986.
Smyth P., « detecting novel fault conditions with hidden Markov models and neural
netwoks », Pattern Recognition in Practice IV, 1994, p. 525-536.
Toguyeni A.K.A., Surveillance et diagnostic en ligne dans les ateliers flexibles de l'industrie
manufacturière, Thèse de doctorat, Université de Lille, 1992.
Vemuri A., Polycarpou M., « Neural Network Based Robust Fault Diagnosis in Robotic
Systems », IEEE Transactions on Neural Networks, vol. 8, n°. 6, novembre 1997, p.
1410-1420,.
Vemuri A., Polycarpou M., Diakourtis S., « Neural Network Based Fault Detection and
Accommodation in Robotic Manipulators », IEEE Transactions on Robotics and
Automation, vol. 14, n° 2, avril 1998, p. 342-348.
33
Waibel A., Hanazawa T., Hinton G., Shikano K., Lang K., « Phoneme recognition using time
delay neural network » IEEE Trans. in Acoustics, Speech and Signal Processing, vol. 37,
n° 3, 1989.
Weber P., diagnostic de procédés par l'analyse des estimations paramétriques de modèles de
représentation à temps discret, Thèse de Doctorat, INPG, 1999
Werbos P.J., Beyond regression: New tools for prediction and analisys in the behavioral
science, Thèse de doctorat, Harvard University, 1974.
Williams R.J., Zipser D., « A Learning Algorithm for Continually Running Fully Recurrent
Neural Networks », Neural Computation, vol.1, juin 1989, p. 270-280.
Xu L., « RBF nets, mixture experts, and Bayesian Ying-Yang learning », Neurocomputing,
1998, p. 223-257.
Zemouri M.R., Racoceanu D., Zerhouni N., « The RRBF - Dynamic Representation of time
in Radial Basis Function Network », IEEE International Conference on Emerging
Technologies and Factory Automation, ETFA' 01, Juan-Les-Pins, France, 15-18 octobre
2001.
Zemouri R., Racoceanu D., Zerhouni N.,( – a – ) « application of the dynamic RBF network
in a monitoring problem of the production systems » , 15e IFAC World Congress on
Automatic Control, Barcelone, Espagne, 21-26 juillet 2002.
Zemouri R., Racoceanu D., Zerhouni N.,( – b – ) « From the spherical to an elliptic form of
the dynamic RBF neural network influence field » World Congress on Computational
Intelligence, International Joint Conference on Neural Networks (IJCNN), Honolulu,
Hawaii, USA, 12-17 mai 2002
Zhang Q., identification et surveillance de systèmes dynamiques, Habilitation à Diriger des
Recherches, Université de Rennes, 1999.

Réseaux de neurones récurrents à fonctions de base radiales : RRFR

Transcription

Documents pareils

lésion médullaire

Drogues et cerveau

D)Passage d`un neurone à une autre cellule : la synapse

Possibilité de jour à Mario Party 9, sonic colours, The Legend of

Cours 3 - apprentissage automatique copy

Pour les fêtes NITENDO voit la Wii en RED

Câble component Yuv Wii

TP : Réseau de neurones sous matlab

L`intensité de l`exercice des jeux vidéo physiquement actifs est faible

Réseaux de neurones récurrents à fonctions de base radiales : RRFR