Projet ANR-05-PDIP-O22-01 LOVe Programme PREDIT 2005

 Compte-rendu de
fin de projet
Projet ANR-05-PDIP-O22-01
LOVe
Programme PREDIT 2005
A IDENTIFICATION ...............................................................2 B RESUME CONSOLIDE PUBLIC ..................................................2 B.1 B.2 Résumé consolidé public en français........................................ 2 Résumé consolidé public en anglais ......................................... 4 C.1 C.2 C.3 C.4 C.5 Résumé du mémoire ............................................................. 6 Enjeux et problématique, état de l’art ..................................... 7 Approche scientifique et technique .......................................... 8 Résultats obtenus ................................................................ 11 Discussions et conclusions .................................................... 13 E.1 E.2 E.3 E.4 Indicateurs d’impact ............................................................ 19 Liste des publications et communications ................................ 20 Liste des éléments de valorisation.......................................... 25 Bilan et suivi des personnels recrutés en CDD (hors
stagiaires) .......................................................................... 27 C MEMOIRE SCIENTIFIQUE ......................................................6 D LISTE DES LIVRABLES ....................................................... 15 E IMPACT DU PROJET .......................................................... 19 Référence du formulaire : ANR-FORM-090601-01-01
A IDENTIFICATION
Acronyme du projet
Titre du projet
Coordinateur du projet
(société/organisme)
Période du projet
(date de début – date de fin)
Site web du projet, le cas échéant
LOVe
Logiciels d’Observation des Vulnérables
Laurent Trassoudaine
(Université de Clermont-Ferrand 2)
1° septembre 2006 – 30 décembre 2009
http://love.univ-bpclermont.fr/
Rédacteur de ce rapport
Civilité, prénom, nom
Téléphone
Adresse électronique
Date de rédaction
Pr Laurent Trassoudaine
06 78 55 31 03
[email protected]
30 mars 2010
Liste des partenaires présents à la
fin du projet (société/organisme et
responsable scientifique)
Armines/CAOR (Fawzi Nashashibi) –
Armines/CMM (Serge Beucher) – INRIA/Emotion
(Anne Spalanzani) – INRIA/ICARE (Ezio Malis) –
INRIA/IMARA (Michel Parent) –
CNRS/UTC/Heudiasyc (Véronique Cherfaoui) –
CNRS/UBP/LASMEA (Frédéric Chausse) –
CNRS/UPS/IEF (Roger Reynaud) – CEA/LIST
(Patrick Sayd) – LCPC/INRETS/LIVIC (Didier
Aubert) – Renault (Sébastien Cornou) – Valeo
(Julien Rebut)
B RESUME CONSOLIDE PUBLIC
. B.1 RESUME CONSOLIDE PUBLIC EN FRANÇAIS
LOVe, des Logiciels d’Observation des Vulnérables pour la assurer la sécurité des piétons La sécurité des piétons : un problème crucial et complexe La protection des piétons et plus généralement des vulnérables est une préoccupation forte car ils correspondent à environ 900 tués par an en France. La législation a commencé à évoluer. Les règles EuroNcap intègre aujourd’hui des tests de compatibilité physique des véhicules. La prochaine étape est en 2010 : les conditions de test ne sont pas encore complètement définies. Il est important pour les constructeurs et équipementiers français, en particulier Renault et Valeo, d’anticiper et de préparer ce que pourrait être un système actif pour lequel une brique essentielle est la détection, la localisation et la classification des vulnérables. L’objectif est donc de produire des logiciels de perception artificielle suffisamment fiables et compatibles avec une implémentation sur des équipements informatiques automobiles. Référence du formulaire : ANR-FORM-090601-01-01
2/32
Cependant, la détection, la localisation, la reconnaissance et le suivi de piétons demeure un problème scientifique ouvert qui plus est dans un environnement complexe tel que les centres‐villes. Afin d’assurer une bonne compréhension de la scène jusqu’à 40 m, une importante panoplie de solution algorithmique est déployée afin de traiter des données issues de caméras, de stéréovision ou de laser à balayage. Vers la production de logiciels de perception artificielle fiables et sûrs LOVe propose donc de contribuer à la sécurité routière en mettant principalement l’accent sur la sécurité des piétons. L’objectif est d’aboutir à des logiciels embarqués d’observation des vulnérables fiables et sûrs rapidement implantables sur la gamme. A dessein, une démarche de conception industrielle de ces logiciels a été adoptée afin de spécifier clairement les contraintes techniques (capteurs, informatique), contextuels (scenarii envisagés) et méthodes de validation des algorithmes. LOVe est riche d’une multitude d’approches exploitant des données laser, mono et stéréo‐vision tant au niveau de la détection, de la localisation, de la reconnaissance ou du suivi des piétons. Ces solutions peuvent ensuite être combinées à différents niveaux de la chaine de traitement par des algorithmes de fusion de données afin d’accroître précision de localisation et certitude de la situation. L’ensemble de la production a été caractérisée afin que les industriels maîtrisent la pertinence de chacun des algorithmes proposés. Production scientifique et résultats majeurs du projet Les recherches menées dans LOVe ont conduit à la rédaction de près de 50 articles scientifiques preuves d’une importante dynamique scientifique. D’importantes avancées sont à noter, en particulier, en détection par stéréovision, en suivi mono‐vision ou encore dans les méthodes de combinaisons d’information. De manière générale, les industriels Renault et Valeo disposent de logiciels aux formats et caractéristiques maitrisés ce qui rend possible leur implémentation rapide dans une application sécuritaire de pré‐crash en particulier. Ces recherches menées dans le cadre des pôles de compétitivités System@tic, Moveo et Viaméca ont de nombreuses retombées. Si la plus remarquable est sans doute la création de trois start‐up, on peut également noter le dépôt de deux brevets et la poursuite de plusieurs partenariats tant dans des projets de recherche qu’au sein de collaborations industriels. Les connaissances scientifiques et techniques acquises permettent d’envisager l’extension des recherches aux autres vulnérables. Référence du formulaire : ANR-FORM-090601-01-01
3/32
LOVe : les piétons détectés sont caractérisés par un taux de reconnaissance. Le projet LOVe est un projet de recherche fondamentale coordonné par le LASMEA (CNRS/Université de Clermont‐Ferrand). Il associe aussi les sociétés Renault et Valeo, ainsi que des laboratoires du CNRS (IEF/Université Paris Sud, Heudiasyc/Université de Technologie de Compiègne), de l’INRIA (IMARA, E‐motion, ICARE), d’ARMINES (CMM, CAOR), du CEA (LIST) et du LCPC (LIVIC/INRETS). Le projet a commencé en septembre 2010 et a duré 40 mois. Il a bénéficié d’une aide ANR de 1,6 M€ pour un coût global de l’ordre de 8,5 M€. B.2 RESUME CONSOLIDE PUBLIC EN ANGLAIS
LOVe, vulnerables’ observation software to insure pedestrians safety. Pedestrian safety: a crucial and complex problem. The protection of pedestrians and more generally, those of vulnerables is a major concern because they correspond to about 900 deaths per year in France. The legislation has begun to change. The EuroNcap rules now include compatibility testing vehicle physics. The next step is in 2010: The test conditions are not yet fully defined. It is important for manufacturers and french OEMs, particularly Renault and Valeo, anticipate and prepare for what could be an active system for which an essential building block is the detection, localization and classification of risk. The aim is to produce artificial perception software reliable enough and compatible with an implementation on computer equipment vehicles. Référence du formulaire : ANR-FORM-090601-01-01
4/32
However, the detection, localization, recognition and tracking of pedestrians remains an open scientific problem which is much more complex in environment such as city centers. To ensure a good understanding of the scene up to 40 m, a large array of algorithmic solution is deployed to process data from cameras, stereo vision or laser scanning. Towards the production of reliable and safe software for artificial perception LOVe proposes to contribute to road safety by focusing primarily on the safety of pedestrians. The objective is to achieve reliable and safe embedded software for vulnerable observation quickly implantable on the range. So, an industrial design process of software has been adopted to clearly specify the technical constraints (sensors, computers), contextual (scenarios considered) and methods for validation of algorithms. LOVe is rich in a variety of approaches using laser data, mono and stereo‐vision both in the detection, localization, recognition and tracking of pedestrians. These solutions can then be combined at different levels of the processing chain from data fusion algorithms to improve location accuracy and certainty of the situation. The entire production has been characterized so that industrials know the relevance of each of the proposed algorithms. Scientific production and major results of the project In LOVe, research led to the drafting of nearly 50 scientific papers witch shows a strong scientific activity. Significant progresses were achieved, in particular, concerning the detection by stereovision, the tracking by vision and the methods of combination of information. In general, the manufacturers Renault and Valeo have software in formats and features mastered which makes possible their rapid implementation in an application for pre‐crash for example. The research conducted in the context of competitiveness clusters System@tic, Moveo and Viameca have many benefits. If the most notable is probably the creation of three start‐ups, we can also note the filing of two patents and pursuing several partnerships both in research projects and within industrial collaborations. The scientific and technical knowledge acquired allow to consider expanding research to others vulnerables. Référence du formulaire : ANR-FORM-090601-01-01
5/32
LOVe : the detected pedestrians are characterized by a recognition rate. The project LOVe is a basic research project coordinated by the LASMEA (CNRS / University of Clermont‐Ferrand). It also combines companies Renault and Valeo, and laboratories of the CNRS (IEF / Université Paris Sud, Heudiasyc / University of Technology of Compiègne), INRIA (Imara, E‐motion, ICARE), ARMINES (CMM , CAOR), CEA (LIST) and LCPC (LIVIC / INRETS). The project began in September 2010 and lasted 40 months. It has been assisted by ANR for € 1.6 m€ for a total cost of around € 8.5 million. C MEMOIRE SCIENTIFIQUE
Mémoire scientifique confidentiel : non C.1 RESUME DU MEMOIRE
LOVe, des Logiciels d’Observation des Vulnérables pour la assurer la sécurité des piétons La sécurité des piétons : un problème crucial et complexe La protection des piétons et plus généralement des vulnérables est une préoccupation forte car ils correspondent à environ 900 tués par an en France. La législation a commencé à évoluer. Les règles EuroNcap intègre aujourd’hui des tests de compatibilité physique des véhicules. La prochaine étape est en 2010 : les conditions de test ne sont pas encore Référence du formulaire : ANR-FORM-090601-01-01
6/32
complètement définies. Il est important pour les constructeurs et équipementiers français, en particulier Renault et Valeo, d’anticiper et de préparer ce que pourrait être un système actif pour lequel une brique essentielle est la détection, la localisation et la classification des vulnérables. L’objectif est donc de produire des logiciels de perception artificielle suffisamment fiables et compatibles avec une implémentation sur des équipements informatiques automobiles. Cependant, la détection, la localisation, la reconnaissance et le suivi de piétons demeure un problème scientifique ouvert qui plus est dans un environnement complexe tel que les centres‐villes. Afin d’assurer une bonne compréhension de la scène jusqu’à 40 m, une importante panoplie de solution algorithmique est déployée afin de traiter des données issues de caméras, de stéréovision ou de laser à balayage. Vers la production de logiciels de perception artificielle fiables et sûrs LOVe propose donc de contribuer à la sécurité routière en mettant principalement l’accent sur la sécurité des piétons. L’objectif est d’aboutir à des logiciels embarqués d’observation des vulnérables fiables et sûrs rapidement implantables sur la gamme. A dessein, une démarche de conception industrielle de ces logiciels a été adoptée afin de spécifier clairement les contraintes techniques (capteurs, informatique), contextuels (scenarii envisagés) et méthodes de validation des algorithmes. LOVe est riche d’une multitude d’approches exploitant des données laser, mono et stéréo‐vision tant au niveau de la détection, de la localisation, de la reconnaissance ou du suivi des piétons. Ces solutions peuvent ensuite être combinées à différents niveaux de la chaine de traitement par des algorithmes de fusion de données afin d’accroître précision de localisation et certitude de la situation. L’ensemble de la production a été caractérisée afin que les industriels maîtrisent la pertinence de chacun des algorithmes proposés. C.2 ENJEUX ET PROBLEMATIQUE, ETAT DE L’ART
Le but du projet LOVe est d’explorer les différentes voies technologiques permettant de répondre à la problématique de détection des vulnérables. L’intérêt de la détection de vulnérables est concrétisé par les données accidentologiques disponibles tant en France qu’au niveau européen. Ces données démontrent que les chocs piétons constituent 15 à 20% des accidents de la route. Dans le cadre de LOVe, les études ont été ciblées sur la problématique des chocs piétons en environnement urbains (50% de la mortalité totale) tout en respectant les contraintes automobiles notamment en terme de coût des capteurs utilisés. Par conséquent, le but est de détecter les piétons à une distance de 40 mètres. Les deux technologies explorées dans ce projet sont les caméras (monovision ou stéréovision) et les lidars. Les travaux effectués sur la caméra sont en phase avec les attentes industrielles qui voit se déployer désormais sur des véhicules relativement haut de gamme des solutions qui s’approche des pistes explorés au cours de ce projet. Par contre, depuis le lancement de LOVe la production de capteur lidar industriel dédié à l’automobile n’a pas cru comme l’hypothèse en avait été faite et la technologie radar semble avoir pris le dessus pour les années à venir. Par conséquent, les résultats obtenues sur ce capteurs ne sont que partiellement transposable à des solutions industriels à la lumière des éléments du marché. Référence du formulaire : ANR-FORM-090601-01-01
7/32
Par contre, si l’on se place plus du point de vue logiciel, les algorithmes étudiés en terme de reconnaissance, de reconstruction 3D, de tracking et de fusion sont dans la veine des efforts R&D mené actuellement par l’ensemble du tissu industriel automobile tant chez les constructeurs que chez les fournisseurs. Ces solutions logiciels constituent en effet un réservoir d’innovation permettant de traiter des problématiques bien plus large que la détection des vulnérables. C.3 APPROCHE SCIENTIFIQUE ET TECHNIQUE
L’organisation scientifique et technique de LOVe s’articule autour de deux sous‐programmes qui traitent respectivement des développements mono‐capteurs et multicapteurs. Le sous‐programme 2 (algorithmique perception et suivi) s’intéresse à la détection des piétons via une approche mono‐capteur (la stéréovision étant considérée comme un mono‐
capteur). SP2 regroupait 9 partenaires qui sont le LIST (CEA), CAOR (ENSMP), CMM (ENSMP), ICARE (INRIA), IMARA (INRIA), LIVIC (LCPC – INRETS), LASMEA (Univers. Blaise Pascal), Heudiasyc (UTC). SP2 a été décomposé en 4 sous tâches qui sont présentées ci‐dessous. • Localisation de zones d’intérêts (T2.1) : le but est de déterminer la (ou les) zone(s) de l’image où les algorithmes de détection, localisation et pistage vont intervenir. Une première approche consiste à prédire la future trajectoire du véhicule pour focaliser l’attention uniquement autour de cette dernière (CAOR, LIVIC). La trajectoire est prédite via l’angle de braquage du véhicule. La taille de la zone s’ajuste en fonction de la vitesse du véhicule. Une seconde approche consiste à prédire la future position des vulnérables (LASMEA). Elle exploite à la fois le déplacement du véhicule et une prédiction sur le déplacement des piétons. Une troisième approche consiste à détecter les zones de la scène qui bougent indépendamment du véhicule instrumenté (ICARE). Ce principe n’est valable que pour les piétons en mouvement. Finalement, la dernière approche consiste à réaliser une segmentation de la scène (CMM, IMARA,LIST) soit pour retrouver la route et les trottoirs via une technique de ligne de partage des eaux soit pour pré‐localiser les piétons via un algorithme des mouches ou en exploitant un classificateur fondé sur l’apparence. • Détection, Localisation, pistage mono‐vision (T2.2) : pour détecter les piétons, une première approche consiste à détecter les objets qui bougent indépendamment du véhicule instrumenté (IEF) à l’instar de ce que propose ICARE en T2.1. Le principe est similaire. Il consiste à estimer le mouvement du véhicule pour le compenser et ensuite déterminer les zones qui se sont déplacées malgré cette compensation. Cependant l’approche la plus explorée pour détecter et localiser les piétons est la reconnaissance de formes (LIST, CAOR, LASMEA). Ici le principe est très similaire entre les partenaires. Il consiste à construire par apprentissage une combinaison des classificateurs faibles les plus adaptés à la reconnaissance de piétons (méthode AdaBoost) et à réaliser la classification par une méthode à noyau. Les différences résident surtout dans les bases de données, dans le choix des classificateurs utilisés et dans les optimisations. Finalement, certains partenaires se sont intéressés au suivi des cibles détectées. Pour le LASMEA l’approche est un filtrage temporel utilisant une méthode stochastique (Filtres Particulaires Monte Carlo par Chaine de Markov Référence du formulaire : ANR-FORM-090601-01-01
8/32
•
•
(MCMC PF). Pour IEF et ICARE le suivi est réalisé par estimation des paramètres du mouvement qui minimise une fonction de coût sur la similarité entre les intensités de lʹobjet détecté à lʹinstant précédent et celles de lʹobjet déformé à lʹinstant courant. Détection, Localisation, pistage stéréovision (T2.3) : pour détecter les objets de la scène les approches IEF et LIVIC sont très proches. Elles consistent à construire une carte de disparité semi‐dense, à trouver les points appartenant à la surface de la route grâce à la v‐disparité pour les supprimer et ainsi ne conserver que les objets d’intérêt qui sont finalement segmenter. L’approche du LIST est similaire pour mettre en évidence les formes situées au‐dessus de la surface de la route. En revanche, le LIST s’appuie sur cette information pour fiabiliser la reconnaissance de piétons en exploitant la méthode citée en T2.2. Pour diminuer les temps de calcul, IMARA propose de ne réaliser l’association entre les images de la paire stéréo que sur des points particuliers, les mouches. Le résultat est une carte tridimensionnelle éparse. L’approche du CMM est très différente et est pour l’instant à un stade exploratoire comme cela était initialement prévu. Elle consiste à associer des régions, et non plus des pixels ou des points particuliers, préalablement extraites via une technique de ligne de partage des eaux. Pour la LASMEA la stéréovision est gérée de manière minimaliste. En fait pour chaque fenêtre candidate, un rectangle englobant est généré dans les deux images de la base stéréo. Le classifier est appelé pour chacune des 2 imagettes candidates extraites et le score final résulte de la fusion du score de l’image droite avec le score de l’image gauche. Pour le suivi des piétons, ICARE exploite la méthode citée précédemment (T2.2) en y introduisant la contrainte quadri focale propres à la paire stéréo. Pour le LIVIC, le suivi des objets est réalisé grâce à un filtre de Kalman pour prédire la future position, une méthode d’association entre les détections et les modèles et une mise à jour des modèles. La détection, localisation, pistage RADAR/LASER (T2.4) : seul un LASER 4 nappes a été exploité dans cette sous‐tâche. Le principe retenu par les partenaires (LASMEA, LIVIC et CAOR, Heudiasyc) est assez similaire. A partir des données brutes issues des quatre nappes LASER, une segmentation fondée sur des critères de proximité et de distance permet de détecter les objets de la scène. Pour le LASMEA, le CAOR et Heudiasyc une reconnaissance de forme simple permet de faire la distinction entre un objet qui a une signature « piéton » de celui qui ne l’a pas. Pour le LASMEA, les « piétons » sont ensuite suivis grâce à un filtre à particule et pour le CAOR et Heudiasyc grâce à un filtre de Kalman. Pour le LIVIC le suivi des « objets » est réalisé via la théorie des croyances pour associer temporellement les cibles. Le sous‐programme 3 a donc pour objectif de traiter les aspects fusions de données du projet LOVe; il s’intéresse particulièrement aux approches multicapteurs à savoir aux algorithmes qui utilisent les sorties de plusieurs modalités du SP2 pour réaliser ou améliorer la détection de piétons. Ce sous programme est organisé en 3 taches, la plus grande contribution étant dans la 3.2 : • La tache 3.1 est intitulée « couplage zones d’intérêts/détection des vulnérables » et traite principalement de prétraitements utiles à la fusion. Ces traitements sont très différents d’un laboratoire à l’autre. Le CAOR réalise une sélection des pistes (objets suivis dans le temps) en fonction de la zone de travail. L’IEF a développé un module qui prédit les pistes ou les objets donnés dans le repère Love à une date ultérieure Référence du formulaire : ANR-FORM-090601-01-01
9/32
•
dans l’objectif de fusionner des données asynchrones. Le LASMEA effectue une transformation des zones d’intérêts du repère LOVe (Lidar) vers le repère image. Une prédiction par une extrapolation est d’abord réalisée avant d’appliquer la transformation géométrique permettant de passer d’un repère. Enfin le CEA/LIST a proposé un algorithme en série qui détecte dans un premier temps des zones d’intérêts avant d’appliquer un classifieur. Cette méthode a été testée sur des zones d’intérêts venant des trois modalités du SP2. La tache 3.2 est intitulée « Méthodes combinées de fusion» et contient le cœur des méthodes de fusion proposés par les laboratoires. Les partenaires de cette tâche sont Heudiasyc, LASMEA, CAOR, E‐motion, ICARE, LIVIC et l’IEF. La plupart des méthodes de fusion sont basées sur les modalités LIDAR + Vision (mono ou stéréo) et elles peuvent être classées en 2 approches : fusion série (un capteur donne un résultat qui est analysé par une autre modalité) ou fusion parallèle les capteurs donnent des résultats qui sont fusionnés ensuite. Dans cette tâche un travail spécifique a été effectué sur la prise en compte et la mise à jour des notes. Le LIVIC, le CEA/List, CAOR et ICARE ont proposé des méthodes de fusion série où le lidar donne des zones d’intérêts à la vision qui applique un algorithme de confirmation (d’objets et/ou de piéton). L’algorithme proposé par ICARE est un peu différent dans le sens où il ne confirme pas forcément la présence d’un piéton mais applique systématiquement un algorithme très efficace de suivi dans l’image. Heudiasyc, le LASMEA, E‐motion et l’IEF ont défini des méthodes de fusion ayant en entrée soit des listes provenant de modalités différentes, soit des listes d’objets/piétons dans le repère LOVe. La principale différence concerne la prise ne compte ou non de l’asynchronisme des données. Heudiasyc, ne suppose pas de synchronisme entre les capteurs mais néglige la latence, les autres laboratoires supposent que les modalités d’entrées (souvent 2) sont synchrones. L’utilisation du module 3.1 de l’IEF par exemple peut rendre vraie cette hypothèse. Les algorithmes de cette tâche proposent tous du suivi temporel. Globalement, le pistage est réalisé par des filtres de Kalman avec des méthodes d’association du plus proche voisin. On soulignera l’utilisation d’un filtre à particules par le LASMEA et une association par fonctions de croyance au LIVIC. On remarque qu’il y a très peu de contributions sur la gestion explicite des occultations. On notera aussi la particularité de la méthode de fusion proposée par E‐motion qui est la seule équipe ayant utilisé des grilles d’occupation (appelées BOF). Enfin, la prise en compte des notes (terminologie employée pour quantifier la pertinence des différentes données) et leur mise à jour est assez diversifiée. Le CAOR utilise une méthode bayésienne, Heudiasyc se place dans le cadre des fonctions de croyance. D’autres laboratoires effectuent des moyennes pondérées selon plusieurs heuristiques. Malheureusement nous n’avons pas pu dans le cadre du projet uniformiser la définition des notes de détection et de reconnaissance ce qui ne facilite pas les échanges de données entre les modules sur ce point. •
La tâche 3.3 intitulée « Fusion de pistes » propose des méthodes très similaires aux algorithmes de fusion parallèle de la tâche 3.2 à la différence que les entrées des modules ne sont pas des listes d’objets mais des listes de pistes. Le CAOR a proposé une fusion en série pistes LIDAR puis mono caméra sur le même principe que le Référence du formulaire : ANR-FORM-090601-01-01
10/32
module développé dans le 3.2. La LASMEA a développé un module de fusion de pistes indépendantes dans le repère LOVe. La mise à jour des notes est calculée de manière identique aux modules 3.2 Parallèlement à ces recherches méthodologiques, les « travaux hardware » ont pour but d’évaluer la capacité à embarquer les logiciels développés dans le cadre de LOVe. La question de l’adéquation hard/soft est toujours difficile à traiter en parallèle du développement. Dans le cadre de LOVe deux démarches ont été mené de front. Tout d’abord, un questionnaire a été conçu et transmis à chacun des partenaires développant des algorithmes afin de décrire les codes en documentant des éléments connus comme étant très dimensionnant pour les portages. D’autre part, certains algorithmes représentatif on été porté par l’IEF sur différentes cibles afin d’évaluer et de comparer les performances (vitesse d’exécution, mémoire, …). C.4 RESULTATS OBTENUS
Les livrables attendus pour le SP2 sont des rapports (x : 1..4 représentant les sous‐tâches) : • R2.x.1 : Analyse des conséquences des spécifications sur l’algorithmique ; • R2.x.2 : Rapport d’avancement sur le développement de la méthode et résultats préliminaires ; • R2.x.3 : Rapport de synthèse de la méthode d’observation. Des logiciels sont également disponibles pour chaque méthode déclinée ainsi que des séquences de test en simulation ou sur données réelles. Au‐delà de ces livrables, les résultats du projet ont donnés lieu à de nombreuses publications comme on peut le constater en E1. C’est un signe des avancés significatives des approches proposées par rapport à l’état de l’art. Les avancées sont de plusieurs ordres et pas forcément toujours là où on les attendait. L’avancée la plus significative concerne le suivi de cible. L’algorithme développé par ICARE, actuellement en test chez un industriel de l’automobile, est un des produits d’une nouvelle start‐up (voir ci‐dessous). En parallèle le suivi de cibles LASER devient aussi très performant. Ce qui est plus surprenant est la qualité de la reconnaissance de piétons par une approche LASER. Bien que l’information soit très parcellaire sur un piéton, ces derniers sont généralement bien reconnus au prix, naturellement, de quelques fausses détections compte tenu du faible pouvoir discriminant des données LASER. Notons également l’approche du CAOR capable de distinguer le cas de « groupe de piétons ». La stéréovision a aussi progressé en termes de rapidité, de qualité de la carte de disparité, de segmentation de la surface de la route et de segmentation en objets. Cependant, sur ce dernier point, des progrès restent encore à accomplir. Finalement, la reconnaissance a aussi progressé sans toutefois atteindre une qualité encore suffisante en termes de taux de reconnaissance et de nombre de fausses détections. Les progrès réalisés concernent la rapidité des méthodes et un meilleur choix des classifieurs. Les résultats du sous‐programme 3 sont également très encourageants et montrent que la fusion entre plusieurs modalités augmente significativement le taux de bonne détection tout en diminuant le taux de fausses alarmes. Le couplage lidar‐mono vision a fourni de très bons Référence du formulaire : ANR-FORM-090601-01-01
11/32
résultats puisque le Lidar est très pertinent pour détecter et les algorithmes de classification à base d’image assurent la reconnaissance. Des développements supplémentaires auraient été nécessaire si le temps l’avait permis pour résoudre quelques problèmes qui n’avaient pas été anticipés par les partenaires : asynchronisme des données, zones d’intérêt dans l’image mal ajustées sur le piéton (contrairement aux imagettes utilisées pour l’apprentissage), représentation non homogène des notes de détection et de reconnaissance. Malheureusement, le sous programme « Fusion de données « a souffert du retard pris dans le SP2 (résultats disponibles sur le site en septembre 2009). Quelques partenaires attendaient des résultats quantitatifs pour choisir les entrées de leur module. Cependant, on soulignera que tous les partenaires ont fourni les modules proposés avec quelques variations dans leur définition. On peut regretter à ce jour que peu de contributions ont été apportées sur la gestion explicite des occultations A ce jour, les laboratoires utilisent encore les données et continuent à développer et améliorer leurs méthodes. Les publications issues de ce projet sont déjà nombreuses et vont augmenter encore dans les mois qui suivent. Le projet aborde donc la problématique de la détection de piétons par une approche modulaire. Le logiciel est décomposé en modules tels que la détection, le suivi ou bien encore la fusion développés par différents laboratoires. Une évaluation quantitative a été mise en œuvre. Le but de l’évaluation est de déterminer les performances individuelles de chaque algorithme afin de sélectionner les meilleurs qui constitueront la chaîne finale de détection. Nous avons considéré plusieurs chaînes de manière à émettre des recommandations sur les combinaisons capteurs / algorithmes les plus performantes. Les objets extraits par les algorithmes sont comparés à ceux de la vérité terrain (extrait manuellement). Ainsi, nous en déduisons quatre critères représentant les performances : le taux de bonnes détections et de sélectivité pour les algorithmes de détection et le taux de bonnes reconnaissance et fausses alarmes pour les algorithmes de reconnaissance. Ceux‐ci permettent de tracer les courbes d’efficacité de détection de zones et d’efficacité de reconnaissance afin de comparer les algorithmes entre eux pour un point de fonctionnement défini. L’évaluation des algorithmes du SP2 (localisation de zones d’intérêts, détection de zones, reconnaissance et pistage) a mis en avant des modules de suivants : • Mono vision : le module du laboratoire CAOR réalise 80% de bonnes détections pour 5% se sélectivité et 80% de bonnes reconnaissances pour 13% de fausses alarmes. • Stéréo vision : le module du laboratoire IEF réalise 50% de bonnes détections pour 20% de sélectivité. • Laser/radar : le module du laboratoire CAOR réalise 90% de bonnes détections pour 10% de sélectivité et 80% de bonnes reconnaissances pour 50% de fausses alarmes. A partir de ces résultats, nous avons sélectionné une partie des modules pour évaluer les performances des algorithmes de fusion (SP3). Ainsi, nous avons montré que la fusion de plusieurs algorithmes de détection permet d’améliorer les performances globales de détection des vulnérables. Par exemple sur le scénario 4, les modules de stéréovision et lidar sélectionnés précédemment réalisaient chacun 40% de bonnes détection alors que la combinaison des deux permet d’atteindre jusqu’à 75% de bonnes détection. Référence du formulaire : ANR-FORM-090601-01-01
12/32
C.5 DISCUSSIONS ET CONCLUSIONS
La détection des piétons (vulnérables) est une problématique d’actualité dans le secteur automobile et qui plus est l’une des plus difficiles à résoudre. En effet, contrairement à d’autres acteurs de l’environnement automobile tels les véhicules par exemple, les piétons peuvent avoir une multitude d’apparences : de l’enfant à l’adulte (problématique de taille), debout ou accroupie (problématique de ratio), marchant ou courant (amplitude des mouvements), de face ou de profil (problématique de forme) ou bien encore la grande diversité des vêtements portés en fonction des saisons par exemple… Tous ces facteurs rendent la détection et la reconnaissance du piéton très difficile. Pour répondre à cette complexité, le choix judicieux de l’approche modulaire à permis de mettre en compétition les laboratoires afin d’obtenir les meilleurs performances à chaque étape de la chaîne de détection. Au cours du projet, les contributeurs ont exploré une multitude de techniques scientifiques qui ont été, pour certaines, retenues dans la chaîne finale de détection. Dans le détail des méthodes, on peut notamment relever la détection, la reconnaissance et le suivi LASER : les résultats obtenus sont de très bonne qualité et il semble difficile de faire beaucoup mieux, malgré les fausses détections, compte tenu de la quantité d’information délivrée par un LASER 4 nappes. Comme expliqué en C.4, le suivi par vision a été un immense succès et est un des résultats majeurs du projet. Il a un impact industriel certain car un industriel a pris une licence pour ce logiciel et c’est un produit phare d’une start‐up. Les résultats sont plus mitigés concernant la reconnaissance des piétons que ce soit en vision mono‐caméra ou en stéréovision. Il subsiste encore trop de non détections et de fausses détections. Concernant la stéréovision il y a un problème de segmentation qu’il faudra améliorer. Pour l’approche mono‐vision il manque, peut‐être, une prise en compte du mouvement du piéton pour le différentier du fond de la scène mais aussi le différentier d’autres objets. Actuellement, la reconnaissance n’exploite que la similarité de formes en niveau de gris. Cependant, l’approche collaborative permet bel et bien d’améliorer les performances, cʹest‐à‐
dire une augmentation du taux de bonnes détection tout en réduisant les fausses détections. En effet, la fusion d’un algorithme de stéréovision avec un lidar, réalisant chacun 40% de bonnes détections, permet d’atteindre jusqu’à 75% de bonnes détections. Cependant, il aurait été intéressant d’étudier le surcoût de puissance de calcul nécessaire en comparant les taux de charges des algorithmes seuls avec celui de la fusion. D’autres part, nous pouvons également regretter que la chaîne de fusion la plus efficace soit basée sur deux caméras et un lidar qui, compte tenu des contraintes automobiles actuelles, paraissent difficilement envisageable. L’évaluation quantitative des résultats par comparaison à une vérité de terrain était un défi et probablement une première pour ce type de projets. Nous devons reconnaître que les performances atteintes sont en dessous des objectifs initialement fixés mais n’est‐il pas nécessaire d’être ambitieux lors d’un lancement ? Il n’en demeure pas moins que les délivrables du projet constituent un travail de qualité qui aura, sans aucun doute, des retombées ultérieures. Par ailleurs, le projet a permis de tisser Référence du formulaire : ANR-FORM-090601-01-01
13/32
des liens entre universitaires et industriels favorisant ainsi l’élaboration de nouveaux contrats de développements. Le wrapper LOVe mis en place pour harmoniser la communication entre les modules est un plus qui va permettre de faire perdurer les collaborations. Enfin le niveau de production scientifique, le dépôt de deux brevets et la création de 3 spin‐
offs constituent de véritables satisfactions. Référence du formulaire : ANR-FORM-090601-01-01
14/32
Compte-rendu de
fin de projet
D LISTE DES LIVRABLES
Date de
livraison
Titre
Nature
(rapport,
logiciel,
prototyp
e,
données,
…)
Partenaires
(souligner le
responsable)
Mars 07
Définition des cas traités
R1.1.1
Octobre 06
Site web
R0.3.1
lasmea
Mars 07
Spécification des capteurs et/ou fourniture des données
R1.2.1
Valeo, Renault
Février 07
Spécification de la plate-forme matérielle
R1.3.1
Avril 07
Spécification de la plate-forme logicielle
R1.4.1
Valeo, Renault
Valeo, Renault,
Lasmea
Mars 07
Spécification du cadre de l’évaluation des algorithmes
R1.5.1
Février 07
Rapport d’avancement semestriel
R0.1.1
Juin 07
Analyse des conséquences des spécifications sur l’algorithmique
R2.1.1
Mars 07
Analyse des conséquences des spécifications sur l’algorithmique
R2.2.1
Mai 07
Analyse des conséquences des spécifications sur l’algorithmique
R2.3.1
Mars 07
Analyse des conséquences des spécifications sur l’algorithmique
R2.4.1
Mars 07
Analyse des conséquences des spécifications sur l’algorithmique
R3.2.1
Référence du formulaire : ANR-FORM-090601-01-01
Commentaires
Valeo, Renault
Valeo, Renault
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
CAOR,
CEALIST,
CMM,
ICARE,
IEF,
IMARA,
LASMEA, LIVIC
Lasmea
CEA, CMM,Icare,
IEF,IMARA,
LIVIC, LASMEA
CMM, LASMEA,
LIVIC, Heudiasyc
Caor, Heudiasyc,
Lasmea,
emotion, lasmea,
ief, cea
Date de
livraison
Titre
Nature
(rapport,
logiciel,
prototyp
e,
données,
…)
Septembre 07
Rapport d’avancement semestriel
R0.1.2
Février 08
Rapport d’avancement semestriel
R0.1.3
Avril 08
Rapport d’avancement sur le développement de la méthode et résultats préliminaires
R2.1.2
Juin 07
Démonstration des résultats préliminaires
D2.1.1
Juin 08
Rapport d’avancement sur le développement de la méthode et résultats préliminaires
R2.2.2
Juillet 08
Rapport d’avancement sur le développement de la méthode et résultats préliminaires
R2.3.2
Mai 07
Démonstration des résultats préliminaires
D2.3.1
Avril 08
Rapport d’avancement sur le développement de la méthode et résultats préliminaires
R2.4.2
Avril 08
Rapport d’avancement sur le développement de la méthode et résultats préliminaires
R3.2.2
Partenaires
(souligner le
responsable)
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC
CAOR, CEALIST, CMM,
ICARE, IEF,
IMARA,
LASMEA, LIVIC
CAOR, CEALIST,ICARE,
IEF, LASMEA
CEA, CMM,Icare,
IEF,IMARA,
LIVIC, LASMEA
CEA, CMM,Icare,
IEF,IMARA,
LIVIC, LASMEA
CMM, LASMEA,
LIVIC, Heudiasyc
Caor, Heudiasyc,
Lasmea,
emotion, lasmea,
ief, cea
Sept 09
Spécification des besoins en fusion
R1.5.2
valeo
Avril 09
Rapport d’avancement semestriel
R0.1.4
CAOR, CEA-
Référence du formulaire : ANR-FORM-090601-01-01
16/32
Commentaires
Date de
livraison
Titre
Nature
(rapport,
logiciel,
prototyp
e,
données,
…)
Partenaires
(souligner le
responsable)
Commentaires
LIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
Fourniture de la plate-forme matérielle
M1.3.1
Janvier 09
Rapport de synthèse de la méthode d’observation
R2.1.3
Septembre 07
Logiciel d’observation des vulnérables
L2.1.1
Février 2009
Rapport de synthèse de la méthode d’observation
R2.2.3
Juin 2007
Logiciel d’observation des vulnérables
L2.2.1
Février 2009
Rapport de synthèse de la méthode d’observation
R2.3.3
Logiciel d’observation des vulnérables
L2.3.1
Mars 2009
Rapport de synthèse de la méthode d’observation
R2.4.3
Mars 2007
Logiciel d’observation des vulnérables
L2.4.1
Mars 2010
Rapport de synthèse sur la méthode de combinaison
R3.1.2
Mars 2010
Logiciel d’observation des vulnérables
L3.1.2
Septembre 09
Rapport de synthèse de la méthode d’observation
R3.2.3
Septembre 09
Logiciel d’observation des vulnérables
L3.2.1
Référence du formulaire : ANR-FORM-090601-01-01
Annulé suite à
réorientation du
projet
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC
CAOR,
CEALIST,
CMM,
ICARE,
IEF,
IMARA,
LASMEA, LIVIC
CAOR,
CEALIST,ICARE,
IEF, LASMEA
lasmea
CEA, CMM,Icare,
IEF,IMARA,
LIVIC, LASMEA
CMM, LASMEA,
LIVIC, Heudiasyc
CMM, LASMEA,
LIVIC
Ief, livic, cea,
lasmea, caor
Ief, livic, cea,
lasmea, caor
Caor, Heudiasyc,
Lasmea,
emotion, lasmea,
ief, cea
Caor, Heudiasyc,
Lasmea,
17/32
Date de
livraison
Titre
Nature
(rapport,
logiciel,
prototyp
e,
données,
…)
Partenaires
(souligner le
responsable)
Rapport de synthèse sur la méthode de combinaison
R3.3.1
Septembre 09
Logiciel de combinaison des pistages
L3.3.1
emotion, lasmea,
ief, cea
Lasmea,
caor,
heudiasyc
Lasmea,
caor,
heudiasyc
Novembre 09
Validation des algorithmes de perception à intégrer
R1.5.3
valeo, Renault
Mars 10
Validation des algorithmes de fusion à intégrer
R1.5.4
Novembre 09
Rapport d’avancement semestriel
R0.1.5
valeo, Renault
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
Septembre 09
Rapport intermédiaire d’implantation
Avril 10
Rapport final
Rapport d’implantation
Janvier 2010
Logiciel d’observation des vulnérables
Référence du formulaire : ANR-FORM-090601-01-01
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
Annulé suite à
réorientation du
projet
R4.1.2
L4.1.1
Annulé suite à
réorientation du
projet
R4.1.1
R0.1.6
Commentaires
CAOR, CEALIST, CMM,
ICARE, IMARA,
LASMEA, LIVIC,
Renault, Valeo,
e-motion,
IEF,
Heudiasyc
18/32
Compte-rendu de
fin de projet
E IMPACT DU PROJET
E.1 INDICATEURS D’IMPACT
Nombre de publications et de communications (à détailler en E.2)
Publications
multipartenaires
International
France
Actions de
diffusion
Revues à comité de
lecture
Ouvrages ou chapitres
d’ouvrage
Communications
(conférence)
Revues à comité de
lecture
Ouvrages ou chapitres
d’ouvrage
Communications
(conférence)
Articles vulgarisation
Conférences
vulgarisation
Autres
Publications
monopartenaires
4
1
1
32
1
1
4
1
4
+ 2 articles de congrès soumis + 1 article de revue internationale soumis Autres valorisations scientifiques (à détailler en E.3)
Nombre, années et commentaires
(valorisations avérées ou probables)
Brevets internationaux
obtenus
Brevet internationaux en
cours d’obtention
Brevets nationaux obtenus
Brevet nationaux en cours
d’obtention
Licences d’exploitation
(obtention / cession)
Créations d’entreprises ou
essaimage
Nouveaux projets
collaboratifs
2 brevets sont en cours de dépôt par le CEA LIST
Achat d’une licence d’exploitation (1 an) de l’algorithme de suivi
ESM à des fins de R&D, puis renouvellement pour une nouvelle
année, VALEO
- La société Arcure vient de voir le jour pour exploiter les
techniques de détection de piétons issues des travaux du
CEA LIST dans le projet Love.
- Valorisation avérée dans la startup Robocortex. Création
prevue en Juillet 2010.
- Civitech
LIVIC : Projet en cours de montage (FUI) pour valoriser la
stéréovision au niveau industriel (automobile et vidéosurveillance)
CAOR : Travaux servi à alimenter un projet conjoint avec un
industriel (Valeo)
Référence du formulaire : ANR-FORM-090601-01-01
Des discussions sont en cours pour intégrer la thématique de la
détection de piétons dans l’accord global de collaboration signé
entre Renault et le CEA.
CITYVIP
ROBOTEO (RTRA DIGITEO)
Colloques scientifiques
Autres (préciser)
CAOR : Montage d’un projet exploitant les résultats obtenus dans
le projet
E.2 LISTE DES PUBLICATIONS ET COMMUNICATIONS
Revues internationales Fayad F. and Cherfaoui V. Object‐level fusion and confidence management in a multi‐sensor pedestrian tracking system Lecture Notes in Electrical Engineering Multi‐sensor Fusion and Integration for Intelligent Systems, vol. 35, pp. 15‐31, 2009 Kallel A., and Le Hégarat‐Mascle S. Combination of partially non‐distinct consonant beliefs: the cautious‐adaptive rule International Journal of Approximate Reasoning 50(7):1000‐1021, July 2009. S. GIDEL, P. CHECCHIN, C. BLANC, T. CHATEAU, L. TRASSOUDAINE. Pedestrian Detection and Tracking in Urban Environment using a Multilayer Laserscanner IEEE Transactions on Intelligent Transportation Systems : to appear in 2010. Mathias Perrollaz, Raphael Labayrade, Dominique Gruyer, and Didier Aubert Using stereo‐vision to improve the reliability of obstacle detection systems soumis à IEEE Transactions on Intelligent Transportation Systems. Chapitres dʹouvrage internationaux L. LEYRIT, T. CHATEAU, and J. LAPRESTE Classifiers Association for High Dimensional Problem Machine LearningChapter IN‐TECH, To appear. Conférences internationales M. Perrollaz, A. Spalanzani, D. Aubert A probabilistic representation of the uncertainty of stereo‐vision and its application to obstacle detection Soumis à IV 2010. T. Veit Référence du formulaire : ANR-FORM-090601-01-01
20/32
Probabilistic Ground Surface Segmentation for Stereovision soumis à IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2010), Taipei, Taïwan, 18‐22 octobre 2010. A. Ganoun, T. Veit, D. Aubert Tracking Multiple Targets Based on Stereo Vision VISAPP, Lisboa, Portugal, 5‐8 feb. 2009. T. Veit Connexity based fronto‐parallel plane detection for stereovision obstacle segmentation Proceedings of Workshop on Safe navigation in open and dynamic environments Application to autonomous vehicles, IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, May12‐17, 2009. G. Gâté, F. Nashashibi An approach for robust mapping, detection, tracking and classification in dynamic environments Proceedings of the 2009 IEEE International Conference on Advanced Robotics, 22‐26 June, 2009, Munich, Germany. G. Gâté, F. Nashashibi Fast algorithm for pedestrian and group of pedestrians detection using a laser scanner Proceedings of the 2009 IEEE Intelligent Vehicles Symposium, 3‐5 June, 2009, Xi’an, Shaanxi, China. G. Gâté, A. Breheret, F. Nashashibi Centralized fusion based algorithm for fast people detection in dense environment Proc. of the IEEE International Conference on Robotics and Automation, 12‐17 May 2009, Kobe, Japan. G. Gâté, A. Breheret, F. Nashashibi Centralized fusion based system for fast people detection in dense environment In the Proc. of the 69th IEEE Vehicular Technology Conference, 26‐29 April 2009, Barcelona, Spain. G. Gâté, F. Nashashibi Using Targets Appearance to Improve Pedestrian Classification with a Laser Scanner IEEE Intelligent Vehicles Symposium, 4‐6 June, Eindhoven, Netherlands. S. GIDEL, C. BLANC, T. CHATEAU, P. CHECCHIN, L. TRASSOUDAINE A Method based on Multilayer Laserscanner to Detect and Track People in Urban Environment IEEE Intelligent Vehicle Symposium. Xian, Shaanxi, China 2009. S. GIDEL, C. BLANC, T. CHATEAU, P. CHECCHIN, L. TRASSOUDAINE Non‐Parametric Laser and Video Data Fusion : Application to Pedestrian Detection in Urban Environment 12th IEEE International Conference on Information Fusion. Seattle, Washington, USA 2009. Référence du formulaire : ANR-FORM-090601-01-01
21/32
S. GIDEL, P. CHECCHIN, C. BLANC, T. CHATEAU, L. TRASSOUDAINE Decentralized Fusion of a 4‐layer laser sensor based on Parzen Method : Application to Pedestrian Detection ICRA 2008 Workshop : Human Detection from Mobile Robot Platforms : Different perspetive, Different Modalities, Pasadena, USA, 2008. S. GIDEL, P. CHECCHIN, C. BLANC, T. CHATEAU, L. TRASSOUDAINE Parzen Method for Fusion of Laserscanner Data : Application to Pedestrian Detection IEEE Intelligent Vehicles Symposium (IV), eindhoven, Netherlands, 2008. S. GIDEL, C. BLANC, T. CHATEAU, P. CHECCHIN, L. TRASSOUDAINE Nonparametric data association for particle filter based multi‐object tracking : application to multi‐
pedestrian tracking IEEE Intelligent Vehicles Symposium (IV), eindhoven, Netherlands, 2008. S. GIDEL, P. CHECCHIN, C. BLANC, T. CHATEAU, L. TRASSOUDAINE Pedestrian Detection Method using a Multilayer Laserscanner: Application in Urban Environment IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2008. L. LEYRIT, T. CHATEAU, and J. LAPRESTE Visual pedestrian recognition in weak classifier space using nonlinear parametric models ICIP IEEE International Conference on Image Processing, San Diego, USA, october 2008. L. LEYRIT, T. CHATEAU, C. TOURNAYRE, and J. LAPRESTE Association of adaboost and kernel based machine learning methods for visual pedestrian recognition IEEE Intelligent Vehicles Symposium, Eindhoven, The Netherlands, June 2008. S. Cornou, B. Fleury, F. Solanet, L. Trassoudaine Pedestrian Accident Context and Technologic Development in LOVe International Conference : V.I.S.I.O.N Versailles Satory ‐ Versailles Satory October 7 & 8, 2008 L. NGAKO PANGOP, F. CHAUSSE, S. CORNOU, R. CHAPUIS Feature‐Based Multisensor Fusion UsingBayes Formula for Pedestrian Classification in Outdoor Environments IEEE IV 2007, Istanbul, Turquie, 13‐15 Juin 2007. L. NGAKO PANGOP, S. CORNOU, F. CHAUSSE, R. CHAPUIS, S. BONNET A Bayesian Classification of Pedestrians in Urban Areas: The Importance of the Data Preprocessing IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, Seoul, Corée du Sud, 20 ‐ 22 Août , 2008, pp. 195‐201. Fayad, F. and Cherfaoui, V. and Derbhomez, G. Updating confidence indicators in a multi‐sensor pedestrian tracking system IEEE Intelligent Vehicles Symposium (IV2008), Eindhoven, 2008 Fayad, F. and Cherfaoui, V. Detection and Recognition confidences update in a multi‐sensor pedestrian tracking system Référence du formulaire : ANR-FORM-090601-01-01
22/32
Int. Conf on Information Processing and Management of Uncertainty in knowledge‐Based Systems, (IPMU 2008), Malaga, 2008 Fayad, F. and Cherfaoui, V. Object‐level fusion and confidence management in a multi‐sensor pedestrian tracking system IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI2008), Seoul, Korea, August 20 ‐ 22, 2008 Le Hégarat‐Mascle S., André C., and Reynaud R. On the interest of having different combination rules in the evidence theory framework Workshop on Theory of Belief Functions TBFʹ10, in Brest, France, on April 1‐2 2010, CDROM, 6p. Le Hégarat‐Mascle S., and Reynaud R. Combination of detection and recognition algorithms using the evidence theory framework COGISʹ09, in Paris, France, on November 16‐18 2009, CDROM, 6p. Kallel A., and Le Hégarat‐Mascle S. Combination of partially non‐distinct consonant beliefs: the cautious‐adaptive rule International Conference on Sciences of Electronics, Technologies of Information and Telecommunications (SETITʹ09), in Hammamet, Tunisia, on March 22‐26 2009, 9p. Ammar M., Le Hégarat‐Mascle S., Reynaud R., and Robin A., Video scene object detection using an A Contrario approach International Workshop on Image Processing Theory, Tools and Applications (IPTAʹ08), in Sousse, Tunisia, on November 23‐26 2008, CDROM (ISBN 978‐1‐4244‐3321‐6), 8p. Le Hégarat‐Mascle S., Reynaud R., André C., and Kallel A. Use of the adaptive‐cautious rule for combination of separable evidences COGISʹ07, in Stanford, California, USA, on November 26‐27 2007, CDROM (ISBN 2912328470), 8p. M. Gouiffès Color Connectedness Degree for Mean‐Shift Tracking 20th International Conference on Pattern Recognition. ICPR August 2010. M.Gouiffès, A. Patri, M. Vasiliu Robust obstacles detection and tracking using disparity for car driving assistance IS&T SPIE Electronic Imaging 2010. San Jose, USA, January 2010 M. Gouiffès, S. Bouchafa, B. Zavidovique Segments of color lines ‐ A Comparison through a Tracking Procedure International Conference on Informatics in Control, Automation and Robotics (ICINCO), Milan, Italy, 2‐5 july 2009. Y. Almehio, S. Bouchafa A voting decision strategy for image registration under affine transformation Référence du formulaire : ANR-FORM-090601-01-01
23/32
Image Processing: Algorithms and Systems VIIIʺ conference, IS&T SPIE Electronic Imaging 2010, San Jose, California, USA, 17‐21 January 2010. S. Bouchafa, B. Zavidovique C‐velocity: a Cumulative Frame to Segment Objects from Egomotion Pattern recognition and Image Analysis journal, 2009, Vol. 19, n°4, pp. 583‐590. Pleiades Publishing, Ltd., distributed by Springer. ISSN: 1054‐6618. S. Bouchafa, A. Patri, B. Zavidovique Efficient plane detection from a single moving camera IEEE International Conference on Image Processing ICIP, Cairo, Egypt, November 7‐11, 2009. Chapitre d’ouvrage francophone Reynaud R., et Le Hégarat‐Mascle S. L’architecture de systèmes multi‐capteurs réactifs Chapitre dans l’ouvrage Gestion de la complexité et de l’information dans les grands systèmes critiques, sous la direction d’A. Appriou, CNRS Editions, 2009, ISBN : 978‐2‐271‐
06828‐6. Revue francophone Le Hégarat‐Mascle S., Reynaud R., André C., and Kallel A. Utilisation contextuelle d’une règle prudente adaptative pour la combinaison d’évidences séparables Revue de l’Electricité et de l’Electronique, sous presse. Conférences francophones S. GIDEL, P. CHECCHIN, C. BLANC, T. CHATEAU, L. TRASSOUDAINE Détection de piétons à l’aide d’un capteur laser quatre nappes embarqué 16ème Congrès Francophone AFRIF‐AFIA de Reconnaissance des Formes et Intelligence Artificielle, RFIA’08, Amiens, France, Janvier 2008. L. LEYRIT, C. TOURNAYRE, and T. CHATEAU. Association de classifieurs pour la reconnaissance de piétons dans les images. 13ème colloque national Compression et Représentation des Signaux Audiovisuels (CORESA’2009), Toulouse, mars 2009. L. LEYRIT, T. CHATEAU, and J. LAPRESTE Descripteurs pour la reconnaissance de piétons In ORASIS ‐ Congrès francophone des jeunes chercheurs en vision par ordinateur, Tregastel, June 2009. Fayad, F. and Cherfaoui, V. and Dherbomez, G. Référence du formulaire : ANR-FORM-090601-01-01
24/32
Détection, reconnaissance et suivi des piétons par télémétrie laser multicouches Conférence Internationale Francophone dʹAutomatique (CIFA 2008) Bucarest, 2008 Autres (démonstrations sur véhicule) • Démonstrations du projet LOVe à la convention System@tic à Paris (juin 2009) • Démonstrations à la fête de la science sur le site de l’UTC (2007) • Démonstrations au Carrefour du Predit à Paris (2008) • Démonstrations sur le campus d’Eindhoven lors de la conférence IV2008 (juin 2008) • Nombreuses démonstrations aux visiteurs de l’UTC (A. Fert, E. Woerth, membres de l’IET…) E.3 LISTE DES ELEMENTS DE VALORISATION
•
Création de plates‐formes mises à la disposition d’une communauté L’intervention du CMM au sein de LOVe a permis de contribuer au développement de la librairie logicielle MAMBA, librairie de morphologie mathématique « open source » sous licence X11 (http://www.mamba‐image.org), certaines fonctions de la librairie (opérateurs de segmentation) ayant été utilisés et testés dans le cadre du projet. • De nouveaux partenariats ont vu le jour dans la lignée du projet : Le LIVIC prépare un projet FUI pour valoriser la stéréovision au niveau industriel (automobile et vidéo‐surveillance). Ce montage est réalisé avec la société DxO. Il pourra inclure la société ADVANSEE pour le portage du logiciel sur du hardware. Du côté du CAOR, les logiciels développés dans le cadre de LOVe et surtout leur performance a encouragé un industriel (partenaire du projet) à signer un partenariat contractuel autour de cette thématique. Dans ce projet de recherche commun, nous travaillerons sur l’amélioration de la détection des piétons par vision monoculaire. Par ailleurs, un projet est en cours de montage autour de la thématique de la protection des piétons par déclenchement de protections actives. Ce projet intègre nos travaux pour la détection des piétons ; d’autres partenaires se pencheront sur les mécanismes de protection à déployer à bord des véhicules (mousse viscoélastique, réseau de micro‐airbags, etc.). Dans le contexte automobile, toujours, des discussions sont en cours pour intégrer la thématique de la détection de piétons dans l’accord cadre de collaboration scientifique signé entre Renault et le CEA. La société Valeo pourrait être associée à cette thématique du programme de recherche. Cette action permettra le développement de recherche commune dans le domaine de la détection de piéton et poursuivre ainsi les travaux du projet Love. Référence du formulaire : ANR-FORM-090601-01-01
25/32
Heudiasyc et le LASMEA ont proposé de valoriser leurs recherches effectuées dans LOVe dans le projet ANR‐Predit CityVIP «Déplacement sûr de véhicules individuels adaptés à l’environnement urbain ». La contribution d’Heudiasyc est d’améliorer les méthodes de détection d’obstacle en introduisant de l’a priori cartographique. Les partenaires de ce projet sont INRIA (Arobas, Lagadic), le LCPC, l’IGN et la société Benomad. Dans le cadre de ses projets en recherche et développement, Valeo a acheté une licence d’exploitation de l’algorithme de suivi visuel ESM. Après une année d’évaluation positive, Valeo a prolongé la licence pour un an. Au terme ce contrat, nous évaluerons le portage de l’algorithme sur une de nos cibles automobiles. Pour les industriels (Renault / Valeo) plusieurs projets bilatéraux sont en cours de montage sur la base des algorithmes et des savoirs faire démontré dans le cadre du projet LOVe. Ces projets permettront d’appliquer certains résultats de LOVe sur des sujets connexes. • Des brevets sont également en cours de dépôt : Deux brevets sont en cours de dépôt au CEA LIST. Ils concernent les technologies de détection de piétons. L’objectif est d’étendre à terme ces dépôts au niveau international. • Trois créations d’entreprises : La société Arcure vient de voir le jour pour exploiter les techniques de détection de piétons issues des travaux du CEA LIST dans le projet Love. Le domaine d’application visé est la surveillance périmétrique autour des engins de chantier, afin d’améliorer la sécurisation des personnels. Même si ce contexte nécessitera de fortes adaptations des techniques, le savoir‐
faire acquis dans le projet Love a permis de valider la faisabilité du système et servira de base à ce projet. Un laboratoire commun de 9 personnes a été créé par Arcure et le CEA List pour améliorer, adapter et transférer ces technologies du CEA vers la société. Le projet LOVe a permis dʹapporter un certain nombre dʹaméliorations au logiciel de suivi visuel ESM visual tracking développé par lʹINRIA. Nous avons traité le cas difficile du suivi de piétons et nous avons atteint un certain degré de robustesse de lʹalgorithme. Afin de mieux exploiter commercialement le logiciel nous étudions le couplage avec un algorithme de détection approprié. Ces résultats ont contribué au lancement de la société Robocortex. Enfin, les nouveaux développements réalisés dans le cadre de LOVe sur la problématique particulière du piéton ont suffisamment enrichi le simulateur développé au LIVIC pour qu’une start‐up puisse être lancée. Il s’agit de Civitech. Référence du formulaire : ANR-FORM-090601-01-01
26/32