Télécharger la présentation

Transcription

Télécharger la présentation
Habilitation à Diriger des recherches
Analyse et reconstruction
de scènes urbaines
Bruno Vallet – Equipe MATIS – LaSTIG – DRE - IGN
1 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction
2 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : scènes urbaines
 Scènes urbaines
 Espaces constitués majoritairement de structures anthropiques
 La majorité de la population française y vit
 Leur densification se confronte à de nombreux enjeux :
 Aménagement, urbanisme, architecture
 Réseaux : transport, énergie, information, eau
 Écologie : réchauffement climatique, pollution
 Etc.
 La réponse à ces enjeux passe par une connaissance (description)
de ces scènes urbaines:
 Fiable/fidèle/précise/détaillée sémantiquement ET géométriquement
 Actuelle
 Acteurs de l'aménagement (collectivités, BTP) → services SIG
3 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : moyens
 Moyens d'acquérir des connaissances sur ces scènes = donnée:
 Type :
Image
Lidar
 Plateforme :
Spatiale
Aérienne (avion, drone)
Terrestre fixe ou mobile
4 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : description
 Description des scènes urbaines
 Vaut il mieux faire une description :
 Générique ? Chère mais répond à de multiples besoins et facilite la
collaboration entre corps de métiers
 Adaptée à chaque application ? Moins chère mais moins mutualisable
Réponse IGN : Générique
5 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : description
 Description des scènes urbaines
- Structure/sémantique
 Quelle description ?
 Orthophoto (BD ORTHO®)
Description radiométrique 2D
 Modèles numériques d'élévation/terrain (RGE ALTI®)
Cartes de hauteur, images de profondeur 2,5D
Description géométrique
 Vecteur : représentation géométrique structurée
BD ADRESSE®
BD TOPO®
BD PARCELLAIRE®
BATI3D®
+ Structure/sémantique
6 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : description 3D
 Comment le monde de l'information géographique prend en compte la
troisième dimension ?
 Le Z (altitude, hauteur, élévation) est vu comme un attribut sur une
représentation 2D (RGE ALTI®, BD TOPO®) → 2.5D
 Modèles 3D
 Maillage triangulé
 Surface polyédrique
 Modèles fortement structurés (BATI3D®)
Géométrie
Topologie
Sémantique
Niveaux de détails (CityGML)
7 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : qualités
 Qualités de cette description:
 Fidélité
 Niveau de détail :
Géométrique
Sémantique
 Précision
 Actualité
 Utilisabilité
 Compacité
 Format
 Structure (modèle de données)
 Meilleure perspective : se rapprocher de la scène
 cartographie mobile
8 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Comment réaliser cette description ?
9 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Introduction : plan
 Cartographie mobile
 Thématiques
 Synthèse des travaux
 Curriculum Vitae
10 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Cartographie mobile
11 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Cartographie Mobile
 (Vallet and Mallet, 2016)
 La cartographie mobile (mobile mapping), qu'est ce que c'est ?
 Numérisation très haute résolution au niveau du sol :
 Image et/ou lidar
 Plateforme terrestre en déplacement (voiture, train, bateau,…)
 Nécessite un système de géoréférencement pour localiser les données
 Essor depuis une dizaine d'années:
 Limite atteinte de résolution des capteurs aéroportés :
 Il faut se rapprocher de la scène pour capturer plus de détails
 Augmentation des capacités de stockage et traitement
 Apparition de capteurs dédiés au mobile mapping :
 Centrales inertielles
 Imagerie panoramique
 Lidar spécialisé
12 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs
 Un système de cartographie mobile combine des capteurs :
 Géopositionnement
 Image
 Lidar
(Paparoditis et. al. 2012)
13 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs de géopositionnement
 3 types de capteurs:
 Centrale Inertielle : mesure des accélérations
 GPS : mesure une position
 Odometre : mesure une distance parcourue
 Un calcul combine ces
informations pour en tirer une
trajectoire (+incertitudes)
14 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs Lidar
 2 types de capteurs:
 Lidar plan : scanne un secteur angulaire
(possiblement 360°) d'un plan fixe par
rapport au véhicule
 Lidar rotatif: scanne un secteur
angulaire (environ 40°) d'un
plan en rotation rapide par
rapport au véhicule
15 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Lidar plan
 La scène est balayée par le plan
16 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Lidar plan
Résultat : pas qu'un nuage de points
 Pour chaque écho:
 Temps
 Range, theta, phi :
 convertis en (x,y,z) dans le repère du capteurs
 Puis dans un référentiel géographique en utilisant la trajectoire (+t)
 Amplitude du signal retour (proche infrarouge)
 Reflectance
 Amplitude recue / Amplitude qu'une cible Lambertienne (à la même
distance) aurait renvoyé
 Exprimée en dB
 Indépendante du range
17 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs Lidar
0dB
-20dB
18 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Lidar rotatif
 Le secteur angulaire tourne (~10Hz)
19 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs Lidar
20 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Capteurs image
 Caméras : panoramique et paires stéréoscopiques avant et arrière
 Acquisition tous les N mètres
21 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Système Stéréopolis
 Caméras : panoramique et paires stéréoscopiques avant et arrière
22 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Système Stéréopolis
 Caméras : panoramique et paires stéréoscopiques avant et arrière
23 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Tendances
 Miniaturisation : Camion>Voiture>Scooter>Sac à dos
24 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématiques
25 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématiques
 Thématiques principales
 Fidélité
 Vraie 3D
 4D (3D+T)
 Complémentarités entre données
 Complémentarités méthodologiques
 Transverses :
 Optimisation
 BigData
26 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : fidélité
 Comment :
 modéliser l'information qu'une acquisition donne sur la réalité
physique de la scène ?
 garantir que les produits sont consistants avec cette physique ?
 quantifier l'écart entre description numérique et réalité physique?
 Réponses :
 Préservation des méta-informations
 Multiéchos et pulses sans retours
 Trajectoire de la plateforme et de ses incertitudes
 Topologie capteur
 Théorie de Dempster Shafer
 Propagation des incertitudes (Mézian et. al. 2016)
27 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : fidélité
 Théorie de Dempster-Shafer : permet de modéliser
 La quantité d'information disponible sur un point de l'espace
 La précision (incertitudes) de cette information
Inspiration : (Rottensteiner et. al. 2005) (Gidel et. al. 2010) (Demantké et. al. 2013)
Utilisation : (Xiao et. al. 2013) (Caraffa et. al. 2015) (Caraffa et. al. 2016)
28 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : vraie 3D
 Traitement de nuages de points sans d'appuyer sur une rasterisation :
 Classification/Segmentation
 Détection de changements
 Reconstruction de maillages triangulés
 Continuité, topologie et interpolation naturelle d'un MNE
 Plus de limite aux surfaces sans surplombs
 Résolution adaptative
(Caraffa et. al. 2016)
29 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : vraie 3D
 Orthoimage → Texturation de maillage
 La texture généralise l'orthoimage puisqu'elle pose la question du
mosaiquage, de l'égalisation radiométrique et du blending
(Vallet and Houzay 2011)
(Vallet and Lelégard 2013)
30 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : dimension temporelle
 Prise en compte de la dynamique des scènes acquises :
 Détection de changements
 Échelles temporelles
 Séries temporelles
 Prise en compte des effets de temporalité des données :
 Intégration de la trajectoire du capteur comme donnée à traiter
(Monnier et. al. 2013)
 Prise en compte du décalage temporel entre données
(Vallet et. al. 2015a)
 Gestion des rebroussements
(Demantké et. al. 2013)
31 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : complémentarités
 Entre données
 Type : lidar vs image
 Mesure géométrique directe vs indirecte :
 Lidar : forte garantie de la présence d'une cible à la distance mesurée
 Image : Corrélation n'est pas conséquence ! Sensibilité :
 aux effets spéculaires et à l'illumination
 aux structures répétitives
 aux zones peu texturées ou trop sombres
 Détection active vs passive
 Bandes spectrales : 1 vs 3
 Densité moyenne vs haute
 Distribution (angulaire) anisotrope vs isotrope
 Géométries d'acquisition différentes
32 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique : complémentarités
 Entre données
 Type : lidar vs image
 Plateforme : satellitaire/aérien vs terrestre fixe ou mobile
 Points de vue complémentaires :
Aérien/satellite : toits, sol, canopée, extérieur, etc.
Terrestre : façades, sol, troncs, intérieur, etc.
 Entre méthodologies :
 Classification/Segmentation/Reconstruction/Texturation
 La segmentation régularise la classification
 La classification guide la segmentation
Segmentation sémantique
(Aijazi et. al. 2013)
 La segmentation sémantique guide la reconstruction
 La reconstruction texturée fournit des desctipteurs géométriques ET
radiométriques pour la classification/segmentation
 Remise en géométrie : indispensable et peut tout exploiter
33 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique transverse : optimisation
 En tant que démarche scientifique :
 Définir un objectif clair et quantifiable :
 A maximiser : probabilité, qualité, mesure (corrélation), etc.
 A minimiser : énergie, distance, erreur, coût, etc.
 Choisir une méthodologie d'optimisation existante
 Nécessite parfois de modifier l'objectif (compromis)
 OU concevoir une méthodologie ou heuristique d'optimisation
(Vallet et. al. 2009) (Vallet et. al. 2012) (Vallet and Lelégard 2013)
 Seule démarche permettant de quantifier l'atteinte des objectifs
 Boite à outils pour résoudre des problèmes bien formalisés
34 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Thématique transverse : BigData
 Les 5 V :
 Volume : données acquises sur une scène d'intérêt ~ To
 Vitesse :
 nécessité pour traiter ces volumes (expérimentations)
 problèmes méthodologiques :
Proposer des méthodes qui optimisent le compromis qualité/temps de calcul
Proposer une parallélisation des méthodes (map/reduce) avec des garanties
sur le résultat
 problèmes techniques : maîtriser les technologies du BigData :
Hardware (multicoeur, (multi)GPU, cloud, etc.)
Software (CUDA, OpenCL, Docker, Hadoop, Spark, etc.)
 Variété : celle du territoire français
 Véracité : question de la fidélité
 Valeur : question des applications
35 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Synthèse des travaux
36 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Travaux
 Remise en géométrie
 Analyse
 Reconstruction
 Texturation
 Perspectives
37 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Remise en géométrie : caractéristiques
 Remise en géométrie = calibration + recalage
 Image : (pixel, profondeur) ↔ point 3D
 Lidar: coordonnées de chaque point
 Relative vs absolue :
 Relative : mettre en cohérence la donnée (multi-acquisition/types)
 Absolu : garantir le géoréférencement de la donnée
 Type de données :
 Image, Lidar ou les deux ? (Miled et. al. 2016)
 Utilisation de données externes (modèles 3D, bases de données
topographiques, cartes, …)
38 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Remise en géométrie: modèle de déformation
 Modèle de déformation :
 Image : (ré)estimer les poses (photogrammétrie : ajustement de faisceaux)
 Lidar:
 Blocs rigides : adapté aux stations fixes
 Non rigide : adapté aux plateformes mobiles
Réestimer toute la trajectoire du véhicule
Poses de contrôle réparties dans le temps, interpolation entre les poses
(Monnier et. al. 2013)
39 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Remise en géométrie: Recalage
 Recaler nécessite de :
 1) Trouver des appariements entre données à recaler
 Image/image : photogrammétrie, vision par ordinateur
 Lidar/laser : distance point à point ou point à triangle (+descripteurs)
 (Monnier et. al. 2013) en s'appuyant sur (Gressin et. al. 2012)
 Lidar/image : information mutuelle RGB-Reflectance
 (Miled et. al. 2016)
 Lidar/BD : distance point à plans de façades
 (Monnier et. al. 2013)
 Lidar/MNT : distance entre points classés comme sol
 (Vallet and Papelard 2015)
 2) Minimiser l'erreur :
 Optimisation continue (forme close ou descente de gradient)
 ICP : alterne entre 1) et 2)
40 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Remise en géométrie
 (Monnier et. al. 2013)
41 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse de scène
 Image
 Télédétection et vision par ordinateur
 Détection de façades aveugles (Burochin et. al. 2014)
 Façades d'un modèle 3D
 Détection d'ouvertures sur image aérienne rectifiée
 Classification supervisée
 Lidar
 Descripteurs locaux
 Segmentation/classification
 Détection d'objets
 Détection de changements
42 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Descripteurs locaux
 Définition d'un voisinage :
 Sphérique (rayon fixe), cylindrique (rayon et hauteur fixe)
 Dynamique (optimal): s'adapte à la forme/densité du nuage
 (Demantké et. al. 2011)
Theta
 Triangulation de Delaunay
 Maillage
 Capteur
T
43 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Descripteurs locaux
 Descripteurs classiques:
(Weinmann et. al. 2014)
 Analyse en Composantes
Principales sur le voisinage
dynamique (Demantké et. al.
2011)
 Dimensionnalité, normale,
courbure
 Densité
 Hauteur au dessus du sol
0
44 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Planarité
1
Analyse : Reconnaissance/détection d'objets
 Détection d'arbres (Monnier et. al. 2012)
 Problème de classification/segmentation
Projection horizontale des descripteurs locaux
Clustering
Relations contextuelles (à base de règle)
45 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Reconnaissance/détection d'objets
 Détection d'arbres (Monnier et. al. 2011)
 Détection de rectangles de façade (Demantké et. al. 2012)
 RANSAC sur buffers recouvrants guidé par descripteurs locaux
 Limitation du plan à un rectangle vertical
 Fusion
46 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Détection de changement
 Entre deux acquisitions d'une même scène à deux époques :
 Basée distance : changement = distance importante entre points
des deux acquisitions. Peu robuste aux occlusions
 Basée occupation : changement = occupation 3D différente de la
scène. Robuste mais assez lent
 Basée objet : changement = pas d'objet à l'autre époque ou objet de
type ou de géométrie différents
 (Xiao et. al. 2016) cf reconstruction
 Question de l'individualisation des changements (clustering)
 Échelles temporelles :
 0.1s : objets en mouvement
 1h : stationnement, objets mobiles vs fixes
 Mois/années : changements structurels
47 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Détection de changement
 Basée distance, individualisation par persistance, critère de forme
sur les segments (Vallet et. al. 2013)
48 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Analyse : Détection de changement
 Basée occupation avec Dempster Shafer et distance (Xiao et. al. 2013)
Consistant
Pas de
contrepartie
49 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Changement
Analyse : Cartographie de flux
 Détection de
changement
échelle 0.1s
 Carte d'
accumulation
(Xiao et. al. 2015)
50 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction de surface
 Représentation continue de la géométrie de la scène à partir d'une
représentation éparse
 Approches :
 2.5D : cartes de hauteur/profondeur de façade
 (Demantké et. al. 2013)
 Voxels : impraticable → Dempster Shafer sur kd-tree
 (Caraffa et. al. 2015)
 Dempster Shafer sur triangulation de Delaunay
 (Caraffa et. al. 2016)
 Applications :
 Visualisation
 Prétraitement pour :
 Reconstruction plus structurée
 Analyse (segmentation/classification)
51 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction : 2.5D
et. al. 2013)
 (Demantké
Reconstruction
de façade 2.5D à partir de nuages de points
 Géométrie 2.5D
hybride espace
objet/capteur
 Fidélité physique
(pas d'intersection
surface/rayons)
52 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction : kd-tree
(Caraffa et. al. 2015)
 Dempster Shafer
 Représentation
multiniveaux
53 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction : triangulation de Delaunay
(Caraffa et. al. 2016)
 Dempster Shafer :
 Fusion de données
 Discrétisation sur
triangulation de
Delaunay
 (Labatut et. al. 2007)
 (Hiep et. al. 2009)
 Optimisation
multilabel : permet de
produire un indice de
confiance
54 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction : triangulation de Delaunay
55 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction structurée
 Retrouver des formes
(structures) géométriques
simples
 Découpage de cadastre =
segmentation vectorielle par
split and merge récursif
 Retrouver les discontinuités
verticales
 Prétraitement pour la
reconstruction polyédrique
(Vallet et. al. 2009)
(Brédif et. al. 2013)
56 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction structurée
 Améliore la reconstruction polyédrique
57 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction structurée
 Panneaux (Soheilian et. al. 2013a/b)
58 / 83
Bruno Vallet
 Segmentation hiérarchique de
façades (Burochin et. al. 2010)
HDR : Analyse et reconstruction de scènes urbaines
Reconstruction structurée
 Représentation implicite/paramétrique (Xiao et. al. 2016)
 Apprendre un modèle déformable de voiture à 7 paramètres à
partir de centaines d'exemples (Velizhev et. al. 2012)
 Chercher des instances de ce modèle et ajuster ses paramètres
 Relation avec analyse (catégorisation, typologie, changement)
59 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation
 Principalement pour la visualisation mais aussi pour l'analyse :
 Combiner descripteurs géométriques/radiométriques
 Approche classique (Waechter et. al. 2014) :
 Décider quelle image utiliser pour texturer chaque triangle :
 Calculer la visibilité image ↔ triangle
sur GPU (Vallet and Houzay 2011)
 Maximiser la résolution parmi les images voyant le triangle
 Minimiser les raccords (sauts entre images)
 Égalisation radiométrique :
 Globale : estimer une correction pour chaque image
paramétrique (Moulon et. al. 2013)
non paramétrique (Vallet and Lelégard 2013)
 Locale : Minimiser les discontinuités radiométriques à travers les raccords
 Blending : mélanger les images autour des raccords pour les cacher
60 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation
61 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation
62 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : Ortho Laser
(Vallet and Papelard 2015)
 La réflectance Lidar est précise et pertinente
 Elle permet de réaliser une « orthoimage » en niveaux de gris
 Problèmes
 Extraction des points du sol
 Filtre sur géométrie locale
 Interpolation (Z et réflectance) entre les points
 Equation de Poisson
 Recalage alti- et plani-métrique
 ICP
 Mosaïcage et blending :
 Moins de problèmes radiométriques qu'en image
 réflectance = propriété physique
63 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : Ortho Laser (extraction sol)
64 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : Ortho Laser (Interpolation)
65 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : Ortho Laser (Blending)
66 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : Ortho Laser (Comparaison)
67 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Texturation : MNE Lidar
68 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Perspectives
 Remise en géométrie : mieux exploiter l'analyse
 Traitements de maillages texturés :
 Décimation/Généralisation
 Sémantisation
 Complexes simpliciaux :
 Mélange points, arêtes, triangles
 Consistant avec la dimensionnalité apparente
 Généraliser la propagation d'incertitudes
 Mise à jour
 Texturation : gestion objets mobiles
69 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Curriculum Vitae
70 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : parcours scolaire
 2000-2003 : école polytechnique (stage INRIA Nancy)
 2003-2005 : Télécom ParisTech (stage HBIL, Columbia Univ.)
 Corps des télécoms (fusionné corps des mines)
 2003-2004 : Univ. Pierre et Marie Curie, DEA Intelligence Artificielle,
Reconnaissance des formes (stage MATIS)
 2005-2008 : thèse INRIA Nancy (geometry processing)
 2008- : CR IGN/MATIS « Reconstruction conjointe aérien terrestre »
 2009-2013 : responsable action de recherche « Analyse et
reconstruction de scènes urbaines »
 2014- : responsable axes structurants « Géométrie 4D des
données » et « Systèmes de numérisation terrestres »
71 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : encadrement
 6 stages, 6 thèses :
 2010-2013, Jérôme Demantké : Reconstruction de modèles 3D
photoréalistes de façades à partir de données image et laser terrestre (IGN)
 2011-2014, Fabrice Monnier : Recalage automatique de nuages de points
laser terrestres sur un modèle 3D de ville (IGN)
 2012-2015, Wen Xiao : Détection de changements à partir de scans de
cartographie mobile (TerraMobilita)
 2014-2017, Miloud Mézian : recalage conjoint trajectoire-modèle 3D (IGN)
 2016-2019, Mohamed Boussaha : Sémantisation de maillages texturés
(Platinum)
 2016-2019, Stéphane Guinard : Reconstruction de complexes simpliciaux
(DGA)
72 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : encadrement
 2 post-docs :
 2012-2013, Jean-Pascal Burochin : Détection de façades aveugles (ePlu)
 2014-2016, Laurent Caraffa : Reconstruction de maillages étanches
(iQmulus)
 2 ingénieurs :
 2014-, Jean-Pierre Papelard : systèmes de cartographie mobile et recalage
sur données aériennes
 2014-2016, Emmanuel Habets : calibration et gestion de données de
plateformes d'acquisition terrestres
 2 chargés de recherches :
 2015-, Loïc Landrieu : Reconstruction urbaine 3D structurée
 2016-, Laurent Caraffa : Photogrammétrie et reconstruction de surface
73 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : projets
 2008-2012, FUI TerraNumerica : découpage d'empreintes
 2009-2013, ANR ePLU : post-doc détection de façades aveugles
 2010-2013, ANR iSpace&Time : détourage d'objets mobiles
 2010-2013, DGA eFusion : détection de changements sur MNE
 2011-2015, FUI TerraMobilita :
 Chef de projet IGN et responsable lot de travaux
 Thèse Détection de changements entre scans de cartographie mobile
 2012-2016, FP7 iQmulus : post-doc reconstruction de surface
 2015-2017, DGA Li3DS : entrepôt de données Image/Lidar
 2015-2019, ANR Platinum :
 Responsable lot de travaux
 Thèse sémantisation de maillages texturés
74 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : publications
 2 chapitres de livres
 12 articles de revues avec comité de lecture
 25 articles de conférence/workshop avec comité de lecture
 2 articles de conférence sans comité de lecture
75 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : enseignement
 2009-, Master PPMD, ENSG: Traitement d'images, reconstruction
 2010-, Master STEP IPGP/ParisVII/ENS : Introduction au traitement d'images
 2015-, Master BIM (ENPC) : modélisation urbaine 3D
 2014-, Ingénieur 2ème année, ENSG: Traitement d'images
 2009-, Formation continue IGN, ENSG (dont EVAFI) : C++, CUDA
76 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
CV : perspectives
 2 thèses et un post doc supplémentaires en projet en 2017
 Participation au montage de
 deux projets ANR dont un en temps que porteur
 Un projet A*Midex (Université Aix Marseille)
 Collaborations avec le privé :
 Coencadrement de deux stages en 2017 avec possibilité de prolonger par
une thèse CIFRE
 Plus de :
 Benchmarks : participation et organisation (Vallet et. al. 2015b)
 Open Data / Open Source
 Applications
 Vulgarisation
 Transfert ?
77 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Merci pour votre attention
Contact : [email protected]
78 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Références
 (Aijazi et. al. 2013) Aijazi, A. K., Checchin, P., & Trassoudaine, L. (2013). Segmentation based classification of 3D
urban point clouds: A super-voxel based approach with evaluation. Remote Sensing, 5(4), 1624-1650.
 (Burochin et. al. 2010) J.-P. Burochin, B. Vallet, O. Tournaire, N. Paparoditis. A Formulation For Unsupervised
Hierarchical Segmentation Of Façade ImagesWith Periodic Models . International Archives of Photogrammetry,
Remote Sensing and Spatial Information Sciences (IAPRS), vol. 38, part 3A, pp. 227-232, Saint-Mandé, France, 1-3
September 2010.
 (Burochin et. al. 2014) J.-P. Burochin, B. Vallet, M. Brédif, C. Mallet, T. Brosset, N. Paparoditis. Detecting blind building
façades from highly overlapping wide angle aerial imagery. ISPRS Journal of Photogrammetry and Remote Sensing,
Volume 96, pp.193–209, October 2014.
 (Brédif et. al. 2013) M. Brédif, O. Tournaire, B. Vallet, N. Champion. Extracting polygonal building footprints from
digital surface models: A fully-automatic global optimization framework. ISPRS Journal of Photogrammetry and
Remote Sensing, vol 77, pp. 57-65, 2013.
 (Demantké et. al. 2011) J. Demantké, C. Mallet, N. David, B. Vallet. Dimensionality based scale selection in 3D lidar
point cloud. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences (IAPRS),
Laserscanning 2011, Calgary, Canada, August 2011.
 (Demantké et. al. 2012) J. Demantke, B. Vallet, N. Paparoditis. Streamed Vertical Rectangle Detection in Terrestrial
Laser Scans for Facade Database Production. XXII Congress of the International Society of Photogrammetry and
Remote Sensing, Melbourne, Australia, August 2012.
 (Demantké et. al. 2013) J. Demantké, B. Vallet, N. Paparoditis. Facade Reconstruction with Generalized 2.5D Grids.
International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Laser Scanning, 2013.
79 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Références
 (Gidel et. al. 2010) Gidel, S., Checchin, P., Blanc, C., Chateau, T., & Trassoudaine, L. (2010). Pedestrian detection and
tracking in an urban environment using a multilayer laser scanner. IEEE Transactions on Intelligent Transportation
Systems, 11(3), 579-588.
 (Gressin et. al.) Gressin, A., Cannelle, B., Mallet, C., & Papelard, J. P. (2012). Trajectory-based registration of 3d lidar
point clouds acquired with a mobile mapping system. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial
Information Sciences, 1, 117-122.
 (Hiep et. al. Hiep) Hiep, V. H., Keriven, R., Labatut, P., & Pons, J. P. (2009, June). Towards high-resolution large-scale
multi-view stereo. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on (pp. 14301437). IEEE.
 (Labatut et. al. 2007) Labatut, P., Pons, J. P., & Keriven, R. (2007, October). Efficient multi-view reconstruction of largescale scenes using interest points, delaunay triangulation and graph cuts. In 2007 IEEE 11th international conference
on computer vision (pp. 1-8). IEEE.
 (Mezian et. al. 2016) M. Mezian, B. Vallet, B. Soheilian, N. Paparoditis. Uncertainty propagation for terrestrial mobile
laser scanner. ISPRS XXIII Congress, Prague, July 2016.
 (Miled et. al. 2016) M. Miled, B. Soheilian, E. Habets, B. Vallet. Hybrid online mobile laser scanner calibration through
image alignment by mutual information. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial
Information Sciences, XXIII ISPRS Congress, Prague, Czech Republic, 12-19 July 2016
 (Monnier et. al. 2012) F. Monnier, B. Vallet, B. Soheilian. Trees Detection from LASER Point Clouds Acquired in Dense
Urban Areas by a Mobile Mapping System. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial
Information Sciences, Volume I-3, pp. 245-250, 2012, XXII ISPRS Congress , Melbourne, Australia, 25 August – 01
September 2012.
80 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Références
 (Monnier et. al. 2013) F. Monnier, B. Vallet, N. Paparoditis, J.-P. Papelard, N. David. Registration of Terrestrial Mobile
Laser Data on 2D and 3D Geographic Database by Use of a Non-Rigide ICP Approach. International Archives of
Photogrammetry, Remote Sensing and Spatial Information Sciences, Laser Scanning, 2013.
 (Moulon et. al. 2013) Moulon, Pierre, Bruno Duisit, and Pascal Monasse. "Global Multiple-View Color Consistency."
CVMP. 2013.
 (Paparoditis et. al. 2012) Paparoditis, Nicolas, et al. "Stereopolis II: A multi-purpose and multi-sensor 3D mobile
mapping system for street visualisation and 3D metrology." Revue française de photogrammétrie et de télédétection
200.1 (2012): 69-79.
 (Rottensteiner et. al. 2005) Rottensteiner, F., Trinder, J., Clode, S., Kubik, K. "Using the Dempster–Shafer method for
the fusion of LIDAR data and multi-spectral images for building detection." Information fusion 6.4 (2005): 283-300.
 (Soheilian et. al. 2013a) B. Soheilian, O Tournaire, N. Paparoditis, B. Vallet, J.-P. Papelard. Generation of an integrated
3D city model with visual landmarks for autonomous navigation in dense urban areas. IEEE Intelligent Vehicles
Symposium, Gold Coast, Australia, 23-26 June 2013.
 (Soheilian et. al. 2013b) B. Soheilian, N. Paparoditis, B. Vallet. Detection and 3D reconstruction of traffic signs from
multiple view color images. ISPRS Journal of Photogrammetry and Remote Sensing 77 (2013) 1–20.
 (Vallet et. al. 2009) B. Vallet, P. Pierrot-Deseilligny, D. Boldo. Building Footprint Database Improvement for 3D
reconstruction: a Direction Aware Split and Merge Approach. International Archives of Photogrammetry, Remote
Sensing and Spatial Information Sciences. Vol. 38 (Part 3/W4), pp.139-144, Paris, France, September 2009.
 (Vallet and Houzay 2011) B. Vallet, E. Houzay. Fast and accurate visibility computation in urban scenes. PIA11,
International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences (IAPRS), vol. 38
(3/W22), pp. 77-82, Münich, Germany, 5-7 October 2011.
81 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Références
 (Vallet and Lelégard 2013) B. Vallet, L. Lelégard. Partial iterates for symmetrizing non-parametric color correction.
ISPRS Journal of Photogrammetry and Remote Sensing, Volume 82, pp.93–101, August 2013.
 (Vallet et. al. 2013) B. Vallet. Homological persistence for shape based change detection between Digital Elevation
Models. ISPRS Annals – Volume II-3/W2, WGIII/3 ISA13 – The ISPRS Workshop on Image Sequence Analysis, pp.4954, Antalya, Turkey, 11 November 2013.
 (Vallet et. al. 2014) B. Vallet, B. Soheilian, M. Brédif. Combinatorial clustering and its application to 3D polygonal
traffic sign reconstruction from multiple images. Photogrammetric Computer Vision - PCV 2014, Zurich, Switzerland,
5th - 7th September 2014.
 (Vallet et. al. 2015a) B. Vallet, W. Xiao, M. Brédif. Extracting mobile objects in images using a Velodyne Lidar point
cloud. Photogrammetric Image Analysis, Munich, Germany, March 2015.
 (Vallet et. al. 2015b) B. Vallet, M. Brédif, A. Serna, B. Marcotegui, N. Paparoditis. TerraMobilita/iQmulus Urban Point
Cloud Analysis Benchmark. Computers \& Graphics 49, pp.126-133, February 27, 2015.
 (Vallet and Papelard 2015) B. Vallet, J.-P. Papelard. Road Orthophoto/DTM ge\-ne\-ration from mobile laser scanning.
CMRT15, La Grande Motte, France, October 2015.
 (Vallet and Mallet, 2016) B. Vallet, C. Mallet. Analyse de scènes avec un véhicule de cartographie mobile (Chapitre 2).
In : Télédétection pour l'Observation des Surfaces Continentales en zones urbaines et côtières, Baghdadi N., Zribi M.
(Eds), ISTE, Elsevier, 2016.
 (Velizhev et. al. 2012) Velizhev, A., Shapovalov, R., & Schindler, K. (2012, July). Implicit shape models for object
detection in 3D point clouds. In International Society of Photogrammetry and Remote Sensing Congress (Vol. 2).
82 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines
Références
 (Waechter et. al. 2014) Waechter, M., Moehrle, N., & Goesele, M. (2014, September). Let there be color! Large-scale
texturing of 3D reconstructions. In European Conference on Computer Vision (pp. 836-850). Springer International
Publishing.
 (Weinmann et. al. 2014) Weinmann, M., Jutzi, B., & Mallet, C. (2014). Semantic 3D scene interpretation: a framework
combining optimal neighborhood size selection with relevant features. ISPRS Annals of the Photogrammetry, Remote
Sensing and Spatial Information Sciences, 2(3), 181.
 (Xiao et. al. 2013) W. Xiao, B. Vallet, N. Paparoditis. Change Detection in 3D Point Clouds Acquired by a Mobile
Mapping System. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II5/W2, pp.331-336, Antalya, Turkey, November 2013.
 (Xiao et. al. 2015) W. Xiao, B. Vallet, M. Brédif, N. Paparoditis. Street environment change detection from mobile laser
scanning point clouds. ISPRS Journal of Photogrammetry and Remote Sensing, vol. 38, pp. 38-49, 2015.
 (Xiao et. al. 2016) W. Xiao, B. Vallet, K. Schindler, N. Paparoditis. Street-side vehicle detection, classification and
change detection using mobile laser scanning data. ISPRS Journal of Photogrammetry and Remote Sensing, vol. 114,
pp. 166-178, 2016.
83 / 83
Bruno Vallet
HDR : Analyse et reconstruction de scènes urbaines