Fondements de la Réalité Virtuelle et Augmentée Fondements

Fondements de
de la
la Réalité
Réalité Virtuelle
Virtuelle et
et Augmentée
Augmentée
Fondements
Master Recherche
Recherche -- Département
Département d’Informatique
d’Informatique
Master
[email protected]
Université Paris-Sud
Paris-Sud XI
XI –– Orsay
Orsay -- Contact
Contact :: [email protected]
Université
La Réalité Virtuelle et Augmentée vise à mettre à la disposition d'opérateurs humains un ensemble
d’outils matériels et logiciels (ou Environnement Virtuel) qui permet de gérer de façon immersive et
réaliste des interactions sensorimotrices, sur des objets réels via un monde virtuel,
ou sur des entités virtuelles plus ou moins contraintes par l'univers réel.
Objets
Réels
Opérateurs
Humains
Univers Réel
Reconstruction
Captures
Retours perceptifs
Avatars
Humains
Actionneur robotique
Avatars
d’Objets
Monde Virtuel
Humanoïdes
Objets
Virtuels
P. Bourdot, M. Ammi, B. Katz, J.-M. Vézien (LIMSI/CNRS), S. Boivin (INRIA)
Septembre 2009.
Fondements de
de la
la Réalité
Réalité Virtuelle
Virtuelle et
et Augmentée
Augmentée
Fondements
Master Recherche
Recherche -- Département
Département d’Informatique
d’Informatique
Master
Université Paris-Sud
Paris-Sud XI
XI –– Orsay
Orsay -- Contact
Contact :: [email protected]
[email protected]
Université
Introduction à la RV&A
•
•
Concepts fondamentaux : Interaction 3d, Immersion, Présence, Réalisme…
Aperçu technologique :
–
–
–
•
Paradigmes et Métaphores interactives :
–
–
–
•
Captueurs de mouvements,
Géométrie projective, stéréoscopique, immersion visuelle
Périphériques gestuels et haptiques, technologies audio 3d...
Contrôle des navigations, interacteurs, avatars, widgets 3d…
Multimodalité en RV&A (vocale et gestuelle, multi-sensorimotrice)
Immersion collaborative (distantes ou co-localisées)
Représentations des Mondes Virtuels :
–
–
Modélisations géométriques utiles aux applications de RV&A
Modélisation de comportements physiques
Rendus sensorimoteurs « réalistes »
Réalité Mixte : Réalité et Virtualité Augmentée
Problématiques de mise en œuvre des applications
Perspectives de recherche
P. Bourdot, M. Ammi, B. Katz, J.-M. Vézien (LIMSI/CNRS), S. Boivin (INRIA)
Septembre 2009.
Fondements de
de la
la Réalité
Réalité Virtuelle
Virtuelle et
et Augmentée
Augmentée
Fondements
Master Recherche
Recherche -- Département
Département d’Informatique
d’Informatique
Master
Université Paris-Sud
Paris-Sud XI
XI –– Orsay
Orsay -- Contact
Contact :: [email protected]
[email protected]
Université
Introduction à la RV&A
Rendus sensorimoteurs « réalistes » :
• Rendu photo-réaliste temps réel :
– Lancer de Rayons, Radiosité, Photon Mapping,
– Méthodes temps-réel, Phénomènes physiques,
– Effets Spéciaux (FX), Jeux Vidéo.
• Interaction haptique :
– Physiologie et mécanismes de la perception haptique
– Dimension matérielle et logicielle de l’interfaçage haptique
– Algorithmie : collision, rendus, capteurs d’efforts,
stabilité haptique, couplage bilatéral maître-esclave (téléopération)…
• Rendu Audio 3d :
–
–
–
Technologies, Signal audio,
Spatialisation du son et de la parole
Sonification de données
Réalité Mixte : Réalité et Virtualité Augmentée
Problématiques de mise en œuvre des applications
Perspectives de recherche
P. Bourdot, M. Ammi, B. Katz, J.-M. Vézien (LIMSI/CNRS), S. Boivin (INRIA)
Septembre 2009.
Fondements de
de la
la Réalité
Réalité Virtuelle
Virtuelle et
et Augmentée
Augmentée
Fondements
Master Recherche
Recherche -- Département
Département d’Informatique
d’Informatique
Master
Université Paris-Sud
Paris-Sud XI
XI –– Orsay
Orsay -- Contact
Contact :: [email protected]
[email protected]
Université
Introduction à la RV&A
Rendus sensorimoteurs « réalistes »
Réalité Mixte : Réalité et Virtualité Augmentée
• Bases théoriques :
–
–
–
–
Continuum de Milgram
Couplage Réel-Virtuel
Boucle Analyse-Synthèse
Perception et Latence (contrôle de l'immersion)
• Technologie :
– Techniques de rendu en Réalité Mixte,
– Capture et rendu du réel.
• Algorithmie :
–
–
–
Recalage et calibration,
Capture du mouvement (analyse du flux vidéo),
Mixages réalistes (photométriques et audio 3d)
Problématiques de mise en œuvre des applications
Perspectives de recherche
P. Bourdot, M. Ammi, B. Katz, J.-M. Vézien (LIMSI/CNRS), S. Boivin (INRIA)
Septembre 2009.
Fondements de
de la
la Réalité
Réalité Virtuelle
Virtuelle et
et Augmentée
Augmentée
Fondements
Master Recherche
Recherche -- Département
Département d’Informatique
d’Informatique
Master
Université Paris-Sud
Paris-Sud XI
XI –– Orsay
Orsay -- Contact
Contact :: [email protected]
[email protected]
Université
Introduction à la RV&A
Rendus sensorimoteurs « réalistes »
Réalité Mixte : Réalité et Virtualité Augmentée
Problématiques de mise en œuvre des applications :
• Architectures matérielles et logicielles :
–
–
–
–
Répartition des ressources de calcul et approches clusters
Hétérogénéité des périphériques et des plateformes logicielles
Synchronisation des interactions et des rendus, gestion des latences
Distribution (locale ou distante) des données vs. interactions
• Méthodologies de conception des applications
– Analyse des tâches, Scénarios d’usage
– Etudes psychophysiques, Evaluations ergonomiques
Perspectives de recherche (stage, thèse)
•
•
•
•
Interaction multimodale pour des tâches collaboratives immersives
Approches statistiques pour la conception d’objets 3d en Réalité Virtuelle
Recalage 3d Réel-Virtuel pour une télé-conduite en Virtualité Augmentée
Haptisation et sonification de données massives et dynamiques…
P. Bourdot, M. Ammi, B. Katz, J.-M. Vézien (LIMSI/CNRS), S. Boivin (INRIA)
Septembre 2009.