Mesure de la Qualité d`Expérience du son spatialisé

Mesure de la Qualité
d’Expérience du son spatialisé :
exemple du son binaural avec
le projet FUI « BiLi »
Orange Labs
Rozenn Nicol, Laetitia Gros, Cathy Colomes, Pierre-Yohan Michaud
Recherche & Développement
28/05/2015, JISFA
diffusion libre
Contexte: le Projet « BiLi »
§ 
Principaux objectifs
ü  développer des outils de binauralisation personnalisée de
contenus audio multicanaux
–  "binauralisation" = créer des haut-parleurs virtuels pour une
écoute sur casque
§  permet d'adapter un contenu 5.1 (ou 7.1/ 10.2/ 22.2/ HOA)
à une écoute sur casque
§  pour faciliter la démocratisation de l'audio multicanal
§  car ne nécessite pas d'équipement supplémentaire
–  "personnalisée" = utiliser les HRTF individuelles de l'auditeur
§  pour une immersion optimale
ü  proposer un standard de format d'échange des données HRTF
–  pour faciliter la percée industrielle/ professionnelle du binaural
2
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Contexte: le Projet « BiLi »
§ 
Partenaires du projet
ü  France TV (lead)
ü  RF
ü  IRCAM
ü  CNSMDP
ü  LIMSI
ü  A-Volute
ü  Arkamys
ü  Trinnov
3
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Contexte: le Projet « BiLi »
§ 
6 Sous-Projets
–  SP1: Méthodologie & évaluation de la qualité
d’expérience binaurale
–  SP2: Production de contenus de référence
–  SP3: Standardisation des fichiers de caractérisation
des HRTF
–  SP4: Acquisition/Génération des HRTF individualisées
–  SP5: Démonstrateurs de restitution binaurale
personnalisable
–  SP6: Valorisation et dissémination
4
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé
5
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Qualité d’Expérience (QoE) du son spatialisé?
§ 
évaluer la perception par un auditeur de la reproduction
audio 3D d’une scène
§ 
2 questions à résoudre
1) identifier les dimensions perceptives représentatives de la
perception
–  par ex, 2 dimensions sont bien connues:
–  la restitution du timbre
–  le rendu de la position des sources
–  mais, potentiellement, il en existe d’autres:
–  immersion, naturel, émotion …
2) se doter de méthodes pour « mesurer » la perception selon
ces différentes dimensions
6
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé: quelles dimensions
perceptives?
§ 
outils pour identifier les dimensions perceptives
–  MDS (Multi Dimensional Scaling)
–  mesure de dissimilarité entre stimuli
–  exploration verbale pour décrire la perception
–  par ex: Descriptive Analysis (DA), Repertory Grid Technique (RGT),
Free-Choice Profiling (FCP)
§ 
de nombreux attributs perceptifs déjà répertoriés
–  liés à la physique, par ex:
–  timbre
–  position de la source
–  coordonnées sphériques, facilité à localiser, externalisation
–  étendue spatiale de la source
–  effet de salle
–  mais aussi liés aux processus cognitifs et affectifs, par ex:
–  naturel, lisibilité, émotion
7
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé: quelles dimensions
perceptives?
§ 
un exemple: SAQI (Spatial Audio Quality Inventory, Projet
SEACEN)
–  « a consensus vocabulary for the perceptual assessment of virtual
acoustic environments (VAEs), or of Spatial Audio technology in
general »
–  « to allow qualitatively differentiated assessments of unimodal or
supramodal auditory differences between technically generated
acoustic environments (VAES) as well as with respect to a
presented or imagined acoustic reality »
–  liste de 48 descripteurs verbaux d’attributs perceptifs
–  8 catégories: timbre, tonalness, geometry, room, time
behavior, dynamics, artifacts, general impressions
–  initié en allemand
–  traduit en anglais
Lindau et al., 2014
–  traduction en français en cours
8
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé: quelles méthodes de
mesure?
§ 
mesure directe d’un attribut perceptif sans référence
–  choix de l’échelle d’évaluation et de sa graduation
–  exemples
–  caractérisation de la qualité acoustique d’une salle (par
ex: presence, room effect, reverberance, …)
–  test de localisation absolue
§ 
mesure directe d’un attribut perceptif avec référence
–  comparaison du stimulus à évaluer avec une référence
–  possibilité de compléter avec des ancres
–  exemples
–  test AB, ABX, MUSHRA
–  test de localisation relative (pointeur acoustique)
9
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé: quelles méthodes de
mesure?
§ 
mesure indirecte
–  mesure à travers la réalisation d’une tâche
–  le succès de la tâche renseigne sur la perception
–  mesures physiologiques
–  déduire l’état psychologique (cognition, comportement,
émotion, …) des réponses physiologiques du sujet
–  par ex: activité électrodermale, pulsation cardiaque,
température de la peau, activité des yeux
–  observation de l’activité cérébrale
–  IRM, électroencéphalogramme, magnéto
encéphalogramme, …
–  problème: équipements peu compatibles avec la
reproduction/ écoute de sons
10
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé
dans BiLi
11
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé dans BiLi
§ 
approches « conventionnelles »
–  validation des bases de données de HRTF individuelles
mesurées
–  test de localisation absolue
–  choix de la méthode de report du jugement de
localisation (H. Bahu & O. Warusfel, IRCAM)
–  évaluation des HRTF modélisées par les différentes solutions
de personnalisation
–  test de localisation relative
12
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé dans BiLi
§ 
approches plus « originales »
–  évaluation de la qualité de trajectoires spatiales (A. Andreopoulou& B.
Katz, LIMSI)
–  comparer des jeux de HRTF individuelles et non individuelles
–  évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les
HRTF
–  application de casques cérébraux grand public à la mesure de QoE du
son binaural (A. Boisadan, L. Gros & R. Nicol, 2014)
–  identification des attributs perceptifs relatifs à des HRTF non
individuelles
–  comparaison de sons « binauralisés » par différents jeux de HRTF non
individuelles
–  2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.
Michaud & R. Nicol, Orange)
–  comparaison de systèmes de prise de son en vue d’une binauralisation
(CNSMDP, RF, Orange)
–  2 tests combinant différents protocoles (report graphique de trajectoires,
jugement de préférence, évaluation multi critères)
13
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
QoE du son spatialisé dans BiLi
§ 
approches plus « originales »
–  évaluation de la qualité de trajectoires spatiales (A. Morjopoulos & B.
Katz, LIMSI)
–  comparer des jeux de HRTF individuelles et non individuelles
–  évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les
HRTF
–  application de casques cérébraux grand public à la mesure de QoE du
son binaural (A. Boisadan, L. Gros & R. Nicol, 2014)
–  identification des attributs perceptifs relatifs à des HRTF non
individuelles
–  comparaison de sons « binauralisés » par différents jeux de HRTF non
individuelles
–  2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY.
Michaud & R. Nicol, Orange)
–  comparaison de systèmes de prise de son en vue d’une binauralisation
(CNSMDP, RF, Orange)
–  2 tests combinant différents protocoles (report graphique de trajectoires,
jugement de préférence, évaluation multi critères)
14
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Application de casques cérébraux
grand public à la mesure de QoE
du son binaural
15
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Application de casques cérébraux grand public à la
mesure de QoE du son binaural
A. Boisadan, L. Gros & R. Nicol, 2014
§ 
casque Mindwave de Neurosky
§ 
comparaison de sons monauraux et binauraux
(prise de son KU100 Neumann©)
–  4 extraits: sèche cheveux, orage, route, pièce dramatique
§ 
15 participants
§ 
enregistrement du signal capté par l’électrode
–  estimation de 2 indicateurs: « Attention » et
« Méditation »
–  questionnaire en complément
§ 
résultats
–  pas d’effet significatif de la version (monaurale/
binaurale)
–  effet significatif de l’extrait sur l’indicateur
« Méditation »
16
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
prochaine étape:
capteurs EEG à haute
résolution (collaboration
avec Univ. Rennes 1)
diffusion libre
Identification des dimensions de
l’espace perceptif associé aux
HRTF non individuelles
17
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
PY. Michaud & R. Nicol, 2014
Objectif:
–  comparer la perception entre HRTF pour une large palette de HRTF
non individuelles (46 jeux de HRTF – BDD « Listen » / IRCAM)
–  recueillir des jugements de dissimilarité entre ces 46 jeux
–  construire l’espace perceptif associé par une analyse MDS (Multi
Dimensional Scaling)
–  identifier le nombre de dimensions
–  identifier l’(es) attribut(s) perceptif(s) associé à chaque dimension
Matrice de
dissimilarité
A
B
C
D
18
Espace
multidimensionnel
A B C D
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
A
MDS
C
D
B
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
stimuli sonores
–  extrait d’une émission radio (« Interception »)
–  format 5.1
–  converti au format binaural en synthétisant des hautparleurs virtuels par synthèse binaurale
–  46 versions de l’extrait
–  pré-traitements
–  pour chaque jeu d’HRTF, l’ITD est remplacée par une ITD
moyenne
–  égalisation en sonie (indicateur « N10 ») des stimuli
§ 
10 participants
–  de type experts: ingénieurs du son (RF, FTV, CNMSDP),
chercheurs en audio 3D (Orange, LIMSI)
19
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
protocole expérimental
–  méthode SPPR
–  Similarity Picking with Permutation of References
–  au lieu de présenter des paires de stimuli à comparer
–  pour M = 46 versions: M(M-1)/2 = 1035 paires!
–  on présente au sujet un ensemble de 4 stimuli (« tétrade »)
–  1 stimulus de référence
PY. Michaud, 2013
–  3 stimuli à comparer
–  seulement 3 en raison des limites de la mémoire auditive
–  le sujet doit choisir parmi les P=3 stimuli, celui qu’il perçoit
comme le plus similaire à la référence
–  nombre de tétrades à évaluer : M(M-1)/3 = 690
–  en moyenne 6-7 heures de test pour un sujet
–  avantage: chaque stimulus sert de référence à tour de rôle
20
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
21
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
analyse MDS de la matrice moyenne de dissimilarité
4 dimensions identifiées
• 
dim. 1: modification
spectrale (quantité d’aigus)
• 
dim. 2: notion d’espace/
volume/ largeur de scène
• 
dim. 3: barycentre spatial
• 
dim. 4: profondeur/ distance
des objets
22
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
analyse MDS de la matrice moyenne de dissimilarité
4 dimensions identifiées
lien avec l’étude par exploration verbale
(L. Simon & B. Katz, LIMSI), limitée à 7 HRTF
• 
dim. 1: modification
spectrale (quantité d’aigus)
• 
dim. 2: notion d’espace/
volume/ largeur de scène
• 
dim. 3: barycentre spatial
• 
dim. 4: profondeur/ distance
des objets
23
•  12 attributs
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
Externalisation
Immersion
Modification spectrale (grave/ aigu)
Réalisme
Profondeur du champ sonore
Précision de la localisation
Position latérale
Elévation
Position avant/ arrière
Réverbération
Niveau sonore
Profondeur
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
§ 
2nde expérience
–  réduction par similarité des 46 jeux
de HRTF à 19
–  durée du test: 1-1h30
–  2 extraits
–  émission radio (« Interception »)
–  prise de son 5.1
–  création TV (ambiance nature: orage, chien, oiseaux)
–  mixage binaural de sons monos
–  auditeurs de type naïf
–  extrait 1: 12 participants/ extrait 2: 11 participants
–  résultats: 3 dimensions identifiées
24
extrait 1
extrait 2
•  Balance spectrale
•  Balance spectrale (quantité
(quantité d’aigus)
d’aigus)
•  Notion d’espace/ Largeur
•  Notion d’espace/ Largeur de
de scène (frontale)
scène (espace supérieur)
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
•  Barycentre spatial
•  Sensation de réverbération /Echo
Comparaison de systèmes de
prise de son
25
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Comparaison de systèmes de prise de son
§ 
enregistrement d’une séquence d’une pièce de R. de Obaldia
(« Deux femmes pour un fantôme ») au CNSMDP
–  14 systèmes de prise de son (enregistrements séquenciels)
– 
– 
– 
– 
– 
– 
– 
– 
26
Tête Neumann KU 100, 2 têtes « fait maison »
Eigenmike, Soundfield®
stéréo: XY, AB
Arbre 5 DP4 4041 (Decca Tree + MMAD)
DPA 5100
Arbre 8 MK21 / Arbre 8 MK5
MMAD MK21 / MMAD MK5
croix IRT
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Comparaison de systèmes de prise de son
§ 
Objectif
–  comparer la robustesse des prises de son après binauralisation
–  les enregistrements Ambisonics / stéréo / multicanaux sont mixés
avec la consigne d’obtenir le meilleur rendu
§ 
2 tests
–  écoute d’une séquence longue (1min40sec)
–  report graphique des positions et trajectoires des sources
sonores
–  questionnaire court (réalisme, sensation d’espace, distance)
–  comparaison par paire d’extraits courts (20sec)
–  choix d’une référence: KU100
–  jugement de préférence (échelle à 7 degrés, de -3 à +3)
–  questionnaire étendu à la fin du test
–  liste de 10 attributs + informations générales
§ 
tests en cours
–  résultats à venir…
27
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Conclusion
28
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Conclusion
§ 
la perception du son binaural, en général et en particulier dans
le cadre du Projet BiLi, appelle de nombreuses questions:
–  comment évaluer les « performances » de HRTF personnalisées?
–  est-il possible de trouver dans une base de données de HRTF, si elle est
suffisamment étendue, un jeu de HRTF non individuelles qui me
conviennent aussi bien que mes HRTF individuelles?
–  peut-on ajuster le niveau de personnalisation en fonction de l’application?
–  par ex. jeu vidéo vs VOD
–  quel est l’apport de la personnalisation relativement au head-tracking?
–  comment en synthèse binaurale peut-on se rapprocher de la qualité
d’immersion d’un enregistrement par une tête artificielle?
–  comment améliorer l’externalisation?
–  quelle est l’influence de la chaîne technique de reproduction sur la
perception?
–  comment obtenir des mesures objectives corrélées aux attributs perceptifs?
29
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Conclusion
§ 
quelques premiers éléments de réponse…
–  fourniture au consortium d’une « trousse à outils »
–  pour que chaque partenaire puisse mener ses évaluations
avec des méthodes communes
–  nombre de dimensions de l’espace perceptif
–  de l’ordre de 4 dimensions
–  reste à identifier les critères objectifs associés
–  quelle est la position des HRTF individuelles dans cet
espace?
–  plusieurs propositions de liste d’attributs perceptifs
–  à homogénéiser
30
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
merci
diffusion libre
Annexes
32
Orange Labs - Recherche & Développement - titre de la présentation – date
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
33
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
34
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
35
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
36
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre
Identification des dimensions de l’espace perceptif
associé aux HRTF non individuelles
37
Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015
diffusion libre