Segmentation morphologique d`images multivariées: de la couleur

Transcription

Segmentation morphologique d'images multivariées: de la couleur aux images hyperspectrales
Segmentation morphologique d'images multivariées:
de la couleur aux images hyperspectrales
Jesús Angulo
; http://cmm.ensmp.fr/∼angulo
[email protected]
CMM-Centre de Morphologie Mathématique - Mathématiques et Systèmes
MINES Paristech
35, rue Saint-Honoré, 77305 Fontainebleau cedex - France
Ecole d'Hiver de l'Image Numérique Couleur (EHINC'09)
Toulon, 13-16 Janvier 2009
1 / 101
Plan
1
Introduction
2
Notions de base
3
Segmentation morphologique couleur
4
Segmentation morphologique multi/hyper-spectrale
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
2 / 101
Introduction
1
Introduction
2
Notions de base
3
4
5
6
3 / 101
Introduction
Morphologie mathématique et images couleur
Motivation
morphologie mathématique dispose d'un grand nombre d'opérateurs
et d'algorithmes pour le ltrage et la segmentation des images
numériques (i.e., à niveaux de gris)
extension de ces opérateurs aux images couleur n'est ni directe (dans
le sens d'unique) ni triviale
Objectif
aperçu précis et relativement exhaustif sur l'extension de la
segmentation morphologie aux images multivariées, et en
particulière, aux images couleur
opérateurs couleur améliorent la qualité des traitements multivariés
par rapport aux équivalents à niveaux de gris
4 / 101
Introduction
Organisation du cours en trois parties
Notions de base espaces de représentation des images couleur, treillis des
images couleur, distances couleur.
Segmentation morphologique couleur opérateurs marginaux et
combinaison en LSH, segmentation marginale en LSH et
combinaison contrôlée par la saturation, segmentation par
LPE avec des gradients couleur, des éléments additionnels
pour améliorer les segmentations.
Segmentation morphologique multi/hyper-spectrale segmentation
spatiale et spectrale non supervisée par LPE, segmentation
par connexions spectrales.
5 / 101
Notions de base
1
Introduction
2
Notions de base
3
4
5
6
6 / 101
Notions de base
Espaces de représentation des images couleur : RGB
Rouge, Vert, Bleu (RGB), f = (f , f , f ) :
Représentation informatique des images couleur.
Quelques inconvénients : composantes fortement corrélées, non
uniformité, diculté d'interprétation humaine, etc.
R
f
fR
G
B
fG
fB
7 / 101
Notions de base
Espaces de représentation des images couleur : LSH
Luminance, Saturation et Teinte (LSH), f = (f , f , f ) :
Représentation géométrique en coordonnées polaires dérivée de RGB.
Séparation de l'information chromatique/achromatique et
interprétation humaine facile.
Très intéressante pour les traitements morphologiques si la
formulation est correcte.
Le système HLS est le triplet lum/sat/hue le plus utilisé en
traitement d'image. Mais malgré sa popularité, la représentation
HLS donne souvent des résultats insusants, pour le traitement
quantitatif au moins : ses expressions de luminance et de saturation
ne sont pas des normes ; ainsi pour les valeurs moyennes ou pour le
calcul de distances, les résultats sont faux ; par ailleurs ces deux
composantes ne sont pas indépendantes.
L
S
H
8 / 101
Notions de base
Les inconvénients du système de HLS peuvent être surmontés par
diverses représentations alternatives, selon diérentes normes
employées pour dénir la luminance et la saturation.
LSH en norme L1
= 31(max + med + min)
3 (max − l )
si l ≥ med
2
s =
3 (l − min)
si l ≤ med 

2 1

λ max +min−2med
−
(−
1
)
h = k λ +
2
2s




l
où max , med et min sont le maximum, le médian et le minimum du point
couleur (r , g , b) ∈ [0, 1] × [0, 1] × [0, 1], k est l'unité de l'angle (π/3 pour
radians et 42 pour 256 niveaux de gris) et λ = 0, si r > g ≥ b ;
1, si g ≥ r > b ; 2, si g > b ≥ r ; 3, si b ≥ g > r ; 4, si b > r ≥ g ;
5, si r ≥ b > g permet de changer vers le secteur couleur correspondant.
9 / 101
Notions de base
Pour chaque pixel :
la luminance représente la quantité totale d'intensité de lumière,
la saturation représente une mesure de pureté de la couleur,
la teinte un index représentant la longueur d'onde dominante
(couleur perçue) de la lumière.
f
fL
fS
fH
10 / 101
Notions de base
Espaces de représentation des images couleur : L*a*b*
L*a*b*, f = (f ∗ , f ∗ , f ∗ ) :
Une des représentations standard en colorimétrie.
Le principal avantage de l'espace L*a*b* est qu'il est
perceptuellement uniforme : des diérences de couleur reconnues
comme égales pour l'oeil correspondent à des distances Euclidiennes
égales.
Cependant, la transformation de l'espace RGB vers l'espace L*a*b*
est faite en passant d'abord par l'espace XYZ, et ensuite vers
L*a*b*. Et pour pouvoir spécier complètement la transformation
RGB → XYZ , il faut connaître les coordonnées des stimili primaires
et le blanc de référence de l'illuminant.
Dans la plupart des situations, il faut faire des hypothèses puisque
ces informations ne sont pas accessibles.
L
a
b
11 / 101
Notions de base
Pour rappel, les équations de changement d'espace de XYZ vers
L*a*b* sont :
XYZ vers L*a*b*

















1/ 3
− 16 si
116 n
∗
L =
 903.3
si
i
h n
∗
−f
a = 500 f
h n
n i
∗
b = 200 f
−
f
n
n
Y
Y
Y
Y
X
X
Y
Y
Y
Y
Z
Z
1/3
Y
Yn
Y
Yn
> 0.008856
≤ 0.008856
16
où f ααn = ααn
si ααn > 0.008856 et f ααn = 7.787 ααn + 116
si ααn ≤ 0.008856. Le symbole α représente X , Y ou Z , celles-ci étant les
valeurs tri-stimuli de l'échantillon et X , Y et Z celles d'un blanc de
référence spécique qui peuvent être obtenues en mettant le point
(r , g , b ) = (1, 1, 1).
n
n
n
12 / 101
Notions de base
L'espace L*a*b* est basé sur le modèle des couleurs opposées.
La variable L* mesure la luminance (l'opposition noir-blanc) par une
valeur entre 0 (noir) et 100 (blanc).
La variable a* mesure l'opposition rouge-vert par une valeur entre
-100 et +100, a* est donc positive si la couleur contient du rouge,
négative si la couleur contient du vert et nulle si elle ne contient
aucun des deux.
La variable b* mesure l'opposition jaune-bleu par une valeur entre
-100 et +100, b* est positive si la couleur contient du jaune,
négative si la couleur contient du bleu et nulle si elle ne contient
aucun des deux.
f
fL∗
fa∗
fb∗
13 / 101
Notions de base
Treillis des images couleur
Image a niveaux de gris : f (x ) : E → T , E ⊂ Z2 est le support de
l'image (x ∈ E ), T = {t , t + 1, · · · , t } (en général T ⊂ Z
ou R) est un ensemble ordonné de niveaux de gris, i.e. treillis
complet totalement ordonné. f ∈ F(E , T ).
Image couleur en LSH : f (x ) = (f (x ), f (x ), f (x )) : E → T ,
f ∈ F(E , [T ⊗ T ⊗ T ]) ou F(E , T ). De manière similaire pour
les représentations RGB, F(E , T ), ou L*a*b, F(E , T ∗ ∗ ∗ ).
Pixel couleur : c ∈ T ⇔ c = {(l , s , h ) ;
l ∈ T , s ∈ T , h ∈ T }).
Les ensembles T , T , T sont des treillis complet totalement
ordonnés. Ceux de la luminance et la saturation, T et T , aussi
(ainsi comme les ensembles associés aux composantes de L*a*b*).
min
min
max
L
l
s
S
lsh
h
lsh
H
rgb
lsh
i
i
l
i
s
i
i
i
h
i
r
i
L a b
g
b
l
s
14 / 101
Notions de base
Treillis des images couleur
T : Cas particulier de la teinte (fonction sur le cercle unité, donc
sans ordre), h : E → C .
Distance angulaire pour h
|h −h |
si
| h − h |≤ 180
h ÷h =
360 − | h − h | si | h − h |> 180
h
i
i
j
j
o
i
i
j
j
i
j
o
o
Après xer une origine pour les teintes h0 (couleur de référence) :
fonction de teinte h0 -centrée en calculant f (x ) ÷ h0 , sur laquelle est
dénie un ordre partiel (qui peut être total pour avoir le treillis
T ÷ ).
Ordre de la teinte ≤
H
h
h0
h0
hi
K
≤h
0
hj
⇔
(hi ÷ h0 ) > (hj ÷ h0 )
(hi ÷ h0 ) = (hj ÷ h0 )
ou
et
(
K hi
− h0 ) ≥ 180o
(θ) = θ + 2k π
15 / 101
Notions de base
Treillis des images multi-variées
On peut dénir une image multi-variée (ou multi-composantes)
comme une fonction
f (λ, x ) : Λ × E → T ,
où Λ = {λ1 , λ2 , · · · , λ } est l'espace des composantes. Pour chaque
pixel x , l'image a L valeurs.
Chacune des L composantes peut être considérée comme une image
à niveaux de gris fλi .
La fonction multi-variée
L
fλ (x ) = (fλ (x ), fλ (x ), · · · , fλL (x ))
1
2
peut ainsi être dénie comme suit : fλ (x ) : E → T , avec
T = T × T × · · · × T si Λ est homogène (i.e. si toutes les
composantes ont des valeurs dans le même espace qui peut être
considéré une chaîne).
L
L
16 / 101
Notions de base
Treillis des images multi-variées
Les diérentes composantes d'une image multi-variée peuvent être de
natures diverses :
composantes spectrales : imagerie multi-spectrale utilise plus de 3
bandes (typiquement entre 4 et 10) dans le visible et le proche
infra-rouge, avec une résolution plus ne des bandes de fréquence.
En imagerie hyper-spectrale, le spectre est décomposé en plusieurs
centaines de bandes spectrales adjacentes très nes. Ces données
portent beaucouop d'information sur la nature physique des
matériaux imagés.
composantes temporelles : pour observer l'évolution d'une zone
d'intérêt au cours du temps, on peut acquérir une série d'images, où
les λ correspondent aux diérents instants d'acquisition.
composantes modales : dans certaines applications, diérents types
de capteurs sont utilisés pour imager de manière complémentaire un
même objet. L'hypothèse de résolution identique et de recalage peut
néanmoins poser problème.
signaux à valeur complexe (2 composantes), ou sous formes de
tenseurs.
i
17 / 101
Notions de base
Distances couleur
Notation
Soit c = (c , c , c ) le point couleur k dans une représentation
couleur générique UVW. La distance entre deux points couleur i et j
selon une métrique particulière ∆ est notée ||c − c ||∆ .
U
k
k
V
k
W
k
i
j
UVW
Métriques de Minkowski
dL
(ci , cj ) =
3
X
n=
1
!1/L
n
ci
|
−
n L
cj
|
= ||ci − cj ||L ,
e.g., ||c − c ||2 = (c − c )2 + (c − c )2 + (c − c )2 .
L2 dans l'espace L*a*b* est particulièrement intéressante car elle donne
la distance perceptuelle entre deux couleurs.
i
j
RGB
q
R
i
R
j
G
i
G
j
B
i
B
j
18 / 101
Notions de base
Distances couleur
Distance de Mahalanobis (simpliée)
Permet d'introduire des poids (ω1 , ω2 , ω3 ) pour U, V and W, i.e.,
||ci − cj ||UVW
M (ω ,ω
1
typiquement ω
2
j
,ω3 )
≥ 0,
= ω1 (ciU − cjU )2 + ω2 (ciV − cjV )2 + ω3 (ciW − cjW )2 ,
and
P3
j=
1 ωj
= 1.
Distances en LSH
Etant donnée l'instabilité de la composante teinte pour les valeurs faibles
de la saturation :
||ci − cj ||LSH
= |ciL − cjL | + |ciS − cjS | +
1
||ci − cj ||LSH
=
2
(ciS + cjS )
2
|ciH ÷ cjH |,
q
(ciL − cjL )2 + (ciS )2 + (cjS )2 − 2ciS cjS cos(ciH ÷ cjH ).
19 / 101
Notions de base
Distances images multi-variées
Distance Euclidienne
v
u L
uX
t (fλ (x ) − fλ (y ))2
dE (fλ (x ), fλ (y )) =
j
j
j=
1
Distance Mahalanobis
v
u L uX fλj (x ) − fλj (y ) 2
t
dM (fλ (x ), fλ (y )) =
,
σλj
j=
1
où λj \ j ∈ {1, 2, . . . , L} représente la variance de chaque composante
ou bien un poids plus arbitraire σλ2 j = 1/ω .
σ2
j
20 / 101
Notions de base
Distances images multi-variées
Distance de χ2
v
u
L “
uX
” ““
” “
””2
N /f.λj
fλj (xn )/fxn . − fλj (xm )/fxm . ,
dχ2 (fλ (xn ), fλ (xm )) = u
t
j =1
où f.λj = =1 fλj (x ), f i . = =1 fλj (x ) et N = =1 =1 fλj (x ) (P
étant le nombre de pixels ou cardinal de l'espace support E ). Il faut
remarquer que fλj (x ) est la valeur du vecteur pixel fλ (x ) pour la
composante fλj .
PP
i
i
i
x
PJ
j
i
PP
PL
i
j
i
i
Distance angulaire
dθ (fλ (x ), fλ (y )) = π2 arccos (hfλ (x ), fλ (y )i/(|fλ (x )| |fλ (y )|)) ,
où h·, ·i est le produit scalaire des vecteurs et | · | est la norme de chaque
vecteur. Elle correspond à l'angle des deux vecteurs (c'est-à-dire, le
coecient de corrélation entre les vecteurs).
21 / 101
Notions de base
Problème de traitement des images vectorielles
Comment traiter les images multi-variées (dont les images couleurs) ?
Traiter séparément chaque composante et après recombiner les
images transformées dans une image couleur, mais alors
⇒ Nous risquons de créer des fausses couleurs (critique pour le
ltrage mais moins important pour l'extraction de caractéristiques
ou la segmentation).
Traiter une seule composante (typiquement, la luminance), mais
alors
⇒ Quelle méthode pour retourner à l'espace vectoriel ?
Traiter directement les pixels comme des vecteurs, mais alors
⇒ Quel ordre pour les dilations/érosions ?
⇒ Quelle distance pour les gradients, top-hat's ?
22 / 101
Notions de base
Fausses couleurs
Exemple de traitement marginal de l'image f : érosion de taille 30 avec
un élément structurant carré.
f
(R ,G ,B )
Ω0
(L,S ,H )
Ω0
(L,a,b )
Ω0
En RGB, à partir de deux couleurs nous obtenons trois.
En LSH ou L*a*b* c'est encore pire, par ailleurs résultats dicile à
interpréter.
Les eets sont toujours importants près des contours des structures
de couleurs diérentes.
23 / 101
1
Introduction
2
Notions de base
3
4
5
6
24 / 101
Top-hats marginaux couleur en LSH
1
2
3
4
5
6
Introduction
Notions de base
Segmentation couleur par connexions marginales en LSH
Bref rappel sur la LPE
Segmentation par LPE avec des gradients couleur
Segmentation par LPE probabiliste d'images multi-variées
Segmentation spatiale et spectrale non supervisée par LPE
Segmentation par connexions spectrales
µ-geodesic balls
25 / 101
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Commençons par revoir les alternatives dans la dénition du résidu des
ouvertures/fermetures, connu comme chapeau haut de forme.
Chapeau haut de forme blanc, ρ+ (f ) : résidu entre la fonction
numérique et une ouverture, i.e.
B
ρ+
(f )(x ) = f (x ) − γB (f )(x ).
B
Chapeau haut de forme noir, ρ− f : résidu entre une fermeture et la
fonction numérique, i.e.
B
ρ−
(f )(x ) = ϕB (f )(x ) − f (x ).
B
Chapeau haut de forme circulaire centré, ρ◦ (a) : variations rapides
d'une fonction angulaire, i.e.
B
ρ◦B (a)(x ) = {− sup[νB◦ (z )], z ∈ Bx ]}.
où ν ◦ (x ) = {− sup[a(x ) ÷ a(y ), y ∈ B ]}.
B
x
26 / 101
Le top-hat sert à extraire les composantes contrastées vis à vis de
l'environnement.
Le top-hat par ouverture extrait les composantes positives et son
dual les négatives.
Schématiquement, le top-hat élimine les dérives lentes, ce qui
provoque une augmentation de contraste :
27 / 101
Top-hat circular centré :
28 / 101
Top-hat circular centré pour la teinte est invariant aux rotations et plus
robuste face au bruit chromatique
f1
ρ+
B (f1,H )
ρ◦B (f1,H )
f2 = f1c
ρ+
B (f2,H )
ρ◦B (f2,H )
f3 = f1 + n
ρ+
B (f3,H )
ρ◦B (f3,H )
29 / 101
Notre objectif est de dénir des chapeaux haut de forme couleur
séparables en LSH :
c'est-à-dire ceux qui sont obtenus à partir des composantes
luminance, saturation et teinte séparément ;
et ensuite les combiner pour avoir des résidus qui contient les détails
chromatiques et achromatiques.
30 / 101
Chapeau haut de forme chromatique
ρCB (f ) = [fS × ρ◦B (fH )] ∨ ρ+
(fS ).
B
Cet opérateur extrait les variations chromatiques rapides, liées aux pics
positifs de saturation et aux variations de teinte sur des régions saturées.
Chapeau haut de forme achromatique blanc
+
ρA
(f ) = |ρ↑B (f ) − ρCB (f )|.
B
où ρ↑ (f ) = ρ+ (f
B
B
L
) ∨ ρ−
(fS )
B
donne les variations claires globales.
Chapeau haut de forme achromatique noir
−
ρA
(f ) = |ρ↓B (f ) − ρCB (f )|.
B
où ρ↓ (f ) = ρ− (f
B
B
L
) ∨ ρ−
(fS )
B
donne les variations sombres globales.
31 / 101
Exemple de top-hat chromatique dérivé de la teinte et de la saturation
f
fH
fS
ρ+
B (fH )
ρ◦B (fH )
fS × ρ◦B (fH )
32 / 101
Application des top-hat's couleur à l'extraction des détails d'une carte
f
ρC
B (f )
ρ↓B (f )
−
ρA
B (f )
33 / 101
Application des top-hat's couleur à l'extraction des détails d'une carte
f
ρ↓B (f )
ρC
B (f )
34 / 101
Cette combinaison marginale des opérateurs est tout à fait
pertinente pour les résidus
⇒ les images associées sont des fonctions numériques,
⇒ pas problème de fausses couleurs.
D'autres opérateurs similaires peuvent être dénies en LSH, ou dans
une autre représentation couleur, où l'information liée aux diérentes
composantes est bien séparée et facile à interpréter.
35 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
36 / 101
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
Le fondement de l'approche est la formalisation de l'observation
psycho-visuelle selon laquelle l'÷il segmente à l'aide des variations de
teinte dans les régions saturées, et des variations de luminance dans les
régions grises.
f
fL
fS
fH
Voici le principe,
segmentant séparément la luminance, la saturation et la teinte
et en combinant les partitions de la luminance et de la teinte à l'aide
de la saturation, qu'on prendra comme critère pour choisir en
chaque endroit l'une ou l'autre classe des segmentations de la
luminance et de la teinte.
37 / 101
Segmentation par sauts A , −
on met dans une même classe tous les points x où f (x ) dière de
moins de k d'un extremum, on retire ces classes du plan de l'image,
et on itère, la méthode dépend du seul paramètre positif k des sauts ;
les plus petites régions de la partition par sauts, avec une surface
inferieur à a pixels, peuvent être ensuite éliminées par fusion ou
croissance de régions.
jump
area
k a
1
2
Segmentons par cette méthode mixte les composantes scalaires de
luminance et de teinte (après xer une origine h0 ).
−area
Ajump
k =10,a=50 (fL )
−area
Ajump
k =20,a=50 (fL )
−area
Ajump
k =10,a=50 (fH )
−area
Ajump
k =20,a=50 (fH )
38 / 101
L'idée pour combiner ces deux partitions consiste à réduire l'image
de saturation à un ensemble X , qui corresponde aux pixels de
saturation élevée, de restreindre la partition de la teinte à X , et
celle de la luminance à X , puis de réunir les deux résultats dans une
partition synthétique.
Le procédé pour déterminer l'ensemble X consiste à seuiller une
image lissée de la saturation : image mosaïque associée à la partition
−
A
(f )(x ), en aectant ensuite à chaque classe la valeur
,
moyenne de la saturation de ses pixels pour obtenir f
).
S
S
c
S
S
jump
area
k a
S
mosaic
S
fSmosaic
XS
−area
Ajump
(f )
LSH
−area
Ajump
(f )cont
LSH
39 / 101
Segmentation couleur contrôlée par saturation A − (f )
Si A , − (f )(x ), A , − (f )(x ), et A − (f )(x ) désignent les
classes de la luminance, de la teinte et de la synthèse au point x , il vient
jump
area
LSH
jump
area
k a
L
jump
area
jump
H
k a
area
LSH
jump −area
(fL )(x ) ∩ XSc (x )
si x ∈ XSc (x )
jump −area
A
(f )(x ) =
jump −area
LSH

A
(fH )(x ) ∩ XS (x )

 k ,a
si x ∈ XS (x )




A
k ,a
où X (x ) = Th (f
(x )) et f
est la mosaïque de f associée à la
−
partition A ,
(f ). La valeur de seuil s est obtenue
automatiquement à partir de l'histogramme de f
(séparation
optimale achromatique/chromatique).
S
s
jump
k a
mosaic
S
area
S
mosaic
S
S
mosaic
S
40 / 101
Exemple de segmentation d'une image couleur par combinaison contrôlée
par la saturation
−area
Ajump
k =20,a=50 (fL )
−area
Ajump
k =20,a=50 (fS )
−area
Ajump
k =10,a=50 (fH )
fSmosaic
XS = Ths =25
−area
Ajump
(f )
LSH
f
Noter que cette méthode est dicilement généralisable à d'autres
représentations couleur car c'est justement le rôle de la saturation
qui permet de combiner aisément les partitions
41 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
42 / 101
Extraction des contours : le gradient morphologique
Objectif : extraction des points de variation d'une fonction
numérique (image à niveaux de gris)
Moyen : calcul du module de gradient en utilisant la notion de
gradient morphologique, i.e., résidu entre la dilatation et l'érosion,
%B (f )(x ) = δB (f )(x ) − εB (f )(x )
f (x )
%B (f )(x ),
B ≡ Hexag .1
43 / 101
Interprétation de la segmentation par LPE
L'image est interprétée comme un relief topographique : Niveau de
gris ↔ altitude
Les contours correspondent aux lignes crête du relief
Des marqueurs sont placés dans l'image : ils pointent sur les régions
devant être segmentées dans l'image
Le relief est inondé, l'eau pénétrant dans le relief via les
marqueurs-sources d'inondation (il ne s'agit pas ici de ruissellement,
mais au contraire, d'eau qui sourd des minima).
Pour empêcher le mélange des eaux venant de minima diérents, on
crée un barrage élémentaire en chaque point de contact. L'eau
continue de s'élever.
A la n, ne restent que les digues achevées, entourées d'eau : les
contours sont dénis comme la ligne de partage des eaux séparant
les diérents lacs (bassins versants).
44 / 101
Interprétation de la segmentation par LPE
45 / 101
LPE avec marqueurs
Source : S. Beucher : http://cmm.ensmp.fr/~beucher/wtshed.html
46 / 101
SKIZ géodésique
Soit, dans R2 , Y = ∪{Y , i ∈ I } formé de I composantes connexes
compactes, toutes incluses dans le compact X .
La zone d' inuence géodésique de Y dans X se dénit comme le
lieu des points a de X qui sont géodésiquement plus proches de Y
que de toute autre composante connexe de Y , i.e.,
i
i
i
( ) = {a ∈ X , ∀k 6= i , dX (a, Yj ) ≤ dX (a, Yk )}
ziX Yi
où la distance géodésique d (a, Y ) est la plus petite des distances
géodésiques du point a à tous ceux de l'ensemble Y .
Le SKIZ géodésique est alors la frontière entre les diérentes zones
d'inuence.
X
47 / 101
Construction de la LPE par inondation
Algorithme (S.Beucher, Ch Lantuejoul)
Soit
Xk
m
la valeur minimale de la fonction f . Posons :
m + k } avec 1 ≤ k ≤ maxf .
X0
= { x : f (x ) =
= { x : f (x ) ≤
Appelons Y1 les zones d'inuence géodésiques de
de composantes connexes (cc) de X
X0
dans
X1
m}
, et
et distinguons trois types
celles, X1,1 qui ne contiennent pas de points de X0 : elles sont
absentes de Y1 ,
celles, X1,2 qui contiennent une seule cc de X0 : elles font alors partie
de Y1
celles, X1,3 qui contiennent plusieurs cc de X0 : Y1 récupère alors
X1,3 diminué des branches de son skiz géodésique.
Comme les X1,1 sont des minima apparus à la cote 1, il convient de les incorporer à
l'inondation. On remplace donc X1 par Y1 ∪ X1,1 et l'on itère : c'est à dire que l'on
calcule les zones d'inuence géodésiques Y2 de Y 1 ∪ X1,1 dans X2 , d'où le marqueur
Y 2 ∪ X2,1 , etc.
Le processus s' arrête quand on atteint le niveau k = maxf . On a alors :
Ymaxf
= réunion des bassins versant
[Ymaxf ]
C = ligne de partage des eaux
48 / 101
Image initiale
Minima (1), et
niveau suivant (2)
Skiz géodésique
de (1) dans (2)
(en trait blanc)
49 / 101
Niveau (2), diminué
du premier skiz,
et niveau (3)
Deuxième skiz
(on notera qu'il
prolonge le premier)
LPE nale
(résultat signicatif
malgré faible nombre niveaux))
50 / 101
Construction de la LPE
La LPE correspond à un SKIZ pour une certaine distance : la
distance topographique d , i.e.,
f
dp ,q
=
inf
Z
|∇f (γ(s ))|ds
γ∈Γ(p ,q )
Un minimum régional est une zone plate de l'image dont les voisins
sont de plus hauts niveaux de gris
A chaque minimum régional m de l'image est associée une zone
d'inuence constituée de l'ensemble des points plus proche de m
que de tout autre minimum au sens de d
Algorithme de calcul en utilisant des les d'attente hiérarchiques :
rapidité, simplicité
Algorithme sur des graphes de voisinage en termes d'arbre de poids
minimum (MST) : exibilité
i
i
f
51 / 101
La LPE en pratique
Etapes : 1) Calcul du gradient ; 2) Calcul de la LPE sur l'image
gradient
Sans aucun pré-traitement, le résultat obtenu est une
sur-segmentation de l'image : une zone d'inuence par minimum
(i.e., nombre de régions = nombre de minima régionaux)
Solution pour éviter la sur-segmentation : dénir des marqueurs
Marqueurs introduits de manière extérieure
Minima après simplication de l'image
Minima les plus signicatifs selon un certain critère morphologique
(contraste, surface, volume) − > Hiérarchies basées sur des valeurs
d'extinction
Méthodes hiérarchiques non paramétriques (par itération) : cascades
de Beucher
52 / 101
La LPE en pratique
Minima après simplication de l'image
Originale
Minima lt. 1
LPE associée
Minima lt. 2
LPE associée
Gradient
53 / 101
La LPE en pratique
Minima les plus signicatifs
Originale
Gradient
Contraste
Surface
Volume
300 régions
300 régions
300 régions
100 régions
100 régions
100 régions
54 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
55 / 101
Segmentation avec des gradients couleur
Le paradigme de segmentation morphologique est la Ligne de
Partage des Eaux (LPE) avec des marqueurs imposés.
Des approches hiérarchiques basées sur la LPE ont permis d'aborder
des domaines pour lesquels le choix de marqueurs n'est pas facile,
comme c'est le cas des images naturelles, images de
vidéo-surveillance, etc.
Parmi ces approches nous pouvons en souligner deux :
1
2
l'algorithme de cascades, Awfall
(où l est niveau de l'hiérarchie), qui,
l
d'un niveau de la hiérarchie au suivant, élimine les contours
complètement entourés par des contours plus forts ;
les hiérarchies basées sur les valeurs d'extinction, en particulier les
−v
critères volumiques, Awshed
(où n est le nombre de régions
n
volumiques à segmenter), qui combinent la taille et le contraste des
régions, créant un bon critère pour évaluer la pertinence visuelle des
régions.
Ces algorithmes se bâtissent sur un gradient scalaire.
56 / 101
Un gradient couleur doit être calculé pour appliquer la LPE à une image
couleur.
Pour toute fonction numérique f ∈ F(E , T ) nous pouvons calculer
le module de son gradient comme le résidu d'une dilatation et une
érosion, i.e.,
%(f (x ))
= ∨[f (y ), y ∈ Bx ] − ∧[f (y ), y ∈ Bx ]
= ∨[|f (y ) − f (y )|, y ∈ Bx ].
A partir de la dénition en termes d'accroissements et pour
l'appliquer aux fonctions angulaires dénies sur le cercle unité, il
sut de remplacer les accroissements par la diérence angulaire et
ainsi obtenir le gradient circulaire centré, i.e.,
%◦ (a(x )) = ∨[a(x ) ÷ a(y ), y ∈ Bx ].
De la même manière, pour les fonctions couleur f dans une
représentation UVW, nous pouvons aussi dénir le même type de
gradient en utilisant une distance couleur :
%UVW
(f (x )) = ∨[||f (x ) − f (y )||UVW
, y ∈ Bx ].
∆
∆
57 / 101
Ces dénitions sont utilisées pour construire des gradients couleur à partir
des composantes L*a*b* et LSH (les composantes RGB étant fortement
corrélées, leur intérêt pour la segmentation est moindre que les autres
représentations).
Gradient achromatique en L*a*b*
L∗a∗b ∗
%L∗ (f ) = ∨[||f (x ) − f (y )||M
(1,0,0) , y ∈ Bx ].
Gradient chromatique en L*a*b*
L∗a∗b ∗
%ab (f ) = ∨[||f (x ) − f (y )||M
(0,1,1) , y ∈ Bx ].
et b*.
Distance Euclidienne pour L*.
Distance Euclidienne pour a*
Gradient couleur en L*a*b*
L∗ a ∗ b ∗
%Lab (f ) = ∨[||f (x ) − f (y )||M
(1,1,1) , y ∈ Bx ].
L*, a* et b*). Très utilisé en segmentation.
Distance Euclidienne pour
58 / 101
Gradient de luminance en LSH
% (f ) = %(f (x )).
L
L
Gradient de teinte en LSH
% (f ) = %◦ (f (x )).
H
H
Gradient chromatique en LSH
% (f ) = f × %◦ (f (x )). L'utilisation de la teinte exclusivement produit
des erreurs dans les régions achromatiques, qui ont une faible saturation,
et il est plus intéressant de pondérer le gradient de la teinte par la
saturation.
HS
S
H
Gradient achromatique LSH
% (f ) = (1 − f ) × %(f (x )) + %(f (x )). Pour détecter les changements
des régions chromatiques-achromatiques.
LS
S
L
S
59 / 101
Gradient couleur en LSH
%LSH (f ) = fS × %◦ (fH (x )) + (1 − fS ) × %(fL (x )).
Gradient couleur complet en LSH
% + (f ) = f × %◦ (f (x )) + (1 − f
LS
H
S
H
S
) × %(fL (x )) + %(fS (x )).
60 / 101
Exemple de segmentation d'une image couleur par LPE avec la même
méthode (segmentation en 100 régions volumiques) selon diérents
gradients en L*a*b*
f
−v
wshed −v ab
wshed −v Lab
L∗
Awshed
n=100 (% (f )) An=100 (% (f )) An=100 (% (f ))
61 / 101
Exemple de segmentation d'une image couleur par LPE avec la même
méthode (segmentation en 100 régions volumiques) selon diérents
gradients en LSH
−v
L
Awshed
n=100 (% (f ))
−v
H
Awshed
n=100 (% (f ))
−v
HS
Awshed
n=100 (% (f ))
f
−v
wshed −v LSH
wshed −v LS +H (f ))
LS
Awshed
n=100 (% (f )) An=100 (% (f )) An=100 (%
62 / 101
Pour certains domaines d'application, nous pouvons être intéressés
par une segmentation exclusivement focalisée sur les objets colorés
de la scène, indépendamment de leur luminance.
Le gradient % (f ) est indépendant des reets et des ombres portées
et évidemment des changements limités d'intensité de la lumière. Si
l'on compare à l'autre gradient chromatique, % (f ), nous constatons
que celui-ci, pour le même nombre de régions à segmenter, est
beaucoup plus sensible aux régions achromatiques.
A l'opposé, une segmentation selon la luminance des objets avec
% (f ), sans considérer l'information chromatique, pourrait être utile
pour d'autres applications.
D'autre part, le gradient achromatique % (f ) fournit les transitions
de luminance entre les objets achromatiques et aussi les
changements type achromatique-chromatique.
HS
ab
L
LS
63 / 101
Gradient couleur total : gradient qui contient conjointement
l'information pour extraire les contours achromatiques et
chromatiques.
Nous voulons que ce gradient soit robuste face à un changement
dans l'éclairage de la scène
⇒ pour un même niveau de hiérarchie de segmentation, ou pour le
même nombre de régions segmentées, les objets extraits soient
relativement stables.
Le gradient couleur en LSH par combinaison barycentrique à l'aide
de la saturation du gradient de luminance et du gradient de teinte,
%
(f ), donne des bonnes segmentations pour des images
génériques.
Le gradient couleur complet % + (f ) (avec un terme de gradient de
saturation) améliore les résultats, en équilibrant beaucoup plus les
contours chromatiques/achromatiques.
LSH
LS
H
64 / 101
Segmentations associées aux diérents gradients en LSH.
illum1
wshed −v (%L (f
An =175
illum1 ))
wshed −v (%H (f
An =175
illum1 ))
wshed −v (%HS (f ))
An =175
wshed −v (%LS (f
An =175
illum1 ))
wshed −v (%LS +H (f
An =175
illum1 ))
f
65 / 101
Le gradient couleur par distance Euclidienne dans l'espace L*a*b*
fournit de bonnes segmentations lorsqu'on choisit l'illuminant correct
pour la transformation (une tâche pas toujours facile).
illum1
A
wfall (%Lab (f
illum1 )),
l =2
D
65
A
wfall (%Lab (f
illum1 )),
l =2
CIEA
illum7
A
wfall (%Lab (f
illum7 )),
l =2
D
65
A
wfall (%Lab (f
illum7 )),
l =2
CIEA
f
f
66 / 101
Changement de la qualité des conditions d'illumination.
wshed −v (%Lab (f
illum1 ))
An =75
wshed −v (%Lab (f
illum4 ))
An =75
illum1
An =75
illum4
An =75
f
f
illum1 ))
illum4 ))
67 / 101
Le gradient couleur complet dans l'espace LSH (qui n'a pas besoin
d'une connaissance de l'illuminant) nous donne des segmentations
légèrement plus robustes et stables face aux changements
d'éclairage.
L'usage de la distance perceptuelle en L*a*b* fait que parfois il est
dicile de prévoir si la priorité est donnée à l'information
chromatique ou à l'achromatique.
La représentation LSH nous permet une meilleure maîtrise de la
segmentation (priorité donnée à la couleur ou à l'intensité) et même
une séparation satisfaisante de la contribution des composantes.
68 / 101
Comparaison de segmentations morphologiques couleur
en LSH (Berkeley Segmentation Dataset and
Benchmark)
]3096
]42049
A
wfall (%LSH )
l =4
jump−area ,
ALSH
k
= 20,
a
= 50
69 / 101
Benchmark)
]108082
]113016
A
wfall (%LSH )
l =4
jump−area ,
ALSH
k
= 20,
a
= 50
70 / 101
Benchmark)
]143090
]145086
A
wfall (%LSH )
l =4
jump−area ,
ALSH
k
= 20,
a
= 50
71 / 101
Benchmark)
]101085
]101087
A
wfall (%LSH )
l =4
jump−area ,
ALSH
k
= 20,
a
= 50
72 / 101
Des éléments additionnels pour améliorer les
segmentations
On peut considérer l'amélioration de la qualité des segmentations par
LPE sur des gradients couleur en introduisant notamment des
informations additionnelles ou bien en modiant les algorithmes
classiques de segmentation :
Dénir des gradients de texture qui peuvent se combiner avec les
gradients couleur.
Travailler dans un cadre probabiliste qui dénit des fonctions de
densité de probabilité de contours couleur et régularise le gradient.
73 / 101
1
Introduction
2
Notions de base
3
4
5
6
74 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
75 / 101
Hyperspectral image
Denition
Hyperspectral image : at each point x is associated a vector with values
in spectrum, time, wavelength, or associated to an index j .
i
fλ :
fλj
E
x
\ j ∈ {1, 2, . . . , L}
→ T L with E ⊂ R2 , T ⊂ R
→ fλ (x ) = (fλ (x ), fλ (x ), . . . , fλL (x ))
1
fλ
xi
2
is a channel (L is the number of channels)
j
Image "Roujan" 365 × 365 × 5
pixels. Resolution 0.70 meters.
Source : CNES (French space
agency) + Pr. G. Flouzat
(Laboratoire de Télédétection à
Haute Résolution, Toulouse 3)
76 / 101
Satellite image
Multispectral Image Space (MIS)
fλ1
blue
fλ2
c CNES
green
c CNES
fλ 3
red
c CNES
synthetic RGB
fλ 4
proche IR
c CNES
fλ 5
panchrom.
c CNES
Image "Roujan" 365 × 365 × 5 pixels. Resolution 0.70 meters.
77 / 101
Satellite image
Factorial Image Space (FIS)
FCA : Factor Correspondence Analysis
FCA is a transform going to the image space to the factor space :
ζ:
TL
→ TK / K <L
fλ (x ) → cfα (x ) = cαf (x ), . . . , cαf K (x )
(1)
1
Possible reconstruction of the image with a limited number of factors
f
cα
1
inertia 84,1 %
f
cα
2
inertia 8,7 %
f
cα
3
inertia 6,2 %
78 / 101
Gradients and spectral distances for MIS and FIS
Denition
A gradient, in fact the norm, is a scalar function with values in the
interval [0, 1], i.e. ∇ : E → [0, 1].
Two gradients are tried :
Morphological (scalar, i.e. marginal) :
1
%(fλj (x )) = ∨B (fλj (x )) − ∧B (fλj (x ))
2
Distance (vectorial) :
%d (fλ )(x ) = ∨[d (fλ (x ), fλ (y )), y ∈ B (x )]−∧[d (fλ (x ), fλ (y )), y ∈ B (x )]
with an adapted distance to the image space :
Chi-squared for MIS : bfλ ⇒ Chi-squared distance gradient : %χ
Euclidean for FIS : cfα ⇒ Euclidean distance gradient : %E
2
79 / 101
Gradients and spectral distances for MIS and FIS
Gradients
MIS
marginal
%(fλ )
3
vectorial
2
%χ (fλ )
FIS
%(cαf )
1
%(cαf )
2
%(cαf )
3
%E (cfα )
80 / 101
Stochastic ooding functions
Flooding functions g for volumic WS :
weighted marginal pdf : mpdf
vectorial pdf : vpdf
probabilistic vectorial gradient % = mpdf + % after
normalization between [0, 1] of mpdf and metric-based gradient % .
prob
d
d
With d a distance (Chi-squared in MIS, Euclidian in FIS).
81 / 101
Vectorial pdf
vpdf
(
Multispectral image (vectorial) f λ ( x) = f λ1 ( x), f λ2 ( x),K, f λL ( x)
)
N markers
M×L realizations
Vectorial gradient
R regions
Random markers
mrk1 (x)
Random markers
sg1mrk(x)
…
Random markers
Random markers
mrk2 (x)
mrkM×L (x)
…
Random markers
Random markers
sgMxLmrk(x)
sg2mrk(x)
PDF (Parzen’s method)
vpdf ( x) =
1 M ×L
∑ sgi ( x) ∗ Gσ
M × L i =1
Function to flood
g(x)
Volumic WS
R regions
seg vol(g,R)(x)
82 / 101
mpdf
Weighted marginal pdf
(
Multispectral image (vectorial) f λ ( x) = f λ1 ( x), f λ2 ( x),K, f λL ( x)
)
N markers
L×M realizations
Marginal gradients
R regions
Random markers
mrk11 ( x)
…
Random markers
mrk M1 ( x) mrk12 ( x) …
Random markers
sg11 ( x)
…
sg 1M ( x)
Random markers
sg12 ( x)
1
pdf1 ( x) =
M
mrk M2 ( x)
…
…
…
sg M2 ( x)
…
mrk ML (x)
Random markers
sg1L ( x)
sg ML (x)
…
M
∑ sg ( x) ∗ Gσ
i =1
Random markers
mrk1L ( x)
pdf L ( x) =
1
i
1
M
M
∑ sg
i =1
L
i
( x) ∗ Gσ
Function to flood
∀j , w j = 1 / L in MIS
∀j , w j = inertie in FIS
L
g ( x) = mpdf ( x) = ∑ w j pdf j ( x)
j =1
Volumic WS
R regions
seg vol(g,R)(x)
83 / 101
Results in MIS
Classical WS
Stochastic WS
2
%χ (fλ )
seg
N
vol (%χ2 (fλ ), R )
mpdf (fλ )
seg
vol (mpdf (fλ ), R )
%prob (fλ )
vpdf (fλ )
seg
vol (vpdf (fλ ), R )
seg
vol (%
prob (fλ ), R )
= 50 points, M = 100 realizations, R = 50 regions.
84 / 101
Results in FIS
FIS : 1 factor axis cα (inertia 84,1 %)
st
f
1
Classical WS
Stochastic WS
f
%(cα
)
1
seg
N
vol (%(c f ), R )
α1
f
f
%prob (cα
)
1
mpdf (cα )
1
seg
vol (mpdf (c f ), R )
α1
seg
vol (%
f
prob (cα1 ), R )
= 50 points, M = 100 realizations, R = 50 regions.
85 / 101
Other results
Image "Salon de Provence" (4 channels) N = 50 points, M = 100
realizations, R = 20 regions
Classical WS
Stochastic WS
%χ (fλ )
f
%( α
)
1
mpdf (fλ )
f
mpdf (cα
)
1
vpdf (fλ )
seg vol (%χ2 (fλ ), R )
f
seg vol (%(cα
), R )
1
seg vol (mpdf (fλ ), R )
f
seg vol (mpdf (cα
), R )
1
seg vol (vpdf (fλ ), R )
2
MIS
c
FIS
MIS
FIS
MIS
86 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
87 / 101
Segmentation spatiale et spectrale non supervisée par
LPE
κ
2
%χ (fλ )
mpdf (fλ )
88 / 101
1
2
3
4
5
6
Introduction
Notions de base
µ-geodesic balls
89 / 101
η -bounded
regions
η -BR
Comparison with λ-FZ
For λ-FZ, a hiker starting from one point only deals with the local slope
and not with the dierence in altitude on the λ-at zones.
Principle for η-BR
Considering the dierence in altitude, a hiker starting from one point x
has a walk restricted to a ball of diameter 2 × η centered on x inside a
λ-FZ.
100 Grey levels
100 Grey levels
80
η
80
60
Seed η
60
40
30
1
5
η
10
= 20
Pixels
15
20
40
30
η
Seed η
1
5
10
η
= 30
15
Pixels
20
90 / 101
µ-geodesic
balls
µ-geodesic
balls
µ-GB
Principle of µ-GB
A hiker starting from one point k has a walk restricted by a cumulative
dierence in altitude less than µ, inside a λ-FZ.
100 Grey levels
100 Grey levels
80
80
Seed
μ = 20
60
40
30
1
5
µ
10
= 20
Pixels
15
20
60
Seed
40
30
μ = 60
1
5
µ
10
= 60
15
Pixels
20
91 / 101
µ-geodesic
balls
Image space : Chi-squared distance is used dχ .
2
synthetic RGB
λ-FZ
λ = 0.015
η -BR
η = 0.02
η -BR
η = 0.03
η -BR
η = 0.04
µ-GB
µ = 0.1
µ-GB
µ = 0.2
µ-GB
µ = 0.3
92 / 101
1
Introduction
2
Notions de base
3
4
5
6
93 / 101
Détection d'inclusions parasitaires de paludisme dans des
globules rouges
f
ϕrec
Ω ,15B (f )
1
γΩrec,200B (f )
1
ϕrec
Ω ,15B (f )
2
ϕrec
Ω ,200B (f )
3
Ω1 = Ωlex
L→S →(H ÷0)
Ω2 = Ωlex
(H ÷90)→S →L
Ω3 = Ωlex
(H ÷270)→S →L
94 / 101
Segmentation d'un lymphocyte dans son noyau et son
cytoplasme
f
ϕrec
Ω ,20B (f )
1
γΩrec,150B (f )
1
ϕrec
Ω ,20B (f )
2
γΩrec,150B (f )
2
Ω1 = Ωlex
L→S →(H ÷0)
Ω2 = Ωlex
S →L→(H ÷0)
95 / 101
Extraction des cellules marquées dans un tissue
hétérogène
f1 = δΩ,25 (f )
k · kLSH
M (1,0.2,0) , c0 (255, 128, −)
ϕrec
Ω (f , f1 )
LSH
k · kM (1,0.2,0) , c0 (255, 128, −)
f2 = εΩ,75 (f )
k · kLSH
M (1,0.2,0) , c0 (255, 128, −)
γΩrec (f , f2 )
LSH
k · kM (1,0.2,0) , c0 (255, 128, −)
f
96 / 101
Filtrage et rehaussement des spots (rouges ou jaunes)
d'une puce à ADN
f1 = ζbΩ (κεδ
Ω,1−iter (f ))
k · kLSH
,
c
M (1,1,0) 0 (255, 128, −)
f2 = γΩrec (f , εΩ,3 (f1 ))
k · kLSH
M (1,1,0) , c0 (255, 128, −)
f3 = εΩ,15 (f2 )
k · kRGB , c (0, 128, 255)
f4 = γΩrec (f , f3 )
RGB
k·k
, c (0, 128, 255)
f
2
0
2
0
97 / 101
Segmentation des hépatocytes marquées à la uorescence
d'une puce à cellules
f
fg = %Ω (f )
k · kRGB
M (2,1,0) , c0 (255, 255, −)
f1 = γΩrec (f , εΩ,20 (f ))
k · kRGB
, c0 (255, 255, 255)
2
f2 = kf − f1 kRGB
2
fmrks = Max (γ10 (f2 ))
Wshed (fg , fmrks )
98 / 101
Extraction et segmentation des cellules cancéreuses avec
marquage immunohistochimique
f
f1 = γΩrec (f , εΩ,30 (f ))
k · kRGB
, c0 (90, 20, 20)
2
fg = %Ω (f1 )
k · kRGB
,c0 (90, 20, 20)
2
fg = %Ω (f2 )
k · kRGB
,c0 (255, 255, 255)
2
1
2
f2 = γΩrec (f , εΩ,30 (f ))
k · kRGB
, c0 (255, 255, 255)
2
Green = wshed (fg , fmrks
1
Red
1
)
= wshed (fg , fmrks )
2
2
99 / 101
1
Introduction
2
Notions de base
3
4
5
6
100 / 101
Application des opérateurs de la morphologie mathématique pour le
ltrage et la segmentation d'images couleur.
Forte liaison entre les propriétés de l'espace de représentation de la
couleur et la construction/généralisation des opérateurs
morphologiques couleur ; ce qui permet même d'introduire des
nouveaux opérateurs.
D'autres opérateurs peuvent être proposés pour la couleur ainsi
comme d'autres applications.
Représentation LSH est particulièrement intéressente pour le ltrage
et la segmentation.
Série de travaux cours sur nouvelles techniques morphologiques de
représentation, ltrage, segmentation et quantication adaptées aux
images hyperspectrales.
101 / 101

Segmentation morphologique d`images multivariées: de la couleur

Transcription

Documents pareils

Resume- Marketing

Apports de la morphologie mathématique couleur au filtrage

Segmentation et analyse de l`onde P d`un ECG pour le dépistage d

Champs aléatoires de Markov couples et segmentation des images

RAPPORT DE STAGE:

Apport de la segmentation à l`estimation d`attributs dendrométriques

champs