Apports de la morphologie mathématique couleur au filtrage
Transcription
Apports de la morphologie mathématique couleur au filtrage
Apports de la morphologie mathématique couleur au ltrage et à la segmentation Apports de la morphologie mathématique couleur au ltrage et à la segmentation Jesús Angulo ; http://cmm.ensmp.fr/∼angulo [email protected] Centre de Morphologie Mathématique - Ecole des Mines de Paris 35, rue Saint-Honoré, 77305 Fontainebleau cedex - France Ecole d'Hiver de l'Image Numérique Couleur (EHINC'07) Poitiers, 9-11 Janvier 2007 1 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Plan 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 2 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Introduction 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 3 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Introduction Morphologie mathématique et images couleur Motivation morphologie mathématique dispose d'un grand nombre d'opérateurs et d'algorithmes pour le ltrage et la segmentation des images à niveaux de gris extension de ces opérateurs aux images couleur n'est ni directe (dans le sens d'unique) ni triviale Objectif aperçu précis et relativement exhaustif sur l'extension de la morphologie mathématique aux images couleur opérateurs couleur améliorent la qualité des traitements multivariés par rapport aux équivalents à niveaux de gris 4 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Introduction Organisation du cours en trois parties Notions de base espaces de représentation des images couleur, treillis des images couleur, distances couleur. Filtrage morphologique couleur ordres vectoriels, dilatation/érosion couleur et opérateurs couleur dérivés, ordres totaux des couleur par cascades lexicographiques ou par distance à une référence, opérateurs marginaux et combinaison en LSH. Segmentation morphologique couleur segmentation marginale en LSH et combinaison contrôlée par la saturation, segmentation par LPE avec des gradients couleur, des éléments additionnels pour améliorer les segmentations. 5 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 6 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : RGB Rouge, Vert, Bleu (RGB), f = (f , f , f ) : Représentation informatique des images couleur. Quelques inconvénients : composantes fortement corrélées, non uniformité, diculté d'interprétation humaine, etc. R f fR G B fG fB 7 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : LSH Luminance, Saturation et Teinte (LSH), f = (f , f , f ) : Représentation géométrique en coordonnées polaires dérivée de RGB. Séparation de l'information chromatique/achromatique et interprétation humaine facile. Très intéressante pour les traitements morphologiques si la formulation est correcte. Le système HLS est le triplet lum/sat/hue le plus utilisé en traitement d'image. Mais malgré sa popularité, la représentation HLS donne souvent des résultats insusants, pour le traitement quantitatif au moins : ses expressions de luminance et de saturation ne sont pas des normes ; ainsi pour les valeurs moyennes ou pour le calcul de distances, les résultats sont faux ; par ailleurs ces deux composantes ne sont pas indépendantes. L S H 8 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : LSH Les inconvénients du système de HLS peuvent être surmontés par diverses représentations alternatives, selon diérentes normes employées pour dénir la luminance et la saturation. LSH en norme L1 = 31(max + med + min) 3 (max − l ) si l ≥ med s = 32 (l − min) si l ≤ med 2 1 λ max +min−2med − (− 1 ) h = k λ + 2 2s l où max , med et min sont le maximum, le médian et le minimum du point couleur (r , g , b) ∈ [0, 1] × [0, 1] × [0, 1], k est l'unité de l'angle (π/3 pour radians et 42 pour 256 niveaux de gris) et λ = 0, si r > g ≥ b ; 1, si g ≥ r > b ; 2, si g > b ≥ r ; 3, si b ≥ g > r ; 4, si b > r ≥ g ; 5, si r ≥ b > g permet de changer vers le secteur couleur correspondant. 9 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : LSH Pour chaque pixel : la luminance représente la quantité totale d'intensité de lumière, la saturation représente une mesure de pureté de la couleur, la teinte un index représentant la longueur d'onde dominante (couleur perçue) de la lumière. f fL fS fH 10 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : L*a*b* L*a*b*, f = (f ∗ , f ∗ , f ∗ ) : Une des représentations standard en colorimétrie. Le principal avantage de l'espace L*a*b* est qu'il est perceptuellement uniforme : des diérences de couleur reconnues comme égales pour l'oeil correspondent à des distances Euclidiennes égales. Cependant, la transformation de l'espace RGB vers l'espace L*a*b* est faite en passant d'abord par l'espace XYZ, et ensuite vers L*a*b*. Et pour pouvoir spécier complètement la transformation RGB → XYZ , il faut connaître les coordonnées des stimili primaires et le blanc de référence de l'illuminant. Dans la plupart des situations, il faut faire des hypothèses puisque ces informations ne sont pas accessibles. L a b 11 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : L*a*b* Pour rappel, les équations de changement d'espace de XYZ vers L*a*b* sont : XYZ vers L*a*b* 1/ 3 − 16 si 116 n ∗ L = 903.3 si i h n ∗ −f a = 500 f h n n i ∗ b = 200 f − f n n Y Y Y Y X X Y Y Y Y Z Z 1/3 Y Y > 0.008856 Y Y ≤ 0.008856 n n 16 où f ααn = ααn si ααn > 0.008856 et f ααn = 7.787 ααn + 116 si ααn ≤ 0.008856. Le symbole α représente X , Y ou Z , celles-ci étant les valeurs tri-stimuli de l'échantillon et X , Y et Z celles d'un blanc de référence spécique qui peuvent être obtenues en mettant le point (r , g , b ) = (1, 1, 1). n n n 12 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Espaces de représentation des images couleur : L*a*b* L'espace L*a*b* est basé sur le modèle des couleurs opposées. La variable L* mesure la luminance (l'opposition noir-blanc) par une valeur entre 0 (noir) et 100 (blanc). La variable a* mesure l'opposition rouge-vert par une valeur entre -100 et +100, a* est donc positive si la couleur contient du rouge, négative si la couleur contient du vert et nulle si elle ne contient aucun des deux. La variable b* mesure l'opposition jaune-bleu par une valeur entre -100 et +100, b* est positive si la couleur contient du jaune, négative si la couleur contient du bleu et nulle si elle ne contient aucun des deux. f fL∗ fa∗ fb∗ 13 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Treillis des images couleur Image a niveaux de gris : f (x ) : E → T , E ⊂ Z2 est le support de l'image (x ∈ E ), T = {t , t + 1, · · · , t } (en général T ⊂ Z ou R) est un ensemble ordonné de niveaux de gris, i.e. treillis complet totalement ordonné. f ∈ F(E , T ). Image couleur en LSH : f (x ) = (f (x ), f (x ), f (x )) : E → T , f ∈ F(E , [T ⊗ T ⊗ T ]) ou F(E , T ). De manière similaire pour les représentations RGB, F(E , T ), ou L*a*b, F(E , T ∗ ∗ ∗ ). Pixel couleur : c ∈ T ⇔ c = {(l , s , h ) ; l ∈ T , s ∈ T , h ∈ T }). Les ensembles T , T , T sont des treillis complet totalement ordonnés. Ceux de la luminance et la saturation, T et T , aussi (ainsi comme les ensembles associés aux composantes de L*a*b*). min min max L l s S lsh h lsh H rgb lsh i i l i s i i i h i r i L a b g b l s 14 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Treillis des images couleur T : Cas particulier de la teinte (fonction sur le cercle unité, donc sans ordre), h : E → C . Distance angulaire pour h |h −h | si | h − h |≤ 180 h ÷h = 360 − | h − h | si | h − h |> 180 h i i j j o i i j j i j o o Après xer une origine pour les teintes h0 (couleur de référence) : fonction de teinte h0 -centrée en calculant f (x ) ÷ h0 , sur laquelle est dénie un ordre partiel (qui peut être total pour avoir le treillis T ÷ 0 ). Ordre de la teinte ≤ 0 H h h h hi K ≤h0 hj ⇔ (θ) = θ + 2k π (hi ÷ h0 ) > (hj ÷ h0 ) (hi ÷ h0 ) = (hj ÷ h0 ) ou et ( K hi − h0 ) ≥ 180o 15 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Distances couleur Notation Soit c = (c , c , c ) le point couleur k dans une représentation couleur générique UVW. La distance entre deux points couleur i et j selon une métrique particulière ∆ est notée ||c − c ||∆ . U k k V k W k i j UVW Métriques de Minkowski dL (ci , cj ) = 3 X n= 1 !1/L n ci | − n L cj | = ||ci − cj ||L , e.g., ||c − c ||2 = (c − c )2 + (c − c )2 + (c − c )2 . L2 dans l'espace L*a*b* est particulièrement intéressante car elle donne la distance perceptuelle entre deux couleurs. i j RGB q R i R j G i G j B i B j 16 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Notions de base Distances couleur Distance de Mahalanobis (simpliée) Permet d'introduire des poids (ω1 , ω2 , ω3 ) pour U, V and W, i.e., ||ci − cj ||UVW = ω1 (ciU − cjU )2 + ω2 (ciV − cjV )2 + ω3 (ciW − cjW )2 , M (ω1 ,ω2 ,ω3 ) typiquement ω j ≥ 0, and P3 j= 1 ωj = 1. Distances en LSH Etant donnée l'instabilité de la composante teinte pour les valeurs faibles de la saturation : L L S S ||ci − cj ||LSH 1 = |ci − cj | + |ci − cj | + ||ci − cj ||LSH 2 = (ciS + cjS ) 2 |ciH ÷ cjH |, q (ciL − cjL )2 + (ciS )2 + (cjS )2 − 2ciS cjS cos(ciH ÷ cjH ). 17 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 18 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Problème de traitement des images vectorielles Comment traiter les images multi-variées (dont les images couleurs) ? Traiter séparément chaque composante et après recombiner les images transformées dans une image couleur, mais alors ⇒ Nous risquons de créer des fausses couleurs (critique pour le ltrage mais moins important pour l'extraction de caractéristiques ou la segmentation). Traiter une seule composante (typiquement, la luminance), mais alors ⇒ Quelle méthode pour retourner à l'espace vectoriel ? Traiter directement les pixels comme des vecteurs, mais alors ⇒ Quel ordre pour les dilations/érosions ? ⇒ Quelle distance pour les gradients, top-hat's ? 19 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Fausses couleurs Exemple de traitement marginal de l'image f : érosion de taille 30 avec un élément structurant carré. f (R ,G ,B ) Ω0 (L,S ,H ) Ω0 (L,a,b ) Ω0 En RGB, à partir de deux couleurs nous obtenons trois. En LSH ou L*a*b* c'est encore pire, par ailleurs résultats dicile à interpréter. Les eets sont toujours importants près des contours des structures de couleurs diérentes. 20 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Treillis complets totalement ordonnés Morphologie mathématique : application de la théorie de treillis aux structures spatiales Les opérateurs morphologiques ont besoin d'une structure de treillis complet totalement ordonné. Treillis complet Un treillis complet L est un ensemble avec une relation d'ordre partiel ≤ (x ≤ x , x ≤ y et y ≤ x ⇒ x = y , x ≤ y et y ≤ z ⇒ x ≤ z , x , y , z ∈ L), ou plus généralement ≤Ω , dit ordre Omega, telle que pour tout sous-ensemble K ni ou non il existe un inmum (plus grand minorant) ∧K, et un supremum (plus petit majorant) ∨K. Ordre total Un ordre est dit total si deux éléments x et y distincts de L sont toujours comparables : x 6= y ⇒ x ≤ y ou y ≤ x 21 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres vectoriels Méthodes pour ordonner les données vectorielles 1 Ordre marginal : les vecteurs sont ordonnés selon chacune des dimensions séparément, c'est à dire composante par composante. 2 Ordre réduit : cet ordre utilise une fonction ξ pour ordonner les vecteurs. Typiquement, ξ est une distance généralisée à un vecteur de référence a ou une sorte de projection. 3 Ordre partiel : l'ordre partiel est fondé sur la structure géométrique des vecteurs (calcul de l'enveloppe convexe). 4 Ordre conditionnel : l'ordre conditionnel ou lexicographique est basé sur une certaine priorité dans la prise en compte des composantes. Il est possible de dénir plusieurs ordres lexicographiques pour la même famille de vecteurs. 22 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres vectoriels Exemples de diérents types d'ordres : Quatre points originaux : vi = (xi , yi ) Ordre Marginal Ordre Partiel 23 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres vectoriels Ordre réduit vi ≤ vj ⇔ dE (vi , v0 ) ≥ dE (vj , v0 ) with v0 = (0, 0) v i ≤ v j ⇔ d E ( vi , v 0 ) ≥ d E ( vj , v0 ) with v0 = (4, 3) Ordre conditionnel vi ≤ vj ⇔ xi < xj or {xi = xj and yi ≤ yj } vi ≤ vj ⇔ yi < yj or {yi = yj and xi ≤ xj } 24 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Erosion/Dilatation couleur et opérateurs dérivés Ordre total Ω, qui permet de dénir le supremum supΩ , ou ∨Ω , et l'inmum inf Ω , ou ∧Ω , pour les couleurs dans une certaine représentation ⇓ Généraliser tous les opérateurs classiques de la morphologie mathématique (avec des éléments structurants plats nB , de forme B et de taille homothétique n). Erosion couleur : εΩ,nB (f )(x ) = {f (y ) : f (y ) = ∧Ω [f (z )], z ∈ n(Bx )}, Dilatation couleur : δΩ,nB (f )(x ) = {f (y ) : f (y ) = ∨Ω [f (z )], z ∈ n(Bx )}. 25 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Erosion/Dilatation couleur et opérateurs dérivés Ouverture couleur : γΩ,nB (f ) = δΩ,nB (εΩ,nB (f )), Fermeture couleur : ϕΩ,nB (f ) = εΩ,nB (δΩ,nB (f )). Filtres Alternés Séquentiels : ASF (f )Ω,nB = ϕΩ,nB γΩ,nB · · · ϕΩ,2B γΩ,2B ϕΩ,B γΩ,B (f ). Gradient couleur : %Ω (f ) = ||δΩ,B (f ) − εΩ,B (f )||. Chapeaux haut forme couleur blanc et noir : ρ+ Ω,nB (f ) = ||f − γΩ,nB (f )||, et ρ− Ω,nB (f ) = ||ϕΩ,nB (f ) − f ||. 26 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Erosion/Dilatation couleur et opérateurs dérivés Reconstruction couleur : γΩrec (m, f ) = δΩi (m, f ), tel que δΩ (m, f ) = δΩ+1 (m, f ) (idempotence) et où δΩ (m, f ) = δΩ1 δΩ−1 (m, f ) est la dilatation géodésique de taille n avec m comme image marqueur. Nivellement couleur : i i n n λΩ (m, f )i = f ∧Ω δΩi (m) ∨Ω εiΩ (m), jusqu'au idempotence, i.e. λΩ (m, f ) = λΩ (m, f ) +1 . D'autres ltres comme le centre morphologique ζΩ (f ) ou les γϕ contrastes morphologiques κεδ Ω, (f ) et κΩ, (f ). i nB i nB 27 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Ωlex : ordre lexicographique ci <Ωlex cj ⇔ U i U c i U c i c < cjU = cjU = cjU ou et et V i V c i c < cjV = cjV ou et W i c < cjW L'utilisation de l'ordre conditionnel ou lexicographique implique forcément l'attribution d'une priorité aux diérentes composantes (dans ce cas à U , ensuite à V et nalement à W ). Dans la plupart des cas, la relation d'ordre de deux vecteurs sera décidée par la première condition de la cascade lexicographique. Il serait souhaitable de pouvoir contrôler la dépendance vis-à-vis de la première composante en rendant plus exible l'ordre lexicographique, tout en préservant le principe d'ordre total. 28 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Nous avons proposé une approche qui consiste à réduire d'une manière linéaire la marge dynamique de variation de la première composante : Ωα−lex : ordre lexicographique de module α U U dci /αe < dcj /αe U U dc /αe = dcj /αe ci <Ωα−lex cj ⇔ iU dci /αe = dcjU /αe ou et et V i V c i c < cjV = cjV ou et W i c Nous allons le noter de façon plus compacte par Ω ≡ (U |α → V ou Ω | . < cjW → W) lex U α VW 29 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Les ordres lexicographiques en RGB donnent des résultats qui ne sont pas homogènes et les ltrages sont peu stables. Les ordres lexicographiques en L*a*b ont besoin d'un traitement très particulier pour les composantes *a et *b dénies comme des axes opposés. Les ordres lexicographiques sont particulièrement intéressants lorsqu'ils sont utilisés dans l'espace LSH. 30 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemple de traitement vectoriel lexicographique en RGB de l'image f : fermeture par reconstruction de taille 30 avec un élément structurant carré ϕΩ,15 (f ). B f ϕrec Ω1 (f ) Ω1 ≡ (R → G → B ) R ,G ,B ϕrec Ω0 (f ), Ω0 = Ω0 ϕrec Ω2 (f ) Ω2 ≡ (G → R → B ) ϕrec Ω3 (f ) Ω3 ≡ (B → R → G ) 31 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemple de traitement vectoriel lexicographique en LSH de l'image f : érosion de taille 30 avec un élément structurant carré εΩ,30 (f ). B Ωlex L| α=1 S (H ÷0) Ωlex S| α=1 L(H ÷0) f Ωlex −(H ÷0)SL Ωlex −(H ÷270)SL 32 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Priorité à la luminance : Ω ≡ (L|α → S → −(H ÷ h0 )) 8 < dli /αe < dlj /αe dl /αe = dlj /αe ci <Ωα−lex cj ⇔ : i dli /αe = dlj /αe ou et si < sj ou et si = sj et (hi ÷ h0 ) > (hj ÷ h0 ) ou et si > sj ou et si = sj et (hi ÷ h0 ) > (hj ÷ h0 ) Ω ≡ (L|α → −S → −(H ÷ h0 )) 8 < dli /αe < dlj /αe dl /αe = dlj /αe ci <Ωα−lex cj ⇔ : i dli /αe = dlj /αe Il agit sur les couleurs par rapport à leur luminance, considérant que les couleurs claires et saturées sont les plus grandes pour le premier cas et claires et pas saturées pour le deuxième. La teinte est ordonnée selon la distance à partir d'une origine h0 , et est mise au troisième niveau pour minimiser son importance ; avec la priorité donnée aux couleurs proches à h0 . 33 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité pour la luminance : Ω = Ω | 10 → →( ÷0) lex L α= S H γΩ,15B (f1 ) γΩrec (f1 ) ϕΩ,15B (f1 ) ϕrec Ω (f1 ) f1 34 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Priorité à la saturation : Ω ≡ (S |α → L → −(H ÷ h0 )) 8 < dsi /αe < dsj /αe dsi /αe = dsj /αe ci <Ωα−lex cj ⇔ : dsi /αe = dsj /αe ou et li < lj ou et li = lj et (hi ÷ h0 ) > (hj ÷ h0 ) ou et li > lj ou et li = lj et (hi ÷ h0 ) > (hj ÷ h0 ) Ω ≡ (S |α → −L → −(H ÷ h0 )) 8 < dsi /αe < dsj /αe dsi /αe = dsj /αe ci <Ωα−lex cj ⇔ : dsi /αe = dsj /αe Les couleurs les plus saturées et plus brillantes sont les plus grandes pour le premier cas, et les plus saturées et plus sombres dans le deuxième. Mêmes considerations pour la teinte. 35 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité pour la saturation : Ω = Ω | 10 → →( ÷0) lex S α= L H δΩ,15B (f2 ) ϕrec Ω (f2 ) εΩ,15B (f2 ) γΩrec (f2 ) f2 36 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Priorité à la teinte : Ω ≡ (−(H ÷ h0 )) → S → L 8 < (hi ÷ h0 ) > (hj ÷ h0 ) (hi ÷ h0 ) = (hj ÷ h0 ) ci <Ωα−lex cj ⇔ : (hi ÷ h0 ) = (hj ÷ h0 ) ou et si < sj ou et si = sj et li < lj Les couleurs les plus proches à la teinte d'origine, et les plus saturées (et plus brillantes) sont les plus grandes. Cependant dû à la relation étroite entre les composantes de chrominance, la teinte et la saturation ; et surtout au problème de la signication de la teinte des pixels avec une saturation basse, les résultats ne sont pas satisfaisants. La solution passe par une pondération de la teinte avec la saturation, basée sur un changement de la position de la teinte sur le cercle unité en fonction de la saturation et de l'origine choisie. 37 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Priorité à la teinte pondéré par la saturation : Ω ≡ (−(H ÷ h0 )sat −weight → S → L) hk − h0 ) si (hk − h0 ) ≥ 0 hk∗ = (360 + (hk − h0 ) si (hk − h0 ) < 0 8 sup[hk∗ , 90(1 − si )] si 0 ≥ hk∗ ≥ 90 > > < ∗ 0 inf (1 + si )] si 90 < hk∗ ≥ 180 hk = > sup[[hhk∗,,90 90 ( 3 − s )] si 180 < hk∗ ≥ 270 i > k : inf [hk∗ , 90(3 + si )] si 270 < hk∗ < 360 8 0 0 > < (hi0 ÷ 0) > (hj0 ÷ 0) ou ci <Ωα−lex cj ⇔ (hi ÷ 0) = (hj ÷ 0) et si < sj ou > 0 0 : (hi ÷ 0) = (hj ÷ 0) et si = sj et li < lj 38 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité pour la teinte (h0 = 95 vert, plus proche du jaune que du rouge) : sans pondération Ω1 = Ω( ÷ 0 )→ → et avec pondération par la saturation lex H Ω2 = Ωlex (H ÷h0 ) h S L sat −weight →S →L δΩ1 ,25B (f3 ) ϕrec Ω1 (f3 ) δΩ2 ,25B (f3 ) ϕrec Ω2 (f3 ) f3 39 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par cascades lexicographiques Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité pour la teinte : origine de teintes h0 = 50 (jaune, plus proche du rouge et orange que du vert) Ω1 = Ω( ÷ 0 )→ → et h0 = 25 (orange, plus proche du rouge et jaune que du vert) Ω2 = Ω( ÷ 0 )sat weight → → lex H h S L lex H h − δΩ1 ,25B (f3 ) ϕrec Ω1 (f3 ) δΩ2 ,25B (f3 ) ϕrec Ω2 (f3 ) S L f3 40 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Généralisation des ordres totaux pour les couleurs, en dénissant un pré-ordre basé sur la distance de chaque point i à un couleur de référence c0 , kc − c0 k∆ . i Ω UVW ordre total ci <Ω cj kci − c0 kUVW > kcj − c0 kUVW ∆ ∆ kc − c kUVW = kc − c kUVW i j 0 ∆ 0U ∆ U ⇔ ou ci < cj U c = cjU et ciV < cjV iU c = cjU et ciV = cjV i ou et ou et W i c < cjW Nous le notons de manière compacte par Ω ≡ {k · kUVW , c0 = (c0U , c0V , c0W ) ` (U → V → W )}. ∆ 41 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Cette méthode d'ordre est très générale et elle peut être utilisée avec toutes les représentations couleur, y compris celles qui n'ont pas des cascades lexicographiques évidentes (RGB et L*a*b*), car les points couleur sont principalement ordonnés par rapport à leur distance à la référence. Le choix de c0 donne une grande exibilité pour l'adaptation des eets d'un opérateur aux structures d'une couleur particulière proche ou opposée de la couleur de référence. Pour simplier le nombre d'alternatives (pour des applications génériques de ltrage), et en nous fondant sur nos études sur les cascades lexicographiques, nous proposons de xer pour chaque représentation le choix des priorités des composantes comme suit : en RGB : ` (G → R → B ), en LSH : ` (L → S → −(H ÷ h0 )), où l'origine des teintes h0 correspond au même que pour cLSH = (l0 , s0 , h0 ), 0 en L*a*b* : ` (L → a → b). 42 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques On note aussi qu'il généralise les ordres Ω , i.e., en utilisant la distance pondérée k · k avec les poids M (ω1 , ω2 , ω3 ) = M (1, 0, 0) et en prenant comme référence la borne supérieure de la composante U , c0 = (c , −, −). Il existe une interprétation simple de cette famille d'ordres qui est aussi valable pour l'ordre des images à niveaux de gris (en prenant comme origine des niveaux de gris la borne supérieure t ) : La dilatation a la tendance à rapprocher vers la couleur de référence c0 et l'érosion à éloigner de la référence c0 . lex UVW M U max max 43 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison d'ouverture par reconstruction γΩ érosion εΩ,20 (f ) rec (f ), le marqueur est une B f RGB k · kRGB 2 c0 = (255, 255, 255) Lab k · kRGB 2 c0 = (255, 0, 0) Lab k · kM (1,0,0) c0 = (255, −, −) k · k2 c0 = (255, 128, 128) k · kM (1,1,0) c0 = (255, 0, −) k · kLSH 2 k · kLSH M (1,1,0) k · kLSH M (1,1,0) c0 = (255, 255, 0) c0 = (255, 255, −) c0 = (255, 0, −) 44 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison d'ouverture par reconstruction γΩ érosion εΩ,20 (f ) rec (f ), le marqueur est une B f RGB k · kRGB 2 c0 = (255, 255, 255) Lab k · kRGB 2 c0 = (255, 0, 0) Lab k · kM (1,0,0) c0 = (255, −, −) k · k2 c0 = (255, 128, 128) k · kM (1,1,0) c0 = (255, 0, −) k · kLSH 2 k · kLSH M (1,1,0) k · kLSH M (1,1,0) 45 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison de nivellement λΩ (f ), le marqueur est un FAS, ASFΩ,15 B (f ) f k · kRGB 2 c0 = (255, 255, 255) k · kRGB 2 c0 = (100, 50, 100) k · kLSH M (1,1,0) c0 = (255, 255, −) 46 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison de chapeau haut de forme pour l'extraction de détails ρ− Ω,5B = kϕΩ,5B − f k ϕΩ,5 , k · kRGB 2 c0 = (255, 255, 255) ϕΩ,5 , k · kRGB 2 c0 = (0, 0, 0) ϕΩ,5 , k · kLSH M (1,1,0) c0 = (255, 255, −) RGB ρ− Ω,5 , k · k2 c0 = (255, 255, 255) RGB ρ− Ω,5 , k · k2 c0 = (0, 0, 0) LSH ρ− Ω,5 , k · kM (1,1,0) c0 = (255, 255, −) f 47 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison de gradient %Ω pour la segmentation par LPE (marqueur interne pour la région du cheval et l'externe étant le borde de l'image) f %Ω , k · kLSH M (1,1,0) c0 = (255, 255, −) %Ω , k · kRGB 2 c0 = (255, 255, 255) %Ω , k · kRGB 2 c0 = (250, 110, 90) %Ω , k · kLSH M (1,1,1) c0 = (180, 128, 10) %Ω , k · kLSH M (0,0,1) c0 = (−, −, 10) 48 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison de contraste morphologique κΩ (f ) pour le rehaussement des contours f Lab κεδ Ω,1−iter , k · k2 c0 (255, 128, 128) RGB κγϕ Ω,9 , k · k2 c0 (255, 255, 255) RGB κεδ Ω,1−iter , k · k2 c0 (255, 255, 255) LSH κεδ Ω,1−iter , k · kM (1,1,0) c0 (255, 255, −) LSH κεδ Ω,1−iter , k · kM (1,1,0) c0 (255, 128, −) 49 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Ordres totaux des couleurs par distance à une référence complétés par cascades lexicographiques Comparaison de centre morphologique ζbΩ (f ) pour la suppression de bruit f ζbΩ , k · kLSH M (1,0,0) c0 (255, −, −) ϕΩ (γΩ , k · kRGB 2 c0 (255, 255, 255) ζbΩ , k · kRGB 2 c0 (255, 255, 255) ζbΩ , k · kLSH M (1,1,0) c0 (255, 255, −) ζbΩ , k · kLSH M (1,1,0) c0 (255, 128, −) 50 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Commençons par revoir les alternatives dans la dénition du résidu des ouvertures/fermetures, connu comme chapeau haut de forme. Chapeau haut de forme blanc, ρ+ (f ) : résidu entre la fonction numérique et une ouverture, i.e. B ρ+ (f )(x ) = f (x ) − γB (f )(x ). B Chapeau haut de forme noir, ρ− f : résidu entre une fermeture et la fonction numérique, i.e. B ρ− (f )(x ) = ϕB (f )(x ) − f (x ). B Chapeau haut de forme circulaire centré, ρ◦ (a) : variations rapides d'une fonction angulaire, i.e. B ρ◦B (a)(x ) = {− sup[νB◦ (z )], z ∈ Bx ]}. où ν ◦ (x ) = {− sup[a(x ) ÷ a(y ), y ∈ B ]}. B x 51 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Top-hat circular centré pour la teinte est invariant aux rotations et plus robuste face au bruit chromatique f1 ρ+ B (f1,H ) ρ◦B (f1,H ) f2 = f1c ρ+ B (f2,H ) ρ◦B (f2,H ) f3 = f1 + n ρ+ B (f3,H ) ρ◦B (f3,H ) 52 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Notre objectif est de dénir des chapeaux haut de forme couleur séparables en LSH : c'est-à-dire ceux qui sont obtenus à partir des composantes luminance, saturation et teinte séparément ; et ensuite les combiner pour avoir des résidus qui contient les détails chromatiques et achromatiques. 53 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Chapeau haut de forme chromatique ρCB (f ) = [fS × ρ◦B (fH )] ∨ ρ+ (fS ). B Cet opérateur extrait les variations chromatiques rapides, liées aux pics positifs de saturation et aux variations de teinte sur des régions saturées. Chapeau haut de forme achromatique blanc + ρA (f ) = |ρ↑B (f ) − ρCB (f )|. B où ρ↑ (f ) = ρ+ (f B B L ) ∨ ρ− (fS ) B donne les variations claires globales. Chapeau haut de forme achromatique noir − ρA (f ) = |ρ↓B (f ) − ρCB (f )|. B où ρ↓ (f ) = ρ− (f B B L ) ∨ ρ− (fS ) B donne les variations sombres globales. 54 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Exemple de top-hat chromatique dérivé de la teinte et de la saturation f fH fS ρ+ B (fH ) ρ◦B (fH ) fS × ρ◦B (fH ) 55 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Application des top-hat's couleur à l'extraction des détails d'une carte f ρC B (f ) ρ↓B (f ) − ρA B (f ) 56 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Application des top-hat's couleur à l'extraction des détails d'une carte f ρ↓B (f ) ρC B (f ) 57 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Opérateurs morphologiques de ltrage couleur Traitement marginal et combinaison en LSH : chapeaux haut de forme couleur Cette combinaison marginale des opérateurs est tout à fait pertinente pour les résidus ⇒ les images associées sont des fonctions numériques, ⇒ pas problème de fausses couleurs. D'autres opérateurs similaires peuvent être dénies en LSH, ou dans une autre représentation couleur, où l'information liée aux diérentes composantes est bien séparée et facile à interpréter. 58 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 59 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation marginale en LSH et combinaison contrôlée par la saturation Le fondement de l'approche est la formalisation de l'observation psycho-visuelle selon laquelle l'÷il segmente à l'aide des variations de teinte dans les régions saturées, et des variations de luminance dans les régions grises. f fL fS fH Voici le principe, segmentant séparément la luminance, la saturation et la teinte et en combinant les partitions de la luminance et de la teinte à l'aide de la saturation, qu'on prendra comme critère pour choisir en chaque endroit l'une ou l'autre classe des segmentations de la luminance et de la teinte. 60 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation marginale en LSH et combinaison contrôlée par la saturation Segmentation par sauts A , − 1 on met dans une même classe tous les points x où f (x ) dière de moins de k d'un extremum, on retire ces classes du plan de l'image, et on itère, la méthode dépend du seul paramètre positif k des sauts ; 2 les plus petites régions de la partition par sauts, avec une surface inferieur à a pixels, peuvent être ensuite éliminées par fusion ou croissance de régions. jump area k a Segmentons par cette méthode mixte les composantes scalaires de luminance et de teinte (après xer une origine h0 ). −area Ajump k =10,a=50 (fL ) −area Ajump k =20,a=50 (fL ) −area Ajump k =10,a=50 (fH ) −area Ajump k =20,a=50 (fH ) 61 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation marginale en LSH et combinaison contrôlée par la saturation L'idée pour combiner ces deux partitions consiste à réduire l'image de saturation à un ensemble X , qui corresponde aux pixels de saturation élevée, de restreindre la partition de la teinte à X , et celle de la luminance à X , puis de réunir les deux résultats dans une partition synthétique. Le procédé pour déterminer l'ensemble X consiste à seuiller une image lissée de la saturation : image mosaïque associée à la partition − A (f )(x ), en aectant ensuite à chaque classe la valeur , moyenne de la saturation de ses pixels pour obtenir f ). S S c S S jump area k a S mosaic S fSmosaic XS −area Ajump (f ) LSH −area Ajump (f )cont LSH 62 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation marginale en LSH et combinaison contrôlée par la saturation Segmentation couleur contrôlée par saturation A − (f ) Si A , − (f )(x ), A , − (f )(x ), et A − (f )(x ) désignent les classes de la luminance, de la teinte et de la synthèse au point x , il vient jump area LSH jump area k a L jump area jump H k a area LSH jump −area (fL )(x ) ∩ XSc (x ) si x ∈ XSc (x ) jump −area A (f )(x ) = jump −area LSH A (fH )(x ) ∩ XS (x ) k ,a si x ∈ XS (x ) A k ,a où X (x ) = Th (f (x )) et f est la mosaïque de f associée à la − partition A , (f ). La valeur de seuil s est obtenue automatiquement à partir de l'histogramme de f (séparation optimale achromatique/chromatique). S s jump k a mosaic S area S mosaic S S mosaic S 63 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation marginale en LSH et combinaison contrôlée par la saturation Exemple de segmentation d'une image couleur par combinaison contrôlée par la saturation −area Ajump k =20,a=50 (fL ) −area Ajump k =20,a=50 (fS ) −area Ajump k =10,a=50 (fH ) fSmosaic XS = Ths =25 −area Ajump (f ) LSH f Noter que cette méthode est dicilement généralisable à d'autres représentations couleur car c'est justement le rôle de la saturation qui permet de combiner aisément les partitions 64 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Le paradigme de segmentation morphologique est la Ligne de Partage des Eaux (LPE) avec des marqueurs imposés. Des approches hiérarchiques basées sur la LPE ont permis d'aborder des domaines pour lesquels le choix de marqueurs n'est pas facile, comme c'est le cas des images naturelles, images de vidéo-surveillance, etc. Parmi ces approches nous pouvons en souligner deux : 1 2 l'algorithme de cascades, Awfall (où l est niveau de l'hiérarchie), qui, l d'un niveau de la hiérarchie au suivant, élimine les contours complètement entourés par des contours plus forts ; les hiérarchies basées sur les valeurs d'extinction, en particulier les −v critères volumiques, Awshed (où n est le nombre de régions n volumiques à segmenter), qui combinent la taille et le contraste des régions, créant un bon critère pour évaluer la pertinence visuelle des régions. Ces algorithmes se bâtissent sur un gradient scalaire. 65 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Un gradient couleur doit être calculé pour appliquer la LPE à une image couleur. Pour toute fonction numérique f ∈ F(E , T ) nous pouvons calculer le module de son gradient comme le résidu d'une dilatation et une érosion, i.e., %(f (x )) = ∨[f (y ), y ∈ Bx ] − ∧[f (y ), y ∈ Bx ] = ∨[|f (y ) − f (y )|, y ∈ Bx ]. A partir de la dénition en termes d'accroissements et pour l'appliquer aux fonctions angulaires dénies sur le cercle unité, il sut de remplacer les accroissements par la diérence angulaire et ainsi obtenir le gradient circulaire centré, i.e., %◦ (a(x )) = ∨[a(x ) ÷ a(y ), y ∈ Bx ]. De la même manière, pour les fonctions couleur f dans une représentation UVW, nous pouvons aussi dénir le même type de gradient en utilisant une distance couleur : %UVW (f (x )) = ∨[||f (x ) − f (y )||UVW , y ∈ Bx ]. ∆ ∆ 66 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Ces dénitions sont utilisées pour construire des gradients couleur à partir des composantes L*a*b* et LSH (les composantes RGB étant fortement corrélées, leur intérêt pour la segmentation est moindre que les autres représentations). Gradient achromatique en L*a*b* L∗a∗b ∗ %L∗ (f ) = ∨[||f (x ) − f (y )||M (1,0,0) , y ∈ Bx ]. Gradient chromatique en L*a*b* L∗a∗b ∗ %ab (f ) = ∨[||f (x ) − f (y )||M (0,1,1) , y ∈ Bx ]. et b*. Distance Euclidienne pour L*. Distance Euclidienne pour a* Gradient couleur en L*a*b* L∗ a ∗ b ∗ %Lab (f ) = ∨[||f (x ) − f (y )||M (1,1,1) , y ∈ Bx ]. L*, a* et b*). Très utilisé en segmentation. Distance Euclidienne pour 67 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Gradient de luminance en LSH % (f ) = %(f (x )). L L Gradient de teinte en LSH % (f ) = %◦ (f (x )). H H Gradient chromatique en LSH % (f ) = f × %◦ (f (x )). L'utilisation de la teinte exclusivement produit des erreurs dans les régions achromatiques, qui ont une faible saturation, et il est plus intéressant de pondérer le gradient de la teinte par la saturation. HS S H Gradient achromatique LSH % (f ) = (1 − f ) × %(f (x )) + %(f (x )). Pour détecter les changements des régions chromatiques-achromatiques. LS S L S 68 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Gradient couleur en LSH %LSH (f ) = fS × %◦ (fH (x )) + (1 − fS ) × %(fL (x )). Gradient couleur complet en LSH % + (f ) = f × %◦ (f (x )) + (1 − f LS H S H S ) × %(fL (x )) + %(fS (x )). 69 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Exemple de segmentation d'une image couleur par LPE avec la même méthode (segmentation en 100 régions volumiques) selon diérents gradients en L*a*b* f −v wshed −v ab wshed −v Lab L∗ Awshed n=100 (% (f )) An=100 (% (f )) An=100 (% (f )) 70 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Exemple de segmentation d'une image couleur par LPE avec la même méthode (segmentation en 100 régions volumiques) selon diérents gradients en LSH −v L Awshed n=100 (% (f )) −v H Awshed n=100 (% (f )) −v HS Awshed n=100 (% (f )) f −v wshed −v LSH wshed −v LS +H (f )) LS Awshed n=100 (% (f )) An=100 (% (f )) An=100 (% 71 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Pour certains domaines d'application, nous pouvons être intéressés par une segmentation exclusivement focalisée sur les objets colorés de la scène, indépendamment de leur luminance. Le gradient % (f ) est indépendant des reets et des ombres portées et évidemment des changements limités d'intensité de la lumière. Si l'on compare à l'autre gradient chromatique, % (f ), nous constatons que celui-ci, pour le même nombre de régions à segmenter, est beaucoup plus sensible aux régions achromatiques. A l'opposé, une segmentation selon la luminance des objets avec % (f ), sans considérer l'information chromatique, pourrait être utile pour d'autres applications. D'autre part, le gradient achromatique % (f ) fournit les transitions de luminance entre les objets achromatiques et aussi les changements type achromatique-chromatique. HS ab L LS 72 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Gradient couleur total : gradient qui contient conjointement l'information pour extraire les contours achromatiques et chromatiques. Nous voulons que ce gradient soit robuste face à un changement dans l'éclairage de la scène ⇒ pour un même niveau de hiérarchie de segmentation, ou pour le même nombre de régions segmentées, les objets extraits soient relativement stables. Le gradient couleur en LSH par combinaison barycentrique à l'aide de la saturation du gradient de luminance et du gradient de teinte, % (f ), donne des bonnes segmentations pour des images génériques. Le gradient couleur complet % + (f ) (avec un terme de gradient de saturation) améliore les résultats, en équilibrant beaucoup plus les contours chromatiques/achromatiques. LSH LS H 73 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Segmentations associées aux diérents gradients en LSH. fillum1 wshed v (%HS (f )) n − A =175 wshed v (%L (f illum1 )) n − A =175 wshed v (%LS (f illum1 )) n − A =175 wshed v (%H (f illum1 )) n − A =175 wshed v (%LS +H (f illum1 )) n − A =175 74 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Le gradient couleur par distance Euclidienne dans l'espace L*a*b* fournit de bonnes segmentations lorsqu'on choisit l'illuminant correct pour la transformation (une tâche pas toujours facile). fillum1 A wfall (%Lab (f illum1 )), D 65 l =2 A wfall (%Lab (f illum1 )), CIEA l =2 fillum7 A wfall (%Lab (f illum7 )), D 65 l =2 A wfall (%Lab (f illum7 )), CIEA l =2 75 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Changement de la qualité des conditions d'illumination. wshed −v (%Lab (f illum1 )) n A =75 wshed −v (%Lab (f illum4 )) n A =75 fillum1 A =75 fillum4 A =75 wshed −v (%LS +H (f illum1 )) n wshed −v (%LS +H (f illum4 )) n 76 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Segmentation avec des gradients couleur Le gradient couleur complet dans l'espace LSH (qui n'a pas besoin d'une connaissance de l'illuminant) nous donne des segmentations légèrement plus robustes et stables face aux changements d'éclairage. L'usage de la distance perceptuelle en L*a*b* fait que parfois il est dicile de prévoir si la priorité est donnée à l'information chromatique ou à l'achromatique. La représentation LSH nous permet une meilleure maîtrise de la segmentation (priorité donnée à la couleur ou à l'intensité) et même une séparation satisfaisante de la contribution des composantes. 77 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Comparaison de segmentations morphologiques couleur en LSH (Berkeley Segmentation Dataset and Benchmark) ]3096 ]42049 A wfall (%LSH ) l =4 A jump−area , k = 20, a = 50 LSH 78 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Comparaison de segmentations morphologiques couleur en LSH (Berkeley Segmentation Dataset and Benchmark) ]108082 ]113016 A wfall (%LSH ) l =4 A jump−area , k = 20, a = 50 LSH 79 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Comparaison de segmentations morphologiques couleur en LSH (Berkeley Segmentation Dataset and Benchmark) ]143090 ]145086 A wfall (%LSH ) l =4 A jump−area , k = 20, a = 50 LSH 80 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Comparaison de segmentations morphologiques couleur en LSH (Berkeley Segmentation Dataset and Benchmark) ]101085 ]101087 A wfall (%LSH ) l =4 A jump−area , k = 20, a = 50 LSH 81 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Segmentation morphologique couleur Des éléments additionnels pour améliorer les segmentations On peut considérer l'amélioration de la qualité des segmentations par LPE sur des gradients couleur en introduisant notamment des informations additionnelles ou bien en modiant les algorithmes classiques de segmentation : Dénir des gradients de texture qui peuvent se combiner avec les gradients couleur. Travailler dans un cadre probabiliste qui dénit des fonctions de densité de probabilité de contours couleur et régularise le gradient. 82 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 83 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Détection d'inclusions parasitaires de paludisme dans des globules rouges f ϕrec Ω1 ,15B (f ) γΩrec 1 ,200B (f ) ϕrec Ω2 ,15B (f ) ϕrec Ω3 ,200B (f ) Ω1 = Ωlex L→S →(H ÷0) Ω2 = Ωlex (H ÷90)→S →L Ω3 = Ωlex (H ÷270)→S →L 84 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Segmentation d'un lymphocyte dans son noyau et son cytoplasme f ϕrec Ω1 ,20B (f ) γΩrec 1 ,150B (f ) ϕrec Ω2 ,20B (f ) γΩrec 2 ,150B (f ) Ω1 = Ωlex L→S →(H ÷0) Ω2 = Ωlex S →L→(H ÷0) 85 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Extraction des cellules marquées dans un tissue hétérogène f1 = δΩ,25 (f ) k · kLSH M (1,0.2,0) , c0 (255, 128, −) ϕrec Ω (f , f1 ) LSH k · kM (1,0.2,0) , c0 (255, 128, −) f2 = εΩ,75 (f ) k · kLSH M (1,0.2,0) , c0 (255, 128, −) γΩrec (f , f2 ) LSH k · kM (1,0.2,0) , c0 (255, 128, −) f 86 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Filtrage et rehaussement des spots (rouges ou jaunes) d'une puce à ADN f1 = ζbΩ (κεδ Ω,1−iter (f )) k · kLSH , c M (1,1,0) 0 (255, 128, −) f2 = γΩrec (f , εΩ,3 (f1 )) k · kLSH M (1,1,0) , c0 (255, 128, −) f3 = εΩ,15 (f2 ) k · kRGB , c (0, 128, 255) f4 = γΩrec (f , f3 ) RGB k·k , c (0, 128, 255) f 2 0 2 0 87 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Segmentation des hépatocytes marquées à la uorescence d'une puce à cellules f fg = %Ω (f ) k · kRGB M (2,1,0) , c0 (255, 255, −) f1 = γΩrec (f , εΩ,20 (f )) k · kRGB , c0 (255, 255, 255) 2 f2 = kf − f1 kRGB 2 fmrks = Max (γ10 (f2 )) Wshed (fg , fmrks ) 88 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Applications en microscopie biomédicale Extraction et segmentation des cellules cancéreuses avec marquage immunohistochimique f fg1 = %Ω (f1 ) k · kRGB ,c0 (90, 20, 20) 2 f1 = γΩrec (f , εΩ,30 (f )) k · kRGB , c0 (90, 20, 20) 2 fg2 = %Ω (f2 ) k · kRGB ,c0 (255, 255, 255) 2 f2 = γΩrec (f , εΩ,30 (f )) k · kRGB , c0 (255, 255, 255) 2 Green = wshed (fg1 , fmrks1 ) Red = wshed (fg2 , fmrks2 ) 89 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Conclusions et perspectives 1 Introduction 2 Notions de base 3 Opérateurs morphologiques de ltrage couleur 4 Segmentation morphologique couleur 5 Applications en microscopie biomédicale 6 Conclusions et perspectives 90 / 91 Apports de la morphologie mathématique couleur au ltrage et à la segmentation Conclusions et perspectives Conclusions et perspectives Application des opérateurs de la morphologie mathématique pour le ltrage et la segmentation d'images couleur. Forte liaison entre les propriétés de l'espace de représentation de la couleur et la construction/généralisation des opérateurs morphologiques couleur ; ce qui permet même d'introduire des nouveaux opérateurs. D'autres opérateurs peuvent être proposés pour la couleur ainsi comme d'autres applications. Représentation LSH est particulièrement intéressente pour le ltrage et la segmentation. Série de travaux cours sur nouvelles techniques morphologiques de représentation, ltrage, segmentation et quantication adaptées aux images hyperspectrales. 91 / 91
Documents pareils
Segmentation morphologique d`images multivariées: de la couleur
Notions de base espaces de représentation des images couleur, treillis des
images couleur, distances couleur.
Segmentation morphologique couleur opérateurs marginaux et
combinaison en LSH, segmenta...