Discussion :

[Matrim]

Bonjour a tous ,

mon problème est d'extraire les immeubles (par exemple en les binarisant) a partir d'une image (RGB) de type carte Mappy,
et donc polluée par un certain nombre d'informations (le texte recouvrant les bâtiments).
Sachant que certains endroits seraient de toute façon a reprendre a la main (typiquement là où un panneau recouvre un immeuble sur la carte).

A partir d'une certaine suite de traitements (morphologie mathématique : érosions, ouvertures, additions, squelettisation etc...)
je parviens a un résultat qui est pas trop trop mal mais qui n'est pas encore top notamment au niveau des zones ou le texte chevauche des bordures d'immeubles.
Je me demande si ce que ce genre de traitement a déjà ete fait ? ou bien qui pourrait me donner des conseils sur le traitement a appliquer ?

Par rapport a mon algo, Je pense qu'un axe d'amélioration pourrait être lors de la reconstruction de ligne rectiligne brisée (dans une image binaire avec les trames des immeubles, rejoindre les 2 bouts d'une ligne à l'endroit ou il y avait du texte).
Est ce que quelqu'un aurait un algo la dessus, ou mieux un code en C?

Je joins 2 images à titre d'exemple de données d'entrée.

Merci !

-----------------------------------------------------------------------

un petit rajout :

Quelques détails sur la démarche que je suis :
(méthode globale, même si je ne detaille pas l'application d'un filtre median ou d'une ouverture de temps a autre pour améliorer le rendu)



extraction uniquement du texte sur l'image d'origine et binarisation (à partir d'un seuillage)
-> imagenoms

extraction sur l'image d'origine de la zone en jaune correspondant uniquement aux bâtiments (grâce a un seuillage sur l'image RGB) et binarisation.
Donc on a des "trous" sur ces batiments (a l'interieur et/ou sur les bords) aux endroits où le texte etait present.
-> image1

rebouchage de ces trous :
pour cela je crée un masque correspondant a la zone bâtiments :
3 érosions sur l'image d'origine, puis seuillage sur l'image RGB de la zone en jaune correspondant aux bâtiments, et binarisation (sur ce masque il n'y a plus les petites séparations entre les immeubles).
je fais un NOR entre ce masque et l'image comprenant uniquement le texte (imagenoms), afin d'obtenir :
une image (binaire) avec le texte présent seulement au niveau des bâtiments.

Puis j'ajoute cette image dans le but de reboucher les trous
-> image2
J'ai maintenant une image binaire où sont présents les immeubles, mais aussi :
- des raccordements entre les immeubles,a l'endroit ou le texte était présent entre 2 immeubles
- des petites excroissances, a l'endroit ou le texte était a cheval entre 1 immeuble et la rue.




pour faire disparaitre les raccordements entre les immeubles, je vais tenter d'isoler ces raccordements, puis de les soustraire a image2 :

dans un premier temps, je me débrouille pour obtenir une image comprenant seulement les lignes entourant les immeubles (s'obtient facilement a partir d'un seuillage sur l'image RGB)
-> image3
J'obtiens cette image, mais un certain nombre de lignes ne sont pas fermées (là ou il y avait du texte), alors pour les fermer au mieux je :
- fais 5 dilate pour allonger les lignes (nombre choisi 1 peu a la louche, assez grand pour qu'il y ait un effet visible mais pas trop pour ne pas mixer plusieurs lignes proches)
- squeletise l'image autant que possible
le résultat est l'image binaire contenant les contours des immeubles, où un certains nombre de segments "troués" se sont recollés. Ce n'est pas le cas des segments où le trou était trop large.
-> image3'

Je multiplie cette image binaire (image3') par l'image binaire contenant les noms, donc le résultat est une image qui contient uniquement les zones où le texte se superpose aux bordures d'immeubles.

Je soustrais cette dernière image à image2 afin de faire disparaitre tant que possible les raccordements entre immeubles.

[pseudocode]

Je dirais une sorte d'inpainting vectoriel, le problème etant de gérer la rencontre de 2 segments.

[Sylvain Togni]

Exploiter les couleurs aussi, c'est à dire ne boucher que les trous laissés par le texte : chaque frontière orange qui est interrompue par du texte noir est prolongée dans sa continuité.

[ToTo13]

Bonjour,

pourquoi ne pas commencer par segmenter en fonction des couleurs ?
Cela isolera certaines parties comme les rues, puis une simple fermeture supprimera le texture.

[Matrim]

Merci,
pour vos avis et suggestions.

inpainting vectoriel : de quoi s'agit il ?

En effet l'avantage de travailler avec des images RGB est qu'il est facile d'isoler les contours en orange.
j'obtiens donc assez directement les image que je nomme mapX_segmentée.
il y a bien sur des trous dans certains raccordements au niveau où du texte est présent sur l'image de départ.
Pour tenter de reboucher ces discontinuités dans les segments, je vais appliquer 2 fois le traitement :
(2xdilatation + squeletisation),
ce qui me donne les image que je nomme mapX_traitée.

c'est une méthode qui a l'avantage d'être simple car elle utilise seulement la morphologie mathématique,
j'utilise des dilatations pour "allonger" quelque peu les lignes incompletes, et une squelettisation pour revenir à l'état initial.
l'inconvénient est que je ne peux pas faire trop de dilatations sous peine de déformer l'image, et donc je ne peux pas de toute façon reboucher les trous trop grands au milieu d'une ligne.

C'est pour cela que je me disais qu'il devait déjà exister une façon de fermer tous les segments d'une image.

Par rapport a mon problème global, ce traitement visant a reboucher les lignes est une étape qui me permettrait de séparer ensuite correctement les bâtiments qui se touchent.

[pseudocode]

inpainting vectoriel : de quoi s'agit il ?

Comme l'inpainting par isophote, mais en utilisant les segments de droites comme support.

[Matrim]

En effet Pseudocode, j'ai été voir sur le site ton module pour image J de inpainting par isophote, le résultat est chouette, mais ca n'est pas super efficace dans le cas de mes images.
Ce que tu dis c'est qu'il faudrait reprendre le module pour travailler sur des segments ?
Merci

[pseudocode]

Ce que tu dis c'est qu'il faudrait reprendre le module pour travailler sur des segments ?

oui, c'est une idée...

comme ton image est très géométrique, le gradient (orientation) et de la valeur (couleur) sont plus simples à estimer. En résumé ça donnerait:

• Soit le pixel manquant est "au bout" d'un seul segment, et dans ce cas on poursuit le tracé.
• Soit le pixel manquant est "au bout" de plusieurs segments, et dans ce cas on rejoint les segments.
• Soit le pixel manquant n'est pas "au bout" d'un segment, et dans ce cas il prend la couleur de la zone.

Ça demande a être peaufiné, mais c'est un début.