Discussion :

[Orus]

J'ai une base d'image, et je cherche à identifier leur contenu en les comparant.
On suppose donc que certaines constitueront une base annoté manuellement

pour simplifier la chose, on m'a demandé d'extraire le profil grace à l'horizon
(j'ai réalisé un truc assez basique qui ne peut marcher que sur une partie des images mais ca suffit pour s'interesser à la suite)
j'ai donc des images binaires contenant le profil des images traitées

le probleme est que sur une image on peut avoir divers objets, ou des objets à l'échelle différente

donc je me demandais si rien qu'avec ce profil, on pouvait arriver à déterminer si les images étaient corrélées ?
l'avantage est qu'on a qu'un ensemble de points restreints

je pense qu'en prenant un groupe de points, et en les testant tout le long de l'autre image ca pourrait donner quelquechose

Sinon les images de bases sont des images en niveau de gris
2 exemples d'images assez proches et de leur profil :
http://univ.anhor.com/Stage/DATA/Dat.../3_001_1_R.jpg -> http://bp0.blogger.com/_lvcwrI5TIgU/..._R_horizon.jpg
http://univ.anhor.com/Stage/DATA/Dat.../3_001_4_R.jpg -> http://bp0.blogger.com/_lvcwrI5TIgU/..._R_horizon.jpg

merci d'avance !

[ToTo13]

Bonjour,

ce que tu cherches s'appelle le "matching".
Il y a des tas de chose là dessus :
- Tu choisis des caractérisques ou des méthodes de caractérisations sur ton image.
- Ensuite tu utilises des méthode de matching, comme par exemple les distances entre critères.

Bonne continuation.

[pseudocode]

pour simplifier la chose, on m'a demandé d'extraire le profil grace à l'horizon (j'ai réalisé un truc assez basique qui ne peut marcher que sur une partie des images mais ca suffit pour s'interesser à la suite)

Je suppose qu'on t'a demandé ca afin d'avoir a traiter un signal a 1 dimension:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

y = f(x) , avec x variant entre 0 et la largeur de ton image.

De plus, ton signal (l'horizon) est censé etre continu. Donc tu peux supprimer les points aberrants et les remplacer par une approximation lineaire.

je pense qu'en prenant un groupe de points, et en les testant tout le long de l'autre image ca pourrait donner quelquechose

Oui, ca s'appelle la cross-correlation. Ca permet de calculer la "ressemblance" entre 2 signaux. Dans ton cas, le plus simple c'est de se créer une librairie de "motifs" (pattern) spécifiques a tes horizons.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
Cross-correlation entre un signal f() (image) et un signal p() (pattern)
 
                         Somme[ (f(x) - mf) * (p(x-d)-mp) ]
r(d) = ----------------------------------------------------------------- 
       Racine[ Somme[(f(x) - mf)^2] ] * Racine[ Somme[(p(x-d) - mp)^2] ]

mf et mp sont les moyennes des 2 signaux. Les sommes varient entre 0 et la largeur de l'image. Pour le pattern (qui est moins large que l'image) on considere qu'il se repete a l'infini.

Tu peux ainsi calculer la courbe r(d), avec d variant entre 0 et la largeur du pattern. Tu prend le maximum de cette courbe, et ca te donne ton facteur de correlation.

Tu calcules ce facteur de correlation pour tous les motifs de ta librairie, et tu gardes les motifs qui ont le plus gros score. Enfin tu classifies ton image a l'aide des "annotations" associées a ces motifs.

le probleme est que sur une image on peut avoir divers objets, ou des objets à l'échelle différente

donc je me demandais si rien qu'avec ce profil, on pouvait arriver à déterminer si les images étaient corrélées ?

Non, pas avec la formule que j'ai donnée.

En effet, elle prend seulement en compte les translations. Mais tu peux modifier la formule pour rajouter un coefficient d'echelle. Tu obtiendra ansi une famille de courbes r(d).

[Orus]

Je suppose qu'on t'a demandé ca afin d'avoir a traiter un signal a 1 dimension:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

y = f(x) , avec x variant entre 0 et la largeur de ton image.

Oui je pense que c'etait pour pouvoir commencer par faire un traitement pas trop compliqué
On va surement compléter apres avec d'autres primitives pour améliorer les résultats

De plus, ton signal (l'horizon) est censé etre continu. Donc tu peux supprimer les points aberrants et les remplacer par une approximation lineaire.

Oui actuellement j'ai un ligne d'horizon plutot discontinue, il faut que je la transforme en courbe continue pour que les traitements soient correctes apres

Oui, ca s'appelle l'auto-correlation. Ca permet de calculer la "ressemblance" entre 2 signaux. Dans ton cas, le plus simple c'est de se créer une librairie de "motifs" (pattern) spécifiques a tes horizons.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
Auto-correlation entre un signal f() (image) et un signal p() (pattern)
 
                         Somme[ (f(x) - mf) * (p(x-d)-mp) ]
r(d) = ----------------------------------------------------------------- 
       Racine[ Somme[(f(x) - mf)^2] ] * Racine[ Somme[(p(x-d) - mp)^2] ]

mf et mp sont les moyennes des 2 signaux. Les sommes varient entre 0 et la largeur de l'image. Pour le pattern (qui est moins large que l'image) on considere qu'il se repete a l'infini.

Tu peux ainsi calculer la courbe r(d), avec d variant entre 0 et la largeur du pattern. Tu prend le maximum de cette courbe, et ca te donne ton facteur de correlation.

Tu calcules ce facteur de correlation pour tous les motifs de ta librairie, et tu gardes les motifs qui ont le plus gros score. Enfin tu classifies ton image a l'aide des "annotations" associées a ces motifs.

ok merci pour la méthode !
pour les pattern, il vaut mieux que je les trace à la main ?
il faut en tout cas que j'en définisse suffisamment pour couvrir tous les angles de vue

Non, pas avec la formule que j'ai donnée.

En effet, elle prend seulement en compte les translations. Mais tu peux modifier la formule pour rajouter un coefficient d'echelle. Tu obtiendra ansi une famille de courbes r(d).

ok c'est important car les photos sont pas souvent prises aux memes endroits ce qui donne un chateau à différentes échelles

[pseudocode]

pour les pattern, il vaut mieux que je les trace à la main ?

Moi je le ferai pas a la main. Je prendrai Paint et je decouperai des petits blocs caracteristiques dans tes images d'horizon (genre les créneaux).

Pour optimiser, je précalculerai le signal correspondant a ce motif (genre un fichier creneaux.csv avec les valeurs)

il faut en tout cas que j'en définisse suffisamment pour couvrir tous les angles de vue. ok c'est important car les photos sont pas souvent prises aux memes endroits ce qui donne un chateau à différentes échelles

En premiere approche, tester tes patterns a differentes echelles devrait marcher.

En seconde approche, tu peux utiliser des algorithmes d'extraction de "points d'interet" (detecteur de Harris, ...). Ces algo sont robustes face aux décalages ou changement d'echelle du signal, ce qui veut dire qu'ils te sortent les memes points meme si le signal est a 2 echelles differentes. Apres il faut comparer les "points d'interet" de l'horizon et du motif avec une distance invariante aux homotheties.

Enfin bon, c'est p-e un peu trop compliqué pour ton probleme actuel

[Orus]

Moi je le ferai pas a la main. Je prendrai Paint et je decouperai des petits blocs caracteristiques dans tes images d'horizon (genre les créneaux).

Pour optimiser, je précalculerai le signal correspondant a ce motif (genre un fichier creneaux.csv avec les valeurs)

découper un objet en plusieurs blocs caractéristiques ?

En premiere approche, tester tes patterns a differentes echelles devrait marcher.

En seconde approche, tu peux utiliser des algorithmes d'extraction de "points d'interet" (detecteur de Harris, ...). Ces algo sont robustes face aux décalages ou changement d'echelle du signal, ce qui veut dire qu'ils te sortent les memes points meme si le signal est a 2 echelles differentes. Apres il faut comparer les "points d'interet" de l'horizon et du motif avec une distance invariante aux homotheties.

Enfin bon, c'est p-e un peu trop compliqué pour ton probleme actuel

durant les études bibliographiques que j'ai faite, j'ai pu lire des infos sur les points d'interets et le détecteur de Harris, c'est vrai que c'est interessant
mais ces points qu'il détecte sont un peu bizarre parfois, donc faut voir ce que ca donne

on verra ca peut etre apres

[pseudocode]

découper un objet en plusieurs blocs caractéristiques ?

Oui. Dans une des 2 images d'horizon que tu as donnés, tu peux découper un bloc de 64x64 pixels contenant seulement les créneaux ( /\/\/\/\ ). Ce motif est vraiment spécifiques aux chateaux.

Tiens ca me fait penser que ca serait mieux d'inverser la formule que j'ai donné. Plutot que de faire "translater" l'image sur un motif qui se repete a l'infini, ca serait mieux de "translater" le motif sur la largeur de l'image.

Bref, utiliser f(x-d) et p(x) avec des sommes allant de 0 a la largeur du motif, et faire varier d entre 0 et la largeur de l'image (et avec mf la moyenne du signal f() sur l'intervale considéré)

[Orus]

Oui. Dans une des 2 images d'horizon que tu as donnés, tu peux découper un bloc de 64x64 pixels contenant seulement les créneaux ( /\/\/\/\ ). Ce motif est vraiment spécifiques aux chateaux.

Tiens ca me fait penser que ca serait mieux d'inverser la formule que j'ai donné. Plutot que de faire "translater" l'image sur un motif qui se repete a l'infini, ca serait mieux de "translater" le motif sur la largeur de l'image.

Bref, utiliser f(x-d) et p(x) avec des sommes allant de 0 a la largeur du motif, et faire varier d entre 0 et la largeur de l'image (et avec mf la moyenne du signal f() sur l'intervale considéré)

ok mais si pourquoi comparer qu'un petit bout ? et pas l'objet en entier ?

sinon on m'a conseillé, de passer l'horizon discontinue en un signal 1D continu, et de réaliser des corrélations entre les signaux

[pseudocode]

ok mais si pourquoi comparer qu'un petit bout ? et pas l'objet en entier ?

Ah la, c'est a toi de voir si tu dois identifier une images lorsque son horizon "complet" sont indentique a un autre horizon, ou lorsque son horizon "contient" un motif caracteristique.

sinon on m'a conseillé, de passer l'horizon discontinue en un signal 1D continu, et de réaliser des corrélations entre les signaux

Ca me parrait completement indispensable. D'ailleur je t'ai deja fait cette remarque.

[Orus]

Ah la, c'est a toi de voir si tu dois identifier une images lorsque son horizon "complet" sont indentique a un autre horizon, ou lorsque son horizon "contient" un motif caracteristique.

c'est vrai que dans certaines images on aura qu'une partie du motif, mais si on découpe en plusieurs morceaux, faut bien vérifier que les morceaux se suivent dans le bon ordre

Ca me parrait completement indispensable. D'ailleur je t'ai deja fait cette remarque.

en effet, dans le 1er post, j'avais oublié
d'apres ce qu'on m'a dit il y a deja des fonctions dans matlab pour tester les corrélations
il faudrait donc que je réalise des formes références, et que pour les images à traiter je récupère l'horizon et que je le transforme en signal 1D

[Orus]

De plus, ton signal (l'horizon) est censé etre continu. Donc tu peux supprimer les points aberrants et les remplacer par une approximation lineaire.

Le problème va etre d'arriver à définir quels sont les points qui sont mauvais qu'il faut donc corriger

J'ai maintenant une courbe du profil, et on voit apparaitre des pics du à ces fameux points aberrants
http://bp3.blogger.com/_lvcwrI5TIgU/...h/signal1D.jpg

j'ai arbitraitement choisi de tester de corriger les points plus haut ou plus bas des 2 voisins de chaque coté
http://bp2.blogger.com/_lvcwrI5TIgU/..._signal1D2.jpg
ca en supprime quelques uns mais la majorité est encore la, car il doit y avoir des groupements de points qui sont faux (genre 4/5 points je pense).

enfin l'autre question que je me pose est à quel moment s'en occuper ? sur l'image contenant tous les contours, celle avec le profil ou sur la courbe ?

[pseudocode]

enfin l'autre question que je me pose est à quel moment s'en occuper ? sur l'image contenant tous les contours, celle avec le profil ou sur la courbe ?

Sur l'image ca serait l'ideal, mais l'algo parfait n'existe pas, donc passons.

Sur le profil c'est deja tres bien. Il faut reperer les groupes de points isolés et les supprimer. Apres on construit un signal continu en "inventant" les points manquants.

En dernier ressort sur la courbe, avec un filtre passe-bas. Mais c'est moins bon.

[Orus]

Sur l'image ca serait l'ideal, mais l'algo parfait n'existe pas, donc passons.

Sur le profil c'est deja tres bien. Il faut reperer les groupes de points isolés et les supprimer. Apres on construit un signal continu en "inventant" les points manquants.

En dernier ressort sur la courbe, avec un filtre passe-bas. Mais c'est moins bon.

oui pour l'instant c'est plutot sur l'image que j'essaye de régler ca
une opération morphologique de suppression de points isolés à échelle réduite élimine pas mal de pixels inutiles du ciel

[Orus]

apres avoir du avancer d'autres aspects j'ai retravaillé la dessus

par contre r donne des valeurs entre -1 et 1, dois je prendre la valeur absolue de la valeur ?

[Flo.]

Salut,

une autre technique pour comparer 2 signaux consiste à calculer les séries de Fourier des 2 signaux puis de comparer leurs coefficients : technique des descripteurs de Fourier.

C'est une technique assez interessante (largement répandue dans le edges-matching) dans la mesure ou on contrôle le degré de matching que l'on veut.

Plus la série partielle est "longue" plus le signal modélisé sera proche du signal réel. Plus la série est "courte" plus le signal modélisé sera approximatif. Cela a l'avantage de résoudre le problème du bruit qui sera directement "lissé". Si on a une comparaison facile, on utilise une série "courte". Et à l'inverse, si on veut détromper 2 signaux proches, on utilise une série plutôt "longue". Bien entendu, plus la série est "courte" plus le calcul est rapide .

Une fois la série calculée, la comparaison se fait uniquement sur les coeffs de Fourier ... la comparaison est donc rapide et triviale.

Flo.

[Orus]

Salut,

une autre technique pour comparer 2 signaux consiste à calculer les séries de Fourier des 2 signaux puis de comparer leurs coefficients : technique des descripteurs de Fourier.

C'est une technique assez interessante (largement répandue dans le edges-matching) dans la mesure ou on contrôle le degré de matching que l'on veut.

Plus la série partielle est "longue" plus le signal modélisé sera proche du signal réel. Plus la série est "courte" plus le signal modélisé sera approximatif. Cela a l'avantage de résoudre le problème du bruit qui sera directement "lissé". Si on a une comparaison facile, on utilise une série "courte". Et à l'inverse, si on veut détromper 2 signaux proches, on utilise une série plutôt "longue". Bien entendu, plus la série est "courte" plus le calcul est rapide .

Une fois la série calculée, la comparaison se fait uniquement sur les coeffs de Fourier ... la comparaison est donc rapide et triviale.

Flo.

ok merci pour l'information, je vais me renseigner la dessus voir ce que ca peut donner

[pseudocode]

apres avoir du avancer d'autres aspects j'ai retravaillé la dessus

par contre r donne des valeurs entre -1 et 1, dois je prendre la valeur absolue de la valeur ?

heu non... +1 est une correspondance parfaite (signaux superposables) et -1 est une "anti" correspondance (signaux inversés).

C'est entre -1 et 1 parceque j'ai donné la formule de la cross-correlation normalisée (avec les racines au denominateur).

[pseudocode]

une autre technique pour comparer 2 signaux consiste à calculer les séries de Fourier des 2 signaux puis de comparer leurs coefficients : technique des descripteurs de Fourier.

C'est une technique assez interessante (largement répandue dans le edges-matching) dans la mesure ou on contrôle le degré de matching que l'on veut.

Pour commencer dans le pattern matching, la bonne vieille correlation permet de se faire les dents. Surtout en rajoutant des parametres (offset, echelle, ...) pour obtenir des familles de courbes.

Apres c'est vrai que l'analyse spectrale permet de faire beaucoup de jolies choses. Deja c'est plus rapide... et c'est plus puissant. Le tout est d'arriver a manipuler les deux concepts "Domaine spatial" et "Domaine temporel".

[Orus]

heu non... +1 est une correspondance parfaite (signaux superposables) et -1 est une "anti" correspondance (signaux inversés).

C'est entre -1 et 1 parceque j'ai donné la formule de la cross-correlation normalisée (avec les racines au denominateur).

ok
et si la courbe atteint à la fois 1 et -1 ?

[mchk0123]

--- En ce qui à trait aux points abérrants ---

Pour la transformée de Fourier je ne penses pas que cela soit trés facile d'utilisation dans ton cas. En effet, les quelques pics du aux points abérrants vont engendrer des echos dans le spectre (après transformation) qui vont être assez difficiles à détecter et supprimer simplement.

Sans transformer ta courbe y = f(x), tu peux essayer simplement de faire un filtrage à base de médianne en prenant une fenêtre qui soit légèrement supérieure au double de la largeur des pics (c'est à dire quelques dizaines de pixels). Si tu ne sait pas comment on fait, je pourrait t'aider.

Ce filtrage est à réaliser avant de passer du discret au continu.

Pour la suite on verra après.