Discussion :

[jlf]

bonjour

je voudrais réaliser un soft capable de sortir des chronophotographies d'un objet en mouvement filmé depuis une caméra fixe (fond à peu près stable)

la méthodologie serait la suivante : je cible sur la première photo la zone où se trouve l'objet à suivre, et le soft devrait être capable de le retrouver sur les photos suivante à un emplacement différent

le pbm est que l'objet change de taille au fil du mouvement du fait de la perspective (il s'éloigne ou se rapproche), et aussi que ses contours ne sont pas très nets si la vitesse est grande (caméscope bas de gamme) et donc changent avec la vitesse, même les couleurs changent un peu sur la durée de la séquence

impossible donc de rechercher sur l'image suivante exactement le même paquet de pixels, il faut faire des approximations

je me disais par exemple qu'en sommant les couleurs de tous les pixels de la zone je pourrais scanner l'image suivante pour rechercher une zone de même taille dont la somme des couleurs serait la même à un taux d'erreur près (taux fixé en paramètre)

quelqu'un a déjà essayé ce genre de truc, ou il existe sans doute des algos d'analyse plus performants ?

merci de votre aide
bien amicalement
jlf

[progfou]

Le problème va essentiellement être la puissance de calcul nécessaire.
Tout dépend de la vitesse de prise de vue et de la qualité de celle-ci.
Je pense (je dis bien je pense ) qu'un fft permet des interpolations assez précises pour retrouver l'objet.
Mais ça dépend aussi du type d'image !
Bref, donne un peu plus de détails

[jlf]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Tout dépend de la vitesse de prise de vue et de la qualité de celle-ci. 
Je pense (je dis bien je pense  ) qu'un fft permet des interpolations assez précises pour retrouver l'objet. 
Mais ça dépend aussi du type d'image ! 
Bref, donne un peu plus de détails

la qualité est pas géniale, notamment la vitesse d'obturation est insuffisante pour avoir des contours nets quand ça va un peu vite

un fft c'est quoi ?

pour le type d'image que veux tu dire ?
je fais une acquisition DV => DVD, puis j'extrais des séquences d'images (bmp ou tif) via VirtualDub

[progfou]

fft (une, désolé, c'était une faute d'orthographe) = fast fourier transform
Transformée de fourier, tu connais ?
Si oui, ben c'est ça.
En jouant sur le spectre de l'image, tu peux avoir une information plus précise, en zoomant par interpolation.
Maintenant, si l'image est pas belle, ça va pas être simple.
Quelle résolution as-tu, et est-ce que ton oeil voit facilement l'objet ?

[jlf]

Transformée de fourier, tu connais ?

pas vraiment non, tout au plus ça me rappelle de vagues souvenirs

Quelle résolution as-tu, et est-ce que ton oeil voit facilement l'objet ?

720x576 et couleur 24b en général (ça dépend de la provenance du film)

oui, l'oeil voit facilement l'objet (toujours une bille) mais en début de trajet (quand ça va un peu vite) il est dédoublé sur l'image, le double étant très flou et l'original relativement clair (je peux mettre en ligne une ou deux photos si nécessaire ?)

[jlf]

en relisant je pense qu'une info de base manque à mes réponses :

les séquences sont toujours tournées à 25 images/sec (PAL) ou 29.9 (NTSC) et mon objet ne dépasse jamais la vitesse de 10 m/s

ce qui implique :

1) qu'il n'y a jamais une grosse distance entre les objets de 2 photos successives donc peu de pbms de changements de taille liés à la perspective

2) il n'y a jamais non plus de gros changements d'éclairage ou de polutions liées à defectuosité du camescope

il y a un peu de ces deux quand même, impossible de rechercher une signature de zone exactement identique, mais à chaque fois on est quand même "très près" en couleur et en taille

donc en fait mon pbm revient à identifier du mieux possible la signature d'un paquet de pixels donné et d'évaluer la différence entre deux signatures
comment peut on au mieux caractériser un paquet de pixels sans trop se préoccuper de l'ordonnancement exact des pixels à l'intérieur de la zone, et évaluer la différence entre eux ?

[progfou]

As-tu essayé de voir si tu ne puvais pas expliter le MPEG2, notament les images prédictives ?
La tranformée de fourier est importante en traitement du signal...
Il faudrait regarder cela de près !

Sinon, la bille se déplace dans un fond uni, ou dans un environnement complexe ?
Que donne un histogramme de l'image ? (Gimp le fait)

[mathieu_t]

Oui effectivement le mpeg2 pourrait certainement te donner des précisions sur où est l'objet --> tu suis les vecteurs de déplacement d'une image à l'autre... Peut-être (peut-être) que grâce à ça on peut s'affranchir des changements d'échelle de l'objet (vu que d'une image à l'autre l'objet grossit peu)...

[jlf]

[mpeg2]

je n'ai pas toujours le film source, rien que les images

[fourrier]

j'ai un peu regardé mais c'est difficile pour moi

[histogrammes]

je viens de regarder, là c'est peut-être une piste à ma portée

est ce que l'histo d'une image constitue une bonne signature d'icelle ?

si oui je pourrais calculer l'histo d'une petite zone contenant mon objet et rechercher sur la photo suivante une zone de même taille/forme la plus ressemblante

mais comment exprimer le degré de ressemblance entre deux histos ?

la première chose qui vient à l'esprit est de calculer leur distance euclidienne, en considérant que par exemple l'histo "rouge" est un vecteur à 256 dimensions (en discrétisant au besoin)

mais est-ce que la distance euclidienne signifie quelque chose visuellement, ou existe t-il d'autres "distances" plus appropriées ?

[mathieu_t]

est ce que l'histo d'une image constitue une bonne signature d'icelle

Oh que non ! tu peux avoir le même histo pour deux objets complètement différents !! ça marchera que si tu as un fond relativement uni et surtout un fond ambiant différant suffisamment en intensité de ton objet.
Dans ce cas, c'est super simple, tu binarises la zone autour de ton objet en faisant un seuillage grâce à l'histo et tu cherches dans l'image suivante en faisant encore une binarisation dans une zone à peu près similaire...
Mais bon je pense pas vu ce que t'as dit que tel est le cas...

je n'ai pas toujours le film source, rien que les images

?? Si tu as toutes les images (25 images par secondes) tu as un film non ?
Le mpeg ça sert à compresser mais ce qui était utile pour toi c'est qu'on regarde d'une image à l'autre les mouvements (genre le pixel (240,122) bouge en (240,124) sur l'image suivante etc....)
Donc toi tu n'as pas besoin de mpeg 2, tu dois juste déterminer le mouvement... Regarde sur le net il y a plein de techniques dont la plus simple consiste à faire la différence entre 2 images consécutives (enfin en gros, mais je veux pas dire de c... alors faut que je cherche un peu).

Et la fft, c'est un petit peu la base du traitement d'images, on s'en sert à toutes les sauces, et c'est ce qui permet de comprendre ensuite des trucs plus complexes comme la transformée en ondelettes...

A+

[mathieu_t]

Voilà je viens de retrouver quelques références ou techniques...

Donc tu peux faire la différence pour déterminer le mouvement... Mais si j'ai bien compris tu veux suivre ton objet...
Donc une technique simple est de partir d'une image de référence (fond sans rien à part le paysage ambiant). Ensuite tu compares par rapport à l'image de référence ce qui a changé, et donc là c'est facile de déterminer où est l'objet (surtout si il n'y a qu'un objet sur le fond!) (et sinon tu prends parmi les objets qui ont bougé celui qui ressemble le plus à celui que tu cherches).
Pour ça regarde du côté de [PINEAU 91].

Ensuite tu as une technique bien connue appelée lebloc matching qui regarde d'une image à l'autre quel est le bloc (autour de l'ancien bloc) qui ressmble le plus à l'ancien (via des techniques de corrélation).

Des techniques plus poussées : filtrage temporel récursif (kalman) [Crowley, Deriche 1985] mais j'ai pas de lien à donner... faut chercher du côté de http://scholar.google.com/...


Je dirais que la technique de PINEAU semble la plus simple si tu as un fond fixe, et sinon le bloc matching donne de bons résultats pour les fonds non fixes.
A +

[progfou]

D'où la question que j'avais posé vis à vis du fond à laquelle je n'ai eu aucune réponse...
Poste une ou deux images à la limite, que l'on voit ce que ça donne !

[jlf]

D'où la question que j'avais posé vis à vis du fond à laquelle je n'ai eu aucune réponse...

difficile de répondre parce que j'ai des images de toutes nature, de la meilleure à la pire

voici 2 bmp extraits de 2 séquences:
http://videobillard.free.fr/3bandes/5ba0015.bmp
(1.2 Mo)
http://videobillard.free.fr/3bandes/R222.bmp
(300 Ko)

je vais regarder du coté du bloc matching

[mathieu_t]

je voudrais réaliser un soft capable de sortir des chronophotographies d'un objet en mouvement filmé depuis une caméra fixe (fond à peu près stable)

C'est quoi "à peu près stable" ? En ce qui concerne ton fond qui n'est pas du tout uniforme (variaitons de lumière sur la table de billard, couleur variable...), oublie direct l'histo !

A mon avis si ta caméra est vraiment fixe et si pendant la séquence le fond ne change pas (exemple: il n'y a pas un néon qui scintille et qui perturbe la lumière ambiante) utilise la méthode de PINEAU (tu cherches ce qui bouge seulement autour de la position précédente et tu t'aides d'une image de référence)... Je pense que tu devrais avoir des temps de calculs relativement faibles...

Le bloc matching c'est bien quand tu as tout qui bouge en même temps, mais ça bouffe beaucoup en calculs à cause de la corrélation.
A+

[jlf]

C'est quoi "à peu près stable" ? En ce qui concerne ton fond qui n'est pas du tout uniforme (variaitons de lumière sur la table de billard, couleur variable...), oublie direct l'histo !

je voulais dire "stable dans le temps", le fond ne change pas trop pour une séquence donnée
je ne connais pas du tout le sujet, donc le language, excuse moi

A mon avis si ta caméra est vraiment fixe et si pendant la séquence le fond ne change pas (exemple: il n'y a pas un néon qui scintille et qui perturbe la lumière ambiante) utilise la méthode de PINEAU

où trouver une descrition de cette méthode ?
avec "pineau" Google me donne beaucoup d'infos sur certains vins et quelques descriptions de sujets de thèse sur l'analyse d'images, mais rien de vraiment précis quant à la méthode de comparaison entre deux paquets de pixels ?

[mathieu_t]

Désolé pour la réponse tardive je viens juste de voir ta réponse...

Euh oui c'est vrai que j'ai balancé ça comme ça mais c'était parce que ça traînait dans un des me vieux cours... J'ai pas ce cours actuellement sous les yeux mais ce soir je regarde ça, je crois que la référence précise y est.

A+

[mathieu_t]

Alors j'arrive pas à trouver cette ù!*/: de référence , mais bon le principe est assez simple:

Si le fond est parfaitement stable cad si la caméra ne bouge pas et la scène ne change pas pendant la séquence:

1 - Prendre une image de référence Iref sans la boule
2 A chaque temps t, comparer l'image I_t avec I_ref :
faire la différence I_mouv = I_t - I_ref : tout pixel non nul est un pixel de l'objet en mouvement.

Tu peux accélérer l'algo en ne faisant la différence et la recherche des pixels non nuls que sur une zone voisine de la zone où se trouvait la boule sur l'image précédente.


Si le fond n'est pas parfaitement stable:
Bloc matching.
L'une des références qui revient le plus souvent :
‘Motion compensated interframe coding for video conferencing’, T. Koga et al. Proc. Nat. Telecomm.
Conf., New Orleans, LA, Nov. 1981, pp. G5.3.1-G5.3.5.

J'ai trouvé aussi un lien qui explique un peu ce qu'est le bloc matching, mais bon je suis sûr qu'il y en a des mieux, il suffit de faire des recherches plus poussées sous Google: http://www.llnl.gov/CASC/sapphire/pu...-TR-200271.pdf.

Le principe est de rechercher dans un masque les objets qui ressemblent à l'objet recherché :
par exemple on utilise souvent cette fonction (mais il y en a d'autres) :
Fonction de corrélation (CF):


où le masque de corrélation est de taille (2I+1)*(2J+1) et la taille de la zone de recherche est (2K+1)*(2L+1)

[jlf]

Si le fond est parfaitement stable cad si la caméra ne bouge pas et la scène ne change pas pendant la séquence:

1 - Prendre une image de référence Iref sans la boule
2 A chaque temps t, comparer l'image I_t avec I_ref :
faire la différence I_mouv = I_t - I_ref : tout pixel non nul est un pixel de l'objet en mouvement

OK je vois
mais une comparaison exacte ne marchera probablement pas dans mon cas
l'eclairage change souvent sensiblement dans la même séquence (je pense que ça vient des caméras employées, ou peut-être des néons comme tu disais) et il y aura énormément de pixels dont la valeur exacte change entre t et t+dt

de plus si la bille est lente il y a des chevauchements de zones, la bille de t+dt sera encore en partie dans la zone de t ...

J'ai trouvé aussi un lien qui explique un peu ce qu'est le bloc matching, mais bon je suis sûr qu'il y en a des mieux, il suffit de faire des recherches plus poussées sous Google

oui sur bloc-matching on trouve plus de trucs que sur le "pineau" , pas toujours très précis sur la méthode cependant
je vais essayer d'approfondir le tien mais pourrais tu quand même expliciter tes notations (les i, j, u, v p et q sous tes sommes) ?

en tous cas ce sujet est beaucoup plus complexe que je ne le croyais au premier abord ...

par curiosité dès que j'ai un moment j'essaierai quand même la méthode que j'évoquais au début :

- prendre au "lasso" une zone la plus précise possible (avec le moins de fond possible) de la bille en t0
- cumuler les rouges, vert, bleu de toute cette zone
ça donne un vecteur 3D représentant la couleur moyenne de la zone dans les 3 composantes
- rechercher en dt la zone de même forme dont le vecteur "couleurs moyennes" est le plus proche

comme j'ai quand même des formes simples et des couleurs relativement uniformes ça donnera peut-être quelque chose ?

en tous cas merci de ton aide
bien amicalement
jlf

[progfou]

Le sujet est complexe, car c'est de la reconnaissance de formes !
Et encore, ta forme est "simple" ce n'est qu'une bille...

J'ai epsné à pas mal de trucs
Déjà, appliquer une transformée de Hough permettrait de trouver les cercles dans l'image...
Ensuite, il faut réappliquer les couleurs.
Maintenant, je ne sais pas si le RVB est le plus adapté !
Essaies de prendre une ou deux images sous Gimp et transforme les en YUV, et je pense qu'appliquer une détection des contours sur la luminosité permettra de trouver les cercles et de trouver celui qui a la plus forte intensité (la boule blanche)...
Enfin, pour confirmer que c'est bien elle, il faut comparer à l'image précédente qui aura été elle-même comparée, etc.
Et la première image tu fais un truc pour sélectionner la boule blanche !

[mathieu_t]

Salut !

pourrais tu quand même expliciter tes notations (les i, j, u, v p et q sous tes sommes) ?

Alors: la formule que je t'ai donné cherche à savoir quel pixel (u,v) se rapproche le plus du pixel (i,j)
Ensuite p et q sont les indices de ta somme (p va de -I à +I et q de -J à +J).

Bon mais en fait j'y ai repensé : tu veux suivre le mouvement de ta boule dans le temps (avoir des vecteurs de déplacement dans le temps pour chaque pixel de la boule) ou simplement savoir à chaque moment où est la boule ?
Je crois que c'est la 2è possibilité que tu envisages : dans ce cas c'est encore plus simple:
tu fais une corrélation avec les formules classiques, et tu peux même passer en fourier pour faire ça (je crois qu'on en a parlé dans un post il y a quelques semaines -> auteur : "sole" de mémoire).

Donc en gros :
1 - le centre de ta boule est en (i,j) à l'instant t
2 - tu cherches le nouveau centre en (u,v) à t+dt dans un rectangle autour de là où était la boule a l'instant t via une corrélation (pas celle que je t'ai donné) mais une corrélation classique : éventuellement passe en fourier pour accélérer.

appliquer une transformée de Hough permettrait de trouver les cercles dans l'image

C'est aussi une solution peut être plus simple que ce que je propose au dessus. Disons que ça évite la corrélation qui est gourmande en calculs.

Moi je pense pas que la recherche des couleurs soit nécessaire : tu fais une transformée de Hough sur l'image t+dt de la zone où était la boule à t et ça te dit où sont les formes elliptiques -> il y en a pas 50 sur la table de billard donc c'est vite repéré !

Mais est-ce que la transformé de Hough est rapide ? Pas sûr... Pour fourier on a la fft (fast fourier transform), mais Hough je sais pas...

A+