Discussion :

[ToTo13]

Bonjour,

j'ai pour malheureusement pour travail de détecter des singes dans une vidéo. Voici deux exemples :
- www.thibault.biz/OHSU/Camera1.mov
- www.thibault.biz/OHSU/Camera2.mov

Problèmes et solutions déjà testées :
- les caméras ne sont pas vraiment fixes, car ces satanés singes les font bouger.
- par la même occasion, ils mettent souvent leur nez juste devant l'objectif et cachent tout le champ.
- étant donné le quantité de données et les autres opérations à réaliser, je dois avoir des performances autour de maximum 200ms par image.
- je ne peux faire de la soustraction de fond car des personnes passent en permanence autour de la cage (sur les autres caméras) et les différents jouets à leur disposition sont détectés.
- le tracking de la couleur du pelage ne fonctionne pas du tout et ce quelque soit l'espace couleur.
- le tracking de la couleur des colliers non plus (il y en a un noir et parfois il n'est simplement pas visible).
- l'algorithme Predator fonctionne en tracking de mono cible :-(
- le flot optique ne détecte pas les singes immobiles, mais par contre les jouets en mouvement sans problème.
- les méthodes à base de cascades de classifieurs faibles nécessitent la création de modèles spécifiques et je ne sais absolument pas comment faire.
- aucune des méthodes d'extraction de points caractéristiques ne détectent quoi que ce soit sur les singes.
A part ça, tout va bien.

Si quelqu'un avait une idée, je lui en serai reconnaissant.
Merci par avance.

[saturn1]

Bonjour, quel problème exotique

Je ne suis pas expert dans le domaine mais ce que je ferais c'est entraîner un classifieur.

Bon je te l'accorde c'est bien beau de dire ca mais il reste à trouver des features discriminantes.
Je dirais la couleur de peau même si tu l'as déjà testé c'est peut-être une idée à peaufiner.


Ensuite ce que tu pourrais tester c'est le classifieur de OpenCV pour reconnaitre les visages. Au pire tu le ré-entraine sur des visages de singe. Lorsque tu détectes les visages tu pourrais essayer un gsnake pour trouver le contour du singe.

Enfin une dernière idée que je testerai ce serait une séparation par ligne des eaux par marqueurs automatique.
Pour placer tes marqueurs initiaux tu pourrais par exemple partitionner ton espace et prendre les endroits ou il y a la plus forte concentration de la couleur d'un singe.

Je n'arrive pas à voir les vidéos.

Bon courage.

[ToTo13]

Merci pour ta réponse.

La couleur de peau comme de fourrure ne donne rien, en plus elle est très limitée sur des macaques, donc si on ne voit pas leur figure, cela n'est pas possible.

J'avais pensé à l'algorithme de Viola & Jones disponible dans OpenCV pour la détection de visage. C'est ce que j'avais appelé "cascade de classifieurs faibles" dans mon post d'origine.
Il faut malheureusement créer un nouveau modèle complet spécifique aux singes.

Pour la morphologie mathématique, j'ai déjà testé. J'avais fait un petit ASF pour faire de la soustraction de fond, mais c'était trop lent pour mes besoins.
Comme la couleur n'est pas représentative, je ne pourrai pas avoir des marqueurs fiables. La version stochastique pourrait corriger le problème, mais il y aurait un calcul de gradient suivi d'un grand nombre d'itérations, donc toujours trop lent.

[souviron34]

Petite idée, peut-être procéder par élimination :

Puisque quand même la fourrure est relativement sombre, peut-être :

• faire un seuillage - filtre pour ne garder que le sombre
  
• dans ce qui reste faire un hough et éliminer lignes / rectangles
  
• dans ce qui reste faire "détection visage" et éliminer les éventuelles personnes
  
• dans ce qui reste peut-être d'autes éliminations "évidentes"

Il devrait rester les ONI (objets kon-identifiés", qui pr défaut seraient les singes, non ?

[ToTo13]

Petite idée, peut-être procéder par élimination :

Puisque quand même la fourrure est relativement sombre, peut-être :

• faire un seuillage - filtre pour ne garder que le sombre
  
• dans ce qui reste faire un hough et éliminer lignes / rectangles
  
• dans ce qui reste faire "détection visage" et éliminer les éventuelles personnes
  
• dans ce qui reste peut-être d'autes éliminations "évidentes"

Il devrait rester les ONI (objets kon-identifiés", qui pr défaut seraient les singes, non ?

J'ai peur que les performances ne suivent pas

[souviron34]

Ben si déjà l'algo marche, on peut voir à accélérer/optimiser après..

[Obsidian]

Bonjour,

- je ne peux faire de la soustraction de fond car des personnes passent en permanence autour de la cage (sur les autres caméras) et les différents jouets à leur disposition sont détectés.

Je ne suis franchement pas expert en ce domaine et mon niveau de mathématique m'interdit définitivement d'y faire la moindre affirmation. Cela dit, en te lisant, il me semble qu'une soustraction de fond, sans être une solution finale, est une étape peu coûteuse en ressources et qui devrait considérablement simplifier ton problème ensuite.

Le fait que la caméra bouge est ennuyeux mais il s'agit d'un événement ponctuel qui appelle un recalibrage : peu importe si celui-ci accapare quelques secondes s'il n'est fait qu'une seule fois.

Ensuite, les personnes qui visitent la pièce sont un problème car nous sommes morphologiquement très proches des singes à surveiller et il est difficile d'expliquer la différence à l'algorithme. :-) Par contre, il y a une différence sémantique forte entre les entités à l'intérieur et à l'extérieur de la cage. Et dans ce dernier cas, tu dois pouvoir vérifier si l'image de la grille elle-même reste statistiquement proche de l'original.

Il te resterait effectivement, enfin, à discriminer entre eux les objets mobiles à l'intérieur de la cage.

[ToTo13]

On est d'accord, mais il me faut aussi tenir les performances requises.

[Flo.]

Je suis de l'avis de souviron34.

Analyse d'images et performances sont 2 choses distinctes.

Dans un premier temps, laisse tomber les questions de performances et trouve tes singes. Ensuite se posera la question des performances. Question qui peut-être résolue de bien des façons suivant la complexité de l'analyse d'image mise en place : achat d'un bon gros PC voué au calcul, utilisation de CUDA, recherche de librairies spécialisées en traitement d'image (MVTec HALCON, MIL de Matrox, etc.), utilisation de pyramides gaussiennes, etc. En gros, si tu sais pas quoi optimiser, tu veux faire quoi ?

Bref ne pas mettre la charrue avant les bœufs.

Quant à ta problématique de caméra qui bouge, je suis de l'avis de Obsidian. C'est un autre problème. Tu peux remettre à zéro ton modèle lorsque tu observes un mouvement de caméras. Pour se rendre compte de mouvement, peut-être une simple analyse sur des gradients temporels. Ou alors détecter les barreaux avec un Hough (nécessite de corriger les distortions ?) et vérifier d'images en images s'ils on pas bougés.

En espérant t'aider sur un sujet qui je trouve intéressant. Si c'est possible, fais nous part de ton avancement .

Flo.

[ToTo13]

A condition d'avoir quelque chose qui tourne en un temps raisonnable.
L'équipe de Boston avec laquelle je travaille a proposé une méthode de détection efficace qui requiert 30 minutes par image. On se remémore cela pour rire un bon coup et se remonter le moral lorsque l'on déprime.

[souviron34]

A condition d'avoir quelque chose qui tourne en un temps raisonnable.
L'équipe de Boston avec laquelle je travaille a proposé une méthode de détection efficace qui requiert 30 minutes par image. On se remémore cela pour rire un bon coup et se remonter le moral lorsque l'on déprime.

bah tu sais, il faudrait voir le code...

Déjà rappelle-toi nos petits échanges privés il n'y a pas forcément besoin de grand'chose pour accélérer pas mal..

Mais surtout j'ai déjà vu quelques petits algos par exemple passer de 6h à 20 secondes avec une mini-petite modif de "factorisation" d'un calcul d'adresse, par exemple...

Donc 30 minutes c'est pas très grave... Et ce d'autant pkus que si ça marche vraiment bien, et que ce projet est siuffisamment important - ce que ça a l'air quand même - tu peux faire fabiriquer la carte et l'avoir quasi en temps réel...

[saturn1]

A condition d'avoir quelque chose qui tourne en un temps raisonnable.
L'équipe de Boston avec laquelle je travaille a proposé une méthode de détection efficace qui requiert 30 minutes par image. On se remémore cela pour rire un bon coup et se remonter le moral lorsque l'on déprime.

Ca m'a bien faire rire aussi cependant tu dis que c'est une detection efficace.

Donc le nouveau challenge est l'optimisation!

Bon courage!

[pseudocode]

Au début, je pensais qu'il y a avait une typo dans le titre: signes / singes. Mais non.

Est-ce que tu as essayé de détecter les textures qui caractérisent les singes (pelages, visage, ...) ?

Un truc simple (du genre "Local Binary Patterns" sur les 3 composantes RGB) avec un classifieur simple aussi (Perceptron ou Bayesian). Bon, il faut passer par un apprentissage supervisé et donc détourer les singes à la main sur des vidéos de référence, mais je pense que tu as déjà du faire cette phase.

[moldavi]

Bonjour.

La Kinect permet de détecter les formes humaines.

Je ne sais pas si cela marche avec les singes, mais ça règlerait les problèmes de performance.

[saturn1]

Bonjour.

La Kinect permet de détecter les formes humaines.

Je ne sais pas si cela marche avec les singes, mais ça règlerait les problèmes de performance.

Il faudrait tout refilmer avec la kinect...><

[ToTo13]

Est-ce que tu as essayé de détecter les textures qui caractérisent les singes (pelages, visage, ...) ?

Un truc simple (du genre "Local Binary Patterns" sur les 3 composantes RGB) avec un classifieur simple aussi (Perceptron ou Bayesian). Bon, il faut passer par un apprentissage supervisé et donc détourer les singes à la main sur des vidéos de référence, mais je pense que tu as déjà du faire cette phase.

Oui (cf. mon premier post).
Le pelage ne donne absolument rien :-( J'ai testé différents espaces couleurs, comme pour la détection de peau.
J'ai également fait des LBP en niveaux de gris, mais sans voir apparaître de "pattern" dans l'image résultat. Je n'ai pas testé sur l'image couleur car dans 2 canaux sur 3 on a déjà du mal à distinguer les singes visuellement.
J'avais d'ailleurs fait un détourage grossier des singes sur quelques images pour analyser la couleur du pelage.

La Kinect permet de détecter les formes humaines.

Il faudrait tout refilmer avec la kinect...><

[pseudocode]

Oui (cf. mon premier post).
Le pelage ne donne absolument rien :-( J'ai testé différents espaces couleurs, comme pour la détection de peau.
J'ai également fait des LBP en niveaux de gris, mais sans voir apparaître de "pattern" dans l'image résultat. Je n'ai pas testé sur l'image couleur car dans 2 canaux sur 3 on a déjà du mal à distinguer les singes visuellement.
J'avais d'ailleurs fait un détourage grossier des singes sur quelques images pour analyser la couleur du pelage.

A ce moment là, tu peux essayer de partir du "moins mauvais" détecteur que tu as testé et mettre des contre-mesures en place pour gérer les problèmes. Par exemple, partir de la soustraction de fond et détecter/gérer les problèmes d'occlusion, de mouvement de la caméra, de personnes qui passent, etc.

Ou alors, passer aux caméras thermiques.

[souviron34]

Je voudrais pas avoir l'air d'insister mais :

L'équipe de Boston avec laquelle je travaille a proposé une méthode de détection efficace qui requiert 30 minutes par image.

est à mon avis une excellente base....

Car le fond du problème est, d'après ce qu'on a compris, EFFICACE... Ce que, d'après tes dires, cette méthode fait parfaitement...

On est donc ramené maintenant à un pur problème d'optimisation....

T'es sûr que tu veux pas nous soumettre quelques parties ???? (ou nous appeler en conseil )

[moldavi]

Il faudrait tout refilmer avec la kinect...><

Si je comprends bien cette réponse, le problème serait de différencier les formes humaines avec les formes simiesques.

En admettant que la Kinect détecte les singes (c'est à confirmer évidemment, je n'ai pas de singe sous la main...).

J'imagine que les singes ont des caractéristiques squelettiques différentes des êtres humains.

La kinect donne les positions 3D des articulations principales (cou, épaule, genou, etc...). Un algorithme permettra de déterminer si la forme détectée est un singe où un être humain (selon les caractéristiques des membres : par exemple proportion de la longueur des bras vs taille du corps, ou position des mains par rapport au sol, etc...).

Après, la Kinect à une zone de détection très précise (4 mètres max), qui est peut-être insuffisante dans le cadre de ce projet.

[yannoo95170]

A plusieurs occasion, j'ai lu que tu avais essayé avec la couleur de la peau et de la fourrure.

Pour la peau, c'est hyper logique que ça crée des pb s'il y a des humains à côté, mais par contre, pour la fourrure, s'il y en a sur une grande surface (relative) c'est que ça ne peut pas être un homme ou une femme car nous n'en avons en grande quantité que sur la tête, mais c'est sans rapport avec quasiment toute la surface du corps du singe

As-tu essayé avec la couleur des ongles, des yeux ou des dents par exemple ?
(par exemple, je pense que l'iris qui fait un gros point noir au milieu des yeux doit pouvoir être un assez bon repère)
[si c'est des mandrills, le fait qu'il ait une tête rouge et bleu peut pas mal aider aussi par exemple)

Un autre truc qui pourrait être relativement efficace, c'est de mettre des bracelets de couleurs au poignets et/ou à la cheville, de couleur différentes si possibles pour pouvoir différencier haut/bas et gauche/droite par exemple
(de l'autre côté, pas certain que les singes aiment porter des bracelets )

Au fait, c'est quoi comme style de singe ?
(selon le style de singes, les repères "assez flagrants" qui pourraient servir peuvent être différents)

A noter que pour la détection des couleurs, je pense qu'il est bien plus efficace de rechercher les couleurs qui sont comprises entre deux autres, style entre le "marron moyen" et le marron foncé, que de chercher les pixels qui sont d'une couleur relativement proche de celle qu'on recherche, soit ici le "marron singe"
(c'est comme pour les bananes, c'est meilleur par les 2 bouts )

PS : en optimisant un algo, on arrive souvent à qqchose de "seulement" quelques fois plus rapides (disons dizaines au mieux, on va pas chipoter non plus ), alors que bien souvent un changement d'algo peut carrément accélérer ça d'un facteur 10, 100, 1000 ou bien plus encore ...
(style calculer la multiplications des n premiers chiffres peut nécessiter une boucle qui fait n itérations/multiplications alors que la factorielle n! donne la même chose [les valeurs pour chaque n pouvant être stockée dans une grosse table par exemple]. Autre exemple, la somme de 1 à n peut nécessiter n-1 additions alors que n * ( n + 1 ) / 2 donne exactement la même chose en seulement 3 opérations ...)