Discussion :

[Ayubowan]

Bonjour à tous,

Je travaille dans une entreprise qui réalise des inspections visuelles par caméra avec mesures dimensionnelles. J'aimerais savoir si il est possible de faire des mesures tridimensionnelles (entre deux points) sur une carte de profondeur (depth map). J'obtiens cette carte de profondeur à partir d'une vidéo d'une caméra monoculaire par traitement d'image.

Mon raisonnement est le suivant :
On connaît les angle associés aux points de l'espace, vus par l'objectif, par connaissance de ses propriétés (champ de vision vertical et horizontal). Ces angles se situent entre l'axe optique et l'axe reliant la caméra au points de l'espace choisis. On connait ensuite la distance entre les points choisis et la caméra grâce à la carte de profondeur. On peut alors calculer en 3 dimensions, la distance reliant 2 points de l'espace vus par la caméra.

Pour vous aider à saisir mon idée, j'ai fait un petit schéma. Les distances d1 et d2 sont obtenues grâce à la depth map et les angles alpha et beta sont obtenus par connaissance de l'optique en effectuant un changement de coordonnées : Image(x,y) --> coordonnées sphériques(alpha,beta).

Pensez vous que c'est possible ? Quelle précision puis-je espérer ?

Merci à vous et passez une bonne soirée

[wiwaxia]

Bonjour,

Non, malheureusement, car il te faudrait disposer des images de deux segments de longueur connue, normaux à l'axe optique et situés à des distances connues du centre optique.

On ne dispose de rien de semblable sur la photo qui est donnée.

L'image ci-dessous est celle de deux objets de même forme et de même dimension: bien que ce cas paraisse plus favorable, il est impossible de déterminer la profondeur à laquelle ils se trouvent, ni la distance qui les sépare.

De plus, on ne tarde pas à découvrir des incertitudes importantes dès que l'on cherche à tester la cohérence du tracé, à cause des distorsions optiques qui interviennent lors de la formration de l'image.

[Ayubowan]

Merci de ta réponse super complète !

Bonjour,

Non, malheureusement, car il te faudrait disposer des images de deux segments de longueur connue, normaux à l'axe optique et situés à des distances connues du centre optique.

On ne dispose de rien de semblable sur la photo qui est donnée.

Mais je suppose qu'avec la depth map que j'obtiens, je peux en extraire les longueurs des deux segments non ? Je suppose qu'une depth map donne des profondeurs relatives mais j'ai la possibilité de rajouter un laser infrarouge pour avoir une référence, et donc les longueurs absolues des segments.

De plus, on ne tarde pas à découvrir des incertitudes importantes dès que l'on cherche à tester la cohérence du tracé, à cause des distorsions optiques qui interviennent lors de la formation de l'image.

Pour ce qui est de la distorsion de l'image, j'avais prévu de suivre un tuto du genre : https://docs.opencv.org/2.4/doc/tuto...libration.html

[tbc92]

Ici, on connait plein de choses : d1, d2, alpha1, alpha2 ...

Ici, on a 3 droites qui partent de la caméra. Si ces 3 droites sont coplanaires, on a des équations, et il y a une seule solution. Quasi sûr de ça, même si je ne sais pas donner ces équations.
Mais, ces 3 droites ne sont pas parfaitement coplanaires. Et donc il y a un (petit) correctif à appliquer.

Je ne suis pas sûr à 100%, mais je suis assez confiant.

[wiwaxia]

La connaissance des distances auxquelles se trouvent les points visés, par exemple

d₁ = CA , d₂ = CB ,

permet en effet d'en connaître d'autres.
Le centre optique (C) de l'objectif correspondant à l'origine du repère, les coordonnées des points objets vérifient:

z_A = d₁Cos(u) ; y_A = d₁Sin(u) ;
z_B = d₂Cos(v) ; y_B = d₂Sin(v) ;

et conduisent à la longueur du segment correspondant:

AB = ((z_B - z_A)² + (y_B - y_A)²)^1/2 .

un problème intervient au niveau de la connaissance indispensable des angles:

Tan(u) = -y_A'/f ; Tan(v) = -y_B'/f ;

parce que l'on travaille sur une image numérique que l'on peut agrandir à volonté, et non sur le tirage argentique d'une pellicule dont le plan aurait été situé, lors de l'exposition à la lumière, à la distance (f) du centre optique.

L'indétermination peut être levée si l'on dispose d'une autre photographie, réalisée avec le même appareil, de deux points objets (A°, B°) disposés de telle sorte que le segment (A°B°) soit perpendiculaire à l'axe (z'z) et (c'est encore mieux) coupe celui-ci en son milieu; de la longueur (L°) de ce segment, on pourra déduire la distance focale fictive (f), et tout le reste.

[Ayubowan]

C'est vraiment adorable de m'aider autant avec vos superbes schéma. Merci infiniment !

Un problème intervient au niveau de la connaissance indispensable des angles:

Tan(u) = -y_A'/f ; Tan(v) = -y_B'/f ;

parce que l'on travaille sur une image numérique que l'on peut agrandir à volonté, et non sur le tirage argentique d'une pellicule dont le plan aurait été situé, lors de l'exposition à la lumière, à la distance (f) du centre optique.

Tu ne penses pas qu'après suppression de la distorsion avec OpenCV, chaque pixel est associé à un couple d'angles dans les plans horizontaux et verticaux. Je peux obtenir empiriquement la formule me permettant de passer des coordonnées en pixels (x,y) aux coordonnées réels (alpha, beta). Je ne sais pas si je suis clair.

[wiwaxia]

La distorsion est relativement limitée, si l'on en juge par l'incurvation apparente des bords de la balustrade, et une correction doit pouvoir la réduire (quoique je ne connaisse pas les fonctions utilisées).

Le problème vient de ce que les images (M') des points objets (M) sur lesquels la mise au point a été faite se situent pratiquement dans le même plan (P') perpendiculaire à l'axe optique, à une distance du centre optique (C) voisine de la focale (f); dans le cas de la photo précédente, si l'on en juge au flou du paysage, ce plan ne se confond pas exactement avec le plan focal image (Π'), quoiqu'il en soit très proche.

La formation des images résulte donc de la projection centrale de (M) sur le plan (P') par le centre optique (C) de l'objectif, de sorte que les relations de similitude entre triangles amènent toujours moins de relations qu'il n'y a d'inconnues; on aura ainsi pour le couple objet/image (MM'):

x/z = x'/f , y/z = y'/f , soit 4 inconnues, pseudo-focale comprise,

celle-ci pouvant être déterminée si l'on a photographié un segment objet (A°B°) de dimension connue (L°) situé à une profondeur donnée (z_A° = z_B° = d°):

L°/d° = (A'°B'°)/f

pour le même grandissement de l'image étudiée, cela va de soi.
Tu ne disposes donc à ce stade que les rapports des coordonnées (x, y, z).

L'indétermination ne peut être complètement levée que par la connaissance d'une distance supplémentaire en profondeur, pour le point objet considéré (par ex. d = CM) à l'aide un appareil laser (si j'ai bien compris la précision que tu donnes):

... mais j'ai la possibilité de rajouter un laser infrarouge pour avoir une référence, et donc les longueurs absolues des segments ...

La carte dont tu parles

... Mais je suppose qu'avec la depth map que j'obtiens, je peux en extraire les longueurs des deux segments non ? Je suppose qu'une depth map donne des profondeurs relatives ... ...

te fournit-elle des données précises concernant les profondeurs ? Cela pourrait te sortir d'embarras.

Il faut signaler qu'une autre difficulté surgira dès que tu amorcera des calculs: ceux-ci portent sur de petites distances déterminées sur l'image, et forcément entachées d'une forte incertitude en raison du flou des détails: cela risque de conduire à des résultats très décevants.
Et je n'ai pas évoqué la complexité des calculs, pour un objet de dimensions connues, mais non perpendiculaire à l'axe optique (noyade assurée ): voir par exemple le segment (IJ).

[tbc92]

Je pense que c'est plus simple que tout ça. Au moins pour obtenir une estimation très valable.

On connait d1, d2, a1, et a2. C'est énorme. Je ne sais pas comment on a pu déterminer ces 4 valeurs, et si on a une grande précision sur ces 4 valeurs, mais ce n'est pas la question.

On va faire 2 calculs différents, avec 2 hypothèses différentes. Et la vérité sera quelque part entre les 2 résultats obtenus.

On a 3 droites D0, D1 et D2 qui partent de l'objectif.
Première hypothèse, ces 3 droites sont coplanaires.
On a donc un plan et on a M1(d1 cos(a1), d1 sin(a1) ) et M2( d2 cos (a2) , d2 sin(a2) ) Et calculer la distance entre M1 et M2 est facile.

Deuxième hypothèse, Le plan défini par D0,D1 est orthogonal au plan défini par D0,D2.
On a donc M1(d1 cos(a1), d1 sin(a1),0) et M2 ( d2cos(a1), 0, d2 sin(a2) ). Et là aussi , calculer la distance entre M1 et M2 est facile.

A priori, les angles a1 et a2 sont petits, donc les 2 distances obtenues devraient être assez proches.

Avec ces 2 valeurs , comment conclure ? peut-être la moyenne ? peut-être un truc intermédiaire, qui va privilégier la 1ère hypothèse ?
Pas d'idée précise, mais je priviligierais la 1ère hypothèse (les 3 droites sont coplanaires)

Et entre l'imprécision sur d1 d2 a1 et a2 et l'imprécision à ce niveau, je pense que la plus importante soit au niveau des mesures.

PS :
En regardant à nouveau la 1ère image, je vois qu'on a des angles b1 et b2 qui seraient connus aussi. Donc on a tous les éléments pour faire un calcul parfaitement exact.

[Ayubowan]

L'image avec les pigeons était une image sortie de nulle part, elle n'a rien à voir avec ce que je mesure, c'était pour l'exemple

Sinon, je suis un peu perdu avec toutes ces lettres, je ne sais jamais vraiment de quels schémas vous parlez.

Je pense que mathématiquement j'ai assez d'inconnues et d'équations mais finalement ce que j'aimerais savoir, c'est la faisabilité du projet. La précision, j'y crois moyen mais si elle est mauvaise, on pourra rajouter une caméra pour avoir de la vraie stéréoscopie.

L'étape dont je doute fortement de la faisabilité, c'est de savoir si je peux récupérer les angles alpha et beta dont je parle dans mon post #6. Je ne suis pas sûr du tout que ça marche.

Pour la depth map, je vous rappelle pour ne pas qu'on se perde, que je l'obtiens de cette façon : https://paperswithcode.com/task/mono...pth-estimation
Je compte ensuite transformer ces informations relatives de profondeur en informations absolues, en projetant un laser infrarouge qui me donnera la distance d'un des pixels de la depth map et qui sera donc ma référence.

PS : Je réalise en fait que ce que je veux faire en fait c'est tout simplement de la photogrammétrie mais en utilisant inutilement des méthodes complexes ? Si c'est bien ça, le projet reste intéressant pour nous avec deux caméras et un laser pour référencer la depth map.

[Ayubowan]

Je réalise que ce que je veux faire correspond à de la photogrammétrie mais en faisant compliqué alors que ça peut être bien plus simple. Pour ne pas avoir d'imprécisions sur l'estimation de la stéréoscopie, je pense que je devrais partir sur ce genre de capteurs : https://www.intelrealsense.com/depth-camera-d435/

Qu'en pensez vous ?

[wiwaxia]

Le problème est complètement transformé dès qu'il y a deux caméras.

Voici quelques liens (anciens) concernant la vision stéréoscopique, et qui t'intéresseront peut-être:

Stéréo-Club Français
association pour l'image en relief : photo 3D, vidéo 3D
http://www.stereo-club.fr/SCFWiki/index.php/Accueil

http://www.stereomaker.net/fra/stphmkr/index.html

https://www.image-en-relief.org/ster...scfwikiAccueil

[Ayubowan]

Merci beaucoup pour ces liens. Je vais potasser tout ça.

J'ai trouvé une vidéo qui illustre exactement ce que je voudrais faire, mais à une précision plus faible.
https://www.youtube.com/watch?v=Xa_S...youtu.be&t=130

J'ai cru comprendre que la technique qui permet d'obtenir la plus grande précision est celle de la "lumière structurée". Intel vend des caméras de ce type qui me semblent super intéressantes.
https://store.intelrealsense.com/
On aurait besoin de la même chose mais plus précis (5% d'erreur max sur une mesure environ).

[Ayubowan]

Connaîtriez vous des caméras stéréo à lumière structurée ou autre en dessous de 3000-4000€ qui nous permettrait de mesurer des distances entre 2 points de l'espace avec une précision de 5% environ ?