Bonjour à tous,

J'ai créé une API qui permet de créer des filtres faciaux a snapchat/facebook avec THREE.JS.
Elle capture le flux vidéo de la webcam avec mediastream API, et détecte le visage et son orientation avec un réseau de deep learning tournant sur le GPU avec WebGL.
Après on peut ajouter ce que l'on veut sur la tête.

Le github est ici avec les exemples : https://github.com/jeeliz/jeelizFaceFilter

Et une petite vidéo screenshot là :


Je suis intéressé par vos retours.
Je vais bientôt ajouter des exemples d'intégration avec Babylon et la détection de si la bouche est ouverte ou pas.

J'ai testé avec différents smartphones et tablettes, ça marche mais il ne faut pas qu'ils soient trop anciens ou trop cheap.