Discussion :

[Nancy Rey]

Des chercheurs en IA déjouent des logiciels de reconnaissance faciale de pointe en utilisant du maquillage appliqué numériquement et physiquement
afin de tester les limites de cette technologie

D’après le comptage effectué par la CNIL en 2012, 935 000 caméras de surveillance sont installées sur le territoire français. Qu’elles soient aux guichets des banques, dans les parkings, les couloirs de métro et même sur les lieux de travail, entre celles des commerces et des espaces privés, cela fait un paquet ! Pour ceux qui se sentent surveillés et désirent se rendre méconnaissables pour les logiciels de reconnaissance, il existe un véritable arsenal de techniques qui passent par le maquillage. Ainsi, une nouvelle étude de l'Université Ben-Gurion du Néguev a révélé que des motifs de maquillage générés par un logiciel peuvent être utilisés pour contourner systématiquement les logiciels de reconnaissance faciale de pointe, le maquillage appliqué numériquement et physiquement trompant certains systèmes avec un taux de réussite de 98 %.

Les modèles de reconnaissance faciale par apprentissage profond sont utilisés par les systèmes de surveillance les plus modernes pour identifier les personnes qui traversent des zones publiques. Des études antérieures ont démontré l'utilisation d'attaques par apprentissage automatique contradictoire pour échapper avec succès à l'identification par ces systèmes, tant dans le domaine numérique que physique. Les attaques dans le domaine physique, cependant, nécessitent une manipulation importante du visage du participant, ce qui peut éveiller les soupçons des observateurs humains. Dans cette étude, les chercheurs présentent une nouvelle attaque d’apprentissage automatique contradictoire, de type boîte noire, qui fabrique soigneusement un maquillage naturel qui, lorsqu'il est appliqué sur un participant humain, empêche ce dernier d'être identifié par les modèles de reconnaissance faciale.

Dans leur expérience, les chercheurs ont défini leurs 20 participants comme des personnes figurant sur une liste noire afin que leur identification soit signalée par le système. Ils ont ensuite utilisé une application de selfie appelée YouCam Makeup pour maquiller numériquement les images du visage en fonction de la carte thermique qui cible les régions les plus identifiables du visage. Un maquilleur a ensuite reproduit le maquillage numérique sur les participants en utilisant un maquillage d'apparence naturelle afin de tester la capacité du modèle cible à les identifier dans une situation réaliste. « J'ai été surpris par les résultats de cette étude. Le maquilleur n'a pas fait trop d'astuces, juste voir le maquillage dans l'image et ensuite elle a essayé de le copier dans le monde physique. Ce n'est pas une copie parfaite. Il y a des différences mais ça a quand même fonctionné », a déclaré Nitzan Guettan, doctorant et auteur principal de l'étude.

Les chercheurs ont testé la méthode d'attaque dans un scénario simulé dans le monde réel, dans lequel les participants portant le maquillage marchaient dans un couloir pour voir s'ils seraient détectés par un système de reconnaissance faciale. Le couloir était équipé de deux caméras en direct qui envoyaient des images au détecteur de visage tout en évaluant la capacité du système à identifier le participant. « Notre attaque suppose un scénario de boîte noire, ce qui signifie que l'attaquant ne peut pas accéder au modèle cible, à son architecture ou à aucun de ses paramètres. Par conséquent, la seule option de l'attaquant est de modifier son visage avant d'être capturé par les caméras qui alimentent l'entrée du modèle FR cible » , explique le document.

Selon l'article, l'expérience a été couronnée de succès à 100 % dans les expériences numériques, tant pour le modèle FaceNet que pour le modèle LResNet. Dans les expériences physiques, les participants ont été détectés dans 47,6 % des images s'ils ne portaient pas de maquillage et dans 33,7 % des images s'ils portaient un maquillage appliqué de manière aléatoire. En appliquant la méthode des chercheurs, qui consiste à maquiller les parties hautement identifiables du visage de l'agresseur, celui-ci n'a été reconnu que dans 1,2 % des images.

Les chercheurs ne sont pas les premiers à démontrer comment le maquillage peut être utilisé pour tromper les systèmes de reconnaissance faciale. En 2010, le projet CV Dazzle de l'artiste Adam Harvey a présenté une série de maquillages conçus pour déjouer les algorithmes, inspirés du camouflage "dazzle" utilisé par les navires de guerre pendant la Première Guerre mondiale. Diverses études ont montré comment les systèmes de reconnaissance faciale peuvent être contournés numériquement, par exemple en créant des "visages maîtres" qui pourraient se faire passer pour d'autres personnes. L'article fait référence à une étude dans laquelle un autocollant imprimable a été attaché à un chapeau pour contourner le système de reconnaissance faciale, et à une autre dans laquelle des montures de lunettes ont été imprimées.

Bien que toutes ces méthodes puissent cacher quelqu'un aux yeux des algorithmes de reconnaissance faciale, elles ont pour effet secondaire de vous rendre très visible aux yeux des autres humains, surtout si elles sont utilisées dans un endroit où la sécurité est élevée, comme un aéroport. Pour remédier à ce problème, les chercheurs ont demandé à la maquilleuse de n'utiliser que des techniques de maquillage conventionnelles et des palettes de couleurs neutres pour obtenir un look naturel. Compte tenu de son succès dans l'étude, les chercheurs affirment que cette méthode pourrait techniquement être reproduite par quiconque utilise du maquillage acheté en magasin. Comme on pouvait s'y attendre, Nitzan Guettan dit qu'il ne fait généralement pas confiance à la technologie de reconnaissance faciale dans son état actuel. « Je ne l'utilise même pas sur mon iPhone. Il y a beaucoup de problèmes avec ce domaine de la reconnaissance faciale. Mais je pense que la technologie s'améliore de plus en plus », a-t-il déclaré.

Sources : Cornell Univesity (1, 2), Etude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l’utilisation de la reconnaissance faciale de façon générale ?
Est-ce une méthode qui a une quelconque utilité en matière de sécurité ?

Voir aussi :

Chine : une ville déploie la reconnaissance faciale pour lutter contre le Covid-19, elle permettra de surveiller les mouvements et l'état de santé des gens dans les lieux publics

Reconnaissance faciale : la société NEC affirme que son nouveau système permet d'identifier les personnes portant des masques, avec une précision supérieure à 99,9 %

Des militants retournent les outils de reconnaissance faciale contre la police, « Nous approchons du seuil technologique où les petits peuvent faire la même chose que les grands »

Reconnaissance faciale : un algorithme accuse à tort un Afro-américain qui écope d'une garde à vue pour plus de 24 heures et de poursuites auxquelles l'ACLU demande à la justice de mettre un terme

L'utilisation de la reconnaissance faciale par la police viole les droits de l'homme, selon un tribunal britannique, cependant, la Cour n'a pas complètement interdit l'utilisation de la technologie

[TotoParis]

Voilà une excellente nouvelle. Bravo pour ces chercheurs !

[walfrat]

Et au prochaine épisode : "Je me suis fait jeter d'une banque avec mon maquillage anti reconnaissance faciale".

[LeDruide87]

Je sais, pour avoir décortiqué pas mal de logiciels basés sur "l'apprentissage profond", que l'IA est fondée sur des méthodes de bourrin. Il ne peut ps en aller autrement, d'ailleurs, car nous ne savons pratiquement rien de la manière dont fonctionne l'intelligence humaine.

Cela dit, compte tenu de l'usage déviant que font certains régimes politiques de la reconnaissance faciale, il n'est pas mauvais que des techniques simples permettent de la mettre en échec. Pour déceler les malfaiteurs, il faudra inventer d'autres procédés qui ne nuiraient pas au citoyen lambda.