Discussion :

[Nancy Rey]

Le contenu des "deepfake" en ligne augmente à un rythme annuel de 900 %,
d’après le World Economic Forum

Selon le World Economic Forum, le nombre de vidéos frauduleuses en ligne augmente à un rythme annuel de 900 %. C'est pourquoi les chercheurs de Kaspersky ont révélé les trois principales fraudes utilisant des deepfakes dont il faut être conscient.

La fraude financière est une utilisation courante des deepfakes, comme la vidéo d'Elon Musk promouvant un système de crypto-monnaie douteux l'année dernière. Pour créer des deepfakes comme celui-ci, les escrocs utilisent des images de célébrités ou assemblent de vieilles vidéos, et lancent des flux en direct sur les plateformes de médias sociaux, promettant de doubler tout paiement en crypto-monnaie qui leur est envoyé.

Les deepfakes sont également utilisés pour violer la vie privée ou nuire à la réputation, par exemple en mettant le visage d'une personne dans une vidéo pornographique.

Mais les deepfakes sont également utilisés pour cibler les entreprises. Dans un cas connu, des cybercriminels ont réussi à tromper un directeur de banque aux Émirats arabes unis, ce qui leur a permis de voler 35 millions de dollars. Cette escroquerie utilisait un deepfake vocal : un simple enregistrement de la voix du patron de l'employé suffisait à générer un deepfake convaincant.

« L'une des menaces les plus graves que le deepfake fait peser sur les entreprises n'est pas toujours le vol de données d'entreprise. Parfois, les risques pour la réputation peuvent avoir des conséquences très graves. Imaginez qu'une vidéo soit publiée dans laquelle votre dirigeant fait (apparemment) des déclarations polarisantes sur des sujets sensibles. Pour les entreprises, cela peut rapidement entraîner une chute du cours des actions. Cependant, bien que les risques d'une telle menace soient extrêmement élevés, la probabilité que vous soyez attaqué de cette manière reste extrêmement faible en raison du coût de création des deepfakes et du fait que peu d'attaquants sont capables de créer un deepfake de haute qualité », explique Dmitry Anikin, expert principal en sécurité chez Kaspersky.

Comment les entreprises peuvent-elles se défendre contre les deepfakes ? Kaspersky recommande une formation de sensibilisation pour s'assurer que les employés comprennent ce que sont les deepfakes, comment ils fonctionnent et les défis qu'ils peuvent poser. Il faut également veiller à utiliser des sources d'information de bonne qualité et adopter une attitude sceptique vis-à-vis des messages vocaux et des vidéos, en recherchant des indices tels que des lèvres mal synchronisées avec la parole.

Anikin ajoute : « Ce que vous pouvez faire aujourd'hui, c'est connaître les principales caractéristiques des vidéos "deepfake" et adopter une attitude sceptique à l'égard des messages vocaux et des vidéos que vous recevez. Veillez également à ce que vos employés comprennent ce qu'est un deepfake et comment ils peuvent le reconnaître : par exemple, des mouvements saccadés, des changements dans le teint de la peau, des clignements étranges ou l'absence de clignement, et autres … ».

Source : World Economic Forum

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les conclusions de ce rapport de World Economic Forum sont pertinentes, voir utiles ?
Selon vous, quelles mesures peuvent-être mises en place pour limiter ces pratiques frauduleuses ?
D'après vous, quelles sont les implications de ces types de menaces pour l'avenir de la vérification d'identité ?

Voir aussi :

Des chercheurs développent une IA capable de détecter les vidéos deepfake avec une précision allant jusqu'à 99 %, cette méthode détecte les expressions faciales manipulées et les échanges d'identité

Des cybercriminels ont utilisé la technologie deepfake pour voler 35 millions de dollars à une banque, en clonant la voix du directeur

Les arnaques de type deepfake et crypto ont augmenté durant le premier trimestre 2022, ils sont utilisés pour diffuser de la désinformation et accéder à des informations financières ou personnelles

Les arnaques de type deepfake et crypto ont augmenté durant le premier trimestre 2022, ils sont utilisés pour diffuser de la désinformation et accéder à des informations financières ou personnelles

[totozor]

Oulala 900% c'est terrible, nous voila face à une épidémie de Deepfakes attention.
Ou alors il n'y en avait quasiment pas et il y en a un peu plus, 9 fois plus qu'avant.

Quand on part d'un niveau faible il n'est pas pertinent de compter la croissance en pourcentage.
Toute étude qui cite un taux élevé sans préciser le chiffre avant ou après est qusi systématiquement falacieux.
Ajoutons y un ou deux exemples (exceptionnels) marquants et nous voilà face à de la désinformation en belle et dûe forme sur base de panique morale.

[onilink_]

@totozor
L'article source donne quelques chiffres.

[Anthony]

Les "deepfakes" deviennent la première forme de fraude, et sont principalement utilisés pour le "liveness bypass" et la fabrication de cartes d'identité falsifiées ou modifiées, selon Sumsub

Une nouvelle étude de la plateforme de vérification Sumsub montre que la proportion de deepfakes en Amérique du Nord a plus que doublé entre 2022 et le premier trimestre 2023.

La proportion de deepfakes a bondi de 0,2 % à 2,6 % aux États-Unis et de 0,1 % à 4,6 % au Canada, respectivement. Simultanément, les faux imprimés, qui représentaient quatre à cinq pour cent de l'ensemble des fraudes en 2022, ont chuté à zéro pour cent au cours du dernier trimestre.

"Les deepfakes sont devenus plus faciles à fabriquer et, par conséquent, leur quantité s'est multipliée, comme le montrent également les statistiques", explique Pavel Goldman-Kalaydin, responsable de l'IA et du ML chez Sumsub. "Pour créer un deepfake, un fraudeur utilise le document d'une personne réelle, en prend une photo et la transforme en un personnage en 3D. Les fournisseurs de services de lutte contre la fraude et de vérification qui ne travaillent pas constamment à la mise à jour des technologies de détection des deepfakes sont à la traîne et mettent en danger à la fois les entreprises et les utilisateurs. La mise à jour de la technologie de détection des faux est un élément essentiel des systèmes modernes de vérification et de lutte contre la fraude."

Les trois principaux types de fraude sont le "liveness bypass", une méthode de fraude où les criminels intervertissent ou modifient les données biométriques (34 % des fraudes aux États-Unis et 22 % au Canada), les cartes d'identité modifiées (22 % aux États-Unis et 24 % au Canada) et les fausses cartes d'identité (13 % aux États-Unis et 18 % au Canada).

On observe également une tendance croissante à la vérification forcée - les personnes effectuant des vérifications biométriques contre leur gré - qui est passée de 0,5 % à 0,7 % en 2022 et encore plus au premier trimestre 2023, de 0,6 % à 1,1 %.

"Nous avons constaté une tendance à la vérification forcée à l'échelle mondiale, lorsqu'il est visible qu'une personne dont la photo est prise ou qui passe la vérification de la vivacité le fait involontairement tout en étant retenue par la force d'autrui", déclare Goldman-Kalaydin. "Il est alarmant de constater que la proportion de ces fraudes augmente. De même, il arrive que la personne contrôlée soit manifestement inconsciente - peut-être endormie, peut-être mal dans sa peau, ou peut-être sous l'influence de substances. Cela signifie qu'elle ne participe pas activement et volontairement au processus KYC (Know Your Customer), ce qui peut conduire à la criminalité et à la fraude financière, par exemple, si elle n'est pas détectée et arrêtée à temps. Heureusement, ces cas ne sont pas encore très fréquents, mais leur existence est un signal d'alarme".

Source : Sumsub

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous des résultats de cette étude de Sumsub ? Trouvez-vous qu'ils sont pertinents ?

Pensez-vous que des technologies de détection de deepfakes plus modernes doivent être mises en place pour lutter contre ce fléau ?

Voir aussi

Le nombre de contenus deepfake en ligne augmente à un rythme annuel de 900 %, d'après le World Economic Forum

Des cybercriminels ont utilisé la technologie deepfake pour voler 35 millions de dollars à une banque en clonant la voix du directeur

67 % des consommateurs déclarent connaitre les technologies d'IA générative, mais ils surestiment leur capacité à détecter une deepfake vidéo, selon une étude récente de Jumio

Deepfake : 29 % des entreprises ont été victimes de fraudes vidéos et 37 % ont été touchées par des fraudes vocales, tandis que 46 % ont subi une fraude sur l'identité synthétique, selon Regula

[Jade Emy]

La FTC propose de nouvelles protections pour lutter contre l'usurpation d'identité par l'IA, elle finalise un règlement interdisant la fraude à l'administration et à l'usurpation d'identité.

La Federal Trade Commission (FTC) s'efforce de promouvoir la concurrence, de protéger et d'éduquer les consommateurs. Elle propose de nouvelles protections pour lutter contre l'usurpation d'identité par l'IA. L'agence finalise un règlement interdisant la fraude à l'administration et à l'usurpation d'identité et cherche à étendre les protections aux particuliers.

La Federal Trade Commission (FTC) est une agence indépendante du gouvernement des États-Unis dont la mission principale est l'application de la législation antitrust civile (non pénale) et la promotion de la protection des consommateurs. La FTC partage la compétence en matière d'application de la législation antitrust civile fédérale avec la division antitrust du ministère de la Justice.

La Federal Trade Commission sollicite les commentaires du public sur un avis complémentaire de proposition de réglementation qui interdirait l'usurpation d'identité des personnes. Les modifications proposées étendraient les protections de la nouvelle règle sur l'usurpation de l'identité d'un gouvernement ou d'une entreprise que la Commission finalise.

L'agence prend cette mesure à la lumière de l'augmentation des plaintes concernant la fraude à l'usurpation d'identité, ainsi que du tollé général concernant les préjudices causés aux consommateurs et aux personnes dont l'identité a été usurpée. Les nouvelles technologies, notamment les deepfakes générées par l'intelligence artificielle, risquent d'aggraver ce fléau, et la FTC s'est engagée à utiliser tous les outils dont elle dispose pour détecter, décourager et faire cesser les fraudes à l'usurpation d'identité.

La Commission sollicite également des commentaires sur la question de savoir si la règle révisée devrait déclarer illégal pour une entreprise, telle qu'une plateforme d'IA qui crée des images, des vidéos ou du texte, de fournir des biens ou des services dont ils savent ou ont des raisons de savoir qu'ils sont utilisés pour nuire aux consommateurs par le biais de l'usurpation d'identité.

"Les fraudeurs utilisent des outils d'IA pour usurper l'identité de personnes avec une précision inquiétante et à une échelle beaucoup plus large. Avec l'augmentation du clonage vocal et d'autres escroqueries basées sur l'IA, il est plus important que jamais de protéger les Américains contre la fraude à l'usurpation d'identité", a déclaré Lina M. Khan, présidente de la FTC. "Nos propositions d'extension de la règle finale sur l'usurpation d'identité vont dans ce sens, en renforçant la boîte à outils de la FTC pour lutter contre les escroqueries fondées sur l'IA qui usurpent l'identité d'un individu".

L'avis supplémentaire de proposition de réglementation est publié en réponse aux commentaires reçus pendant la période de consultation publique sur la règle relative à l'usurpation d'identité des gouvernements et des entreprises, qui soulignaient les menaces et les préjudices supplémentaires posés par l'usurpation d'identité des personnes. Alors que les escrocs trouvent de nouveaux moyens d'escroquer les consommateurs, notamment par le biais d'imitations générées par l'intelligence artificielle, cette proposition aidera l'agence à décourager la fraude et à obtenir réparation pour les consommateurs lésés.

Règle finale sur l'usurpation d'identité des gouvernements et des entreprises

En plus de l'avis complémentaire, la FTC a finalisé la règle sur l'usurpation d'identité du gouvernement et des entreprises, qui donne à l'agence des outils plus puissants pour lutter contre les escrocs qui se font passer pour des entreprises ou des agences gouvernementales, permettant à la FTC de saisir directement les tribunaux fédéraux pour obliger les escrocs à rendre l'argent qu'ils ont gagné grâce à des escroqueries par usurpation d'identité du gouvernement ou des entreprises. Cette mesure est particulièrement importante compte tenu de l'arrêt rendu par la Cour suprême en avril 2021 dans l'affaire AMG Capital Management LLC v. FTC, qui a considérablement limité la capacité de l'agence à exiger des défendeurs qu'ils restituent de l'argent aux consommateurs lésés.

Les escroqueries liées à l'usurpation de l'identité d'un gouvernement ou d'une entreprise ont coûté des milliards de dollars aux consommateurs ces dernières années, et ces deux catégories ont connu une augmentation significative des signalements à la FTC en 2023. Le règlement autorise l'agence à lutter plus efficacement contre ces escroqueries.

Par exemple, la règle permettrait à la FTC de demander directement une réparation pécuniaire devant un tribunal fédéral aux escrocs qui :

• utilisent des sceaux gouvernementaux ou des logos d'entreprises lorsqu'ils communiquent avec les consommateurs par courrier ou en ligne
  
  
• usurpent des adresses électroniques et des adresses web gouvernementales ou professionnelles, notamment en usurpant des adresses électroniques ".gov" ou en utilisant des adresses électroniques ou des sites web ressemblants qui reposent sur des fautes d'orthographe du nom d'une entreprise.
  
  
• donnent une fausse impression d'affiliation à un gouvernement ou à une entreprise en utilisant des termes connus pour être affiliés à une agence gouvernementale ou à une entreprise (par exemple, en déclarant "J'appelle du bureau du greffier" pour donner une fausse impression d'affiliation à un tribunal).

La publication de la règle finale intervient après deux séries de commentaires publics en réponse à un avis préalable de proposition de réglementation publié en décembre 2021, un avis de proposition de réglementation publié en septembre 2022 et une audience informelle en mai 2023.

Le vote de la Commission pour émettre la règle finale et l'avis supplémentaire de réglementation proposée et pour les publier dans le Registre fédéral a été de 3-0. La présidente Lina M. Khan a fait une déclaration séparée à laquelle se sont joints les commissaires Rebecca Kelly Slaughter et Alvaro M. Bedoya.

Les deux textes paraîtront prochainement dans le Registre fédéral. La règle finale sur l'usurpation de l'identité d'un gouvernement ou d'une entreprise entrera en vigueur 30 jours après sa publication dans le Registre fédéral. La période de consultation publique pour le SNPRM sera ouverte pendant 60 jours à compter de la date de sa publication dans le Federal Register, et des instructions sur la manière de formuler des commentaires seront incluses dans l'avis.

Source : Federal Trade Commission (FTC)

Et vous ?

Pensez-vous que ce règlement est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les "deepfakes" deviennent la première forme de fraude et sont principalement utilisés pour le "liveness bypass" et la fabrication de cartes d'identité falsifiées ou modifiées, selon Sumsub

Les Américains ont perdu l'an dernier un montant record de 10,3 milliards de dollars dans des escroqueries en ligne, selon un rapport du FBI

La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake

[Jade Emy]

Des experts en IA et des dirigeants d'entreprises ont signé une lettre ouverte appelant à une plus grande réglementation de la création de "deepfakes", évoquant les risques potentiels pour la société.

Des experts en intelligence artificielle et des dirigeants d'entreprises, dont Yoshua Bengio, l'un des pionniers de cette technologie, ont signé une lettre ouverte appelant à une plus grande réglementation de la création de "deepfakes", en invoquant les risques potentiels pour la société. La lettre contient des recommandations sur la manière de réglementer les deepfakes.

Aujourd'hui, les "deepfakes" concernent souvent l'imagerie sexuelle, la fraude ou la désinformation politique. "Étant donné que l'IA progresse rapidement et rend la création de deepfakes beaucoup plus facile, des garde-fous sont nécessaires", indique le groupe dans la lettre, rédigée par Andrew Critch, chercheur en IA à l'université de Berkeley.

Les deepfakes sont des images, des sons et des vidéos réalistes mais fabriqués par des algorithmes d'IA, et les progrès récents de la technologie les rendent de plus en plus impossibles à distinguer des contenus créés par des humains.

La lettre, intitulée "Disrupting the Deepfake Supply Chain", contient des recommandations sur la manière de réglementer les deepfakes, notamment la criminalisation totale de la pédopornographie par deepfake, des sanctions pénales pour toute personne créant ou facilitant sciemment la diffusion de deepfakes nuisibles et l'obligation pour les entreprises d'IA d'empêcher leurs produits de créer des deepfakes nuisibles.

Plus de 400 personnes issues de différents secteurs, notamment du monde universitaire, du spectacle et de la politique, avaient signé la lettre. Parmi les signataires figurent Steven Pinker, professeur de psychologie à Harvard, Joy Buolamwini, fondatrice de l'Algorithmic Justice League, deux anciens présidents estoniens, des chercheurs de Google DeepMind et un chercheur d'OpenAI.

Veiller à ce que les systèmes d'IA ne nuisent pas à la société est une priorité pour les régulateurs depuis qu'OpenAI, soutenue par Microsoft, a dévoilé ChatGPT fin 2022, qui a séduit les utilisateurs en les faisant participer à des conversations semblables à celles des humains et en effectuant d'autres tâches. De nombreuses personnalités ont mis en garde contre les risques liés à l'IA, notamment une lettre signée par Elon Musk l'année dernière, qui appelait à une pause de six mois dans le développement de systèmes plus puissants que le modèle d'IA GPT-4 d'OpenAI.

Perturber la chaîne d'approvisionnement de Deepfake

Contexte : De nombreux experts ont prévenu que l'intelligence artificielle ("IA") pourrait causer des dommages importants à l'humanité si elle n'était pas gérée de manière responsable. L'impact de l'IA est considérablement aggravé par sa capacité à imiter des êtres humains réels. Dans la déclaration ci-dessous, le terme "deepfakes" fait référence à des voix, des images ou des vidéos générées par l'IA, non consensuelles ou grossièrement trompeuses, qu'une personne raisonnable pourrait prendre pour réelles. Cela n'inclut pas les légères modifications d'une image ou d'une voix, ni les divertissements ou satires inoffensifs qui sont facilement reconnus comme étant synthétiques. Aujourd'hui, les deepfakes concernent souvent l'imagerie sexuelle, la fraude ou la désinformation politique. Étant donné que l'IA progresse rapidement et qu'il est beaucoup plus facile de créer des deepfakes, il est nécessaire de mettre en place des mesures de protection pour assurer le fonctionnement et l'intégrité de notre infrastructure numérique.

Déclaration

Les deepfakes constituent une menace croissante pour la société, et les gouvernements doivent imposer des obligations tout au long de la chaîne d'approvisionnement pour mettre fin à la prolifération des deepfakes. Les nouvelles lois doivent :

1. Criminaliser totalement la pornographie infantile "deepfake", même lorsque seuls des enfants fictifs sont représentés ;
2. Prévoir des sanctions pénales pour toute personne qui crée ou facilite sciemment la diffusion de "deepfakes" préjudiciables ; et
3. Exiger des développeurs et distributeurs de logiciels qu'ils empêchent leurs produits audio et visuels de créer des deepfakes nuisibles, et qu'ils soient tenus pour responsables si leurs mesures préventives sont trop facilement contournées.

Si elles sont conçues judicieusement, ces lois pourraient favoriser l'émergence d'entreprises socialement responsables et ne devraient pas être excessivement contraignantes.

Source : "Disrupting the Deepfake Supply Chain" (Lettre ouverte)

Et vous ?
Pensez-vous que cette lettre soit crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

La FTC propose de nouvelles protections pour lutter contre l'usurpation d'identité par l'IA. Elle finalise un règlement interdisant la fraude à l'administration et à l'usurpation d'identité

La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake

Quelles seront les avancées technologiques les plus dangereuses à l'avenir ? L'IA figure parmi les réponses les plus courantes, ainsi que les deepfakes et les essaims de drones

[Jade Emy]

Les "deepfakes" politiques représentent l'utilisation abusive la plus populaire de l'IA : sa faible technicité et son accessibilité ont accru l'utilisation malveillante de l'IA générative, selon DeepMind.

Les "deepfakes" politiques représentent l'utilisation abusive la plus populaire de l'IA, selon une étude menée par DeepMind de Google. L'étude décrit les manières néfastes d'utiliser l'IA et souligne la nécessité d'une approche à multiples facettes pour atténuer l'utilisation abusive de l'IA générative.

Les "deepfakes" sont définies comme des médias synthétiques qui ont été manipulés numériquement pour remplacer de manière convaincante l'image d'une personne par celle d'une autre. Les deepfakes exploitent des outils et des techniques d'apprentissage automatique et d'intelligence artificielle. Elles ont suscité une grande attention en raison de leur utilisation dans la pornographie, la désinformations, l'intimidation et les fraudes financières.

Une étude réalisée par DeepMind, une société de Google, décrit les utilisations malveillantes les plus courantes de l'intelligence artificielle (IA). Les deepfakes générés par l'IA qui usurpent l'identité de politiciens et de célébrités sont bien plus répandus que les efforts visant à utiliser l'IA pour faciliter les cyberattaques. L'étude indique que la création d'images, de vidéos et de sons réalistes mais faux de personnes est presque deux fois plus fréquente que l'utilisation abusive suivante des outils d'IA générative : la falsification d'informations à l'aide d'outils textuels, tels que les chatbots, pour générer des informations erronées à publier en ligne.

L'analyse, réalisée avec l'unité de recherche et de développement du groupe de recherche Jigsaw, a révélé que l'objectif le plus courant des acteurs utilisant abusivement l'IA générative était de façonner ou d'influencer l'opinion publique. Cela représentait 27 % des utilisations, ce qui alimente les craintes quant à la manière dont les deepfakes pourraient influencer les élections à l'échelle mondiale cette année. Malgré les efforts déployés par les plateformes de médias sociaux pour étiqueter ou supprimer ces contenus, le public pourrait ne pas reconnaître qu'il s'agit de faux, et la diffusion de ces contenus pourrait influencer les électeurs.

L'utilisation abusive de l'IA générative : Taxonomie des tactiques et enseignements tirés de données réelles

Les chercheurs présentent l'étude :

L'intelligence artificielle générative et multimodale (GenAI) offre un potentiel de transformation dans tous les secteurs, mais son utilisation abusive présente des risques importants. Des recherches antérieures ont mis en lumière le potentiel d'exploitation des systèmes d'IA avancés à des fins malveillantes. Cependant, nous ne comprenons pas encore concrètement comment les modèles de GenAI sont spécifiquement exploités ou abusés dans la pratique, ni les tactiques employées pour infliger des dommages.

Dans cet article, nous présentons une taxonomie des tactiques d'utilisation abusive de la GenAI, éclairée par la littérature académique existante et une analyse qualitative d'environ 200 incidents d'utilisation abusive observés et signalés entre janvier 2023 et mars 2024. Grâce à cette analyse, nous mettons en lumière des modèles clés et nouveaux d'utilisation abusive au cours de cette période, y compris les motivations potentielles, les stratégies et la façon dont les attaquants exploitent et abusent des capacités du système à travers les modalités (par exemple, image, texte, audio, vidéo) dans la nature.

Classer les tactiques d'utilisation abusive de l'IA générative

L'intelligence artificielle générative et multimodale (GenAI) offre de nouvelles possibilités dans les industries et les domaines créatifs. Au cours de l'année écoulée, les principaux laboratoires d'IA ont dévoilé des modèles qui démontrent des capacités sophistiquées dans toutes les tâches : de la compréhension audiovisuelle complexe et du raisonnement mathématique, à la simulation réaliste d'environnements réels. Ces systèmes sont rapidement intégrés dans des secteurs critiques tels que les soins de santé, l'éducation et les services publics.

Pourtant, à mesure que les capacités de la GenAI progressent, la prise de conscience du potentiel d'utilisation abusive de ces outils augmente, y compris les préoccupations accrues concernant la sécurité, la protection de la vie privée et la manipulation. Des recherches antérieures ont mis en lumière le potentiel d'exploitation des systèmes d'IA avancés à des fins malveillantes à l'aide d'analyses prospectives et de scénarios hypothétiques, qui visent à cartographier les risques éthiques futurs de manière systématique.

En complément de ces recherches, des initiatives telles que l'AI incidents monitor (AIM) de l'OCDE, le AI, Algorithmic, and Automation Incidents and Controversies repository (AIAAIC) et l'AI Incident Database enregistrent activement les incidents liés à l'IA dans toutes les applications et trient les préjudices qui y sont associés. Si ces initiatives constituent une base solide pour cartographier les menaces liées à l'IA, elles ont tendance à avoir une portée générale et à se concentrer sur l'identification des risques potentiels et des préjudices en aval.

En revanche, on n'en sait pas encore assez sur la manière dont les outils de la GenAI sont spécifiquement exploités et utilisés par différents acteurs, y compris sur les tactiques employées. La technologie elle-même devenant de plus en plus sophistiquée et multimodale, il est essentiel de mieux comprendre comment elle se manifeste dans la pratique et à travers les modalités.

C'est pourquoi l'étude présente une taxonomie des tactiques d'utilisation abusive de la GenAI, fondée sur la littérature académique existante et sur une analyse qualitative de 200 rapports médiatiques d'utilisation abusive et de démonstrations d'abus des systèmes de GenAI publiés entre janvier 2023 et mars 2024. Sur la base de cette analyse, les chercheurs mettent ensuite en lumière des modèles clés et nouveaux d'utilisation abusive de la GenAI au cours de cette période, y compris les motivations potentielles, les stratégies et la façon dont les attaquants exploitent et abusent des capacités du système à travers les modalités (par exemple, l'image, le texte, l'audio, la vidéo) dans un environnement incontrôlé.

Augmentation des deepfakes politiques pour influencer l'opinion publique

Les résultats montrent que :

1. La manipulation de l'apparence humaine et la falsification des preuves sont les tactiques les plus répandues dans les cas réels d'utilisation abusive. La plupart de ces tactiques ont été déployées dans l'intention manifeste d'influencer l'opinion publique, de permettre des activités frauduleuses ou de générer des profits.
   
2. La majorité des cas d'utilisation abusive signalés ne consistent pas en des utilisations ou des attaques technologiquement sophistiquées des systèmes de GenAI. Au contraire, on assiste principalement à l'exploitation de capacités de la GenAI facilement accessibles et nécessitant un minimum d'expertise technique.
   
3. La sophistication, la disponibilité et l'accessibilité accrues des outils de la GenAI semblent introduire de nouvelles formes d'utilisation abusive de niveau inférieur qui ne sont pas ouvertement malveillantes ni ne violent explicitement les conditions de service de ces outils, mais qui ont tout de même des ramifications éthiques préoccupantes. Il s'agit notamment de l'émergence de nouvelles formes de communication à des fins de sensibilisation politique, d'autopromotion et de plaidoyer, qui brouillent les frontières entre authenticité et tromperie.

Cette étude donne aux décideurs politiques, aux équipes chargées de la confiance et de la sécurité, ainsi qu'aux chercheurs, une base de données sur le potentiel de nuisance de ces technologies dans le monde réel, qui peut éclairer leur approche de la gouvernance de l'IA et des mesures d'atténuation. De plus, elle fournit une vue d'ensemble des menaces et des tactiques les plus importantes, et identifit les principales tactiques d'utilisation abusive à travers les modalités.

Ces résultats peuvent guider le développement d'évaluations de sécurité et de stratégies d'essais contradictoires qui sont plus en phase avec l'évolution rapide du paysage des menaces. Elles peuvent également aider à informer des atténuations et des interventions ciblées avec la possibilité de mieux vacciner le public contre des stratégies d'utilisation abusive spécifiques à l'avenir.

Les chercheurs commentent :

Notre analyse de l'utilisation abusive de la GenAI dans le monde réel met en évidence des schémas clés ayant des implications significatives pour les praticiens, les décideurs et les chercheurs dans le domaine de la confiance et de la sécurité. Nos données montrent que les outils de GenAI sont principalement exploités pour manipuler la ressemblance humaine (par le biais de l'usurpation d'identité, de la création de marionnettes, de l'appropriation de la ressemblance et de la NCII) et pour falsifier des preuves.

La prévalence de ces tactiques peut être due au fait que les sources de données humaines (images, audio, vidéo, etc.) abondent en ligne, ce qui rend relativement facile pour les acteurs de mauvaise foi d'introduire ces informations dans les systèmes d'IA générative. Toutefois, il est également possible que ces types d'abus attirent tout simplement plus l'attention des médias que d'autres, en raison de leur vaste impact sociétal. Ces cas d'utilisation abusive visaient principalement à façonner l'opinion publique, notamment par la diffamation et la manipulation des perceptions politiques, et à faciliter les escroqueries, les fraudes et les schémas de monétisation rapide.

GenAI à faible coût, technique simple, accès facile : Risque d'innondation des deepfakes ?

Malgré les inquiétudes largement répandues concernant les utilisations hautement sophistiquées et parrainées par l'État de la GenAI, les chercheurs constatent que la plupart des cas d'utilisation abusive de la GenAI ne sont pas des attaques sophistiquées contre les systèmes d'IA, mais exploitent facilement des capacités de la GenAI facilement accessibles et nécessitant un minimum d'expertise technique. De nombreuses tactiques marquantes, telles que les escroqueries par usurpation d'identité, la falsification et les personas synthétiques, sont antérieures à l'invention de la GenAI et sont utilisées depuis longtemps pour influencer l'écosystème de l'information et manipuler d'autres personnes.

Cependant, en donnant à ces tactiques ancestrales une nouvelle puissance et en démocratisant l'accès, la GenAI a modifié les coûts et les incitations associés à la manipulation de l'information, ce qui a conduit à un large éventail de cas d'utilisation et à un grand nombre d'individus impliqués dans ces activités. Comme le montrent les données, il s'agit aussi bien de personnalités politiques que de simples citoyens, et de personnes ne disposant pas d'un bagage technique important.

La disponibilité, l'accessibilité et l'hyperréalisme des résultats de la GenAI dans toutes les modalités ont également permis de nouvelles formes d'utilisation abusive de niveau inférieur qui brouillent les frontières entre la présentation authentique et la tromperie. Bien que ces utilisations de la GenAI, telles que la génération et la réutilisation de contenu à grande échelle et l'exploitation de la GenAI pour une communication politique personnalisée, ne soient pas ouvertement malveillantes et ne violent pas explicitement les politiques de contenu ou les conditions de service de ces outils, leur potentiel de nuisance est important.

Par exemple, la culture de l'image politique et le plaidoyer alimentés par la GenAI sans divulgation appropriée sapent la confiance du public en rendant difficile la distinction entre les images authentiques et les images fabriquées. De même, la production en masse de contenus synthétiques de faible qualité, de type spam et malveillants risque d'accroître le scepticisme des gens à l'égard de l'information numérique dans son ensemble et de surcharger les utilisateurs de tâches de vérification.

Si rien n'est fait, cette contamination des données accessibles au public par du contenu généré par l'IA pourrait potentiellement entraver la recherche d'informations et fausser la compréhension collective de la réalité sociopolitique ou du consensus scientifique. Par exemple, il y a déjà des cas de dividende du menteur, où des personnes très en vue sont en mesure d'expliquer des preuves défavorables comme étant générées par l'IA, en déplaçant la charge de la preuve de manière coûteuse et inefficace.

Prévention et mesures d'atténuation

Cette étude a plusieurs conséquences sur la manière d'aborder les mesures d'atténuation. Les tactiques d'abus courantes telles que la NCII sont exacerbées par les vulnérabilités techniques des systèmes de GenAI que les développeurs de modèles s'efforcent activement de résoudre et contre lesquelles ils mettent en place des mesures de protection, telles que la suppression du contenu toxique des données d'entraînement ou la restriction des invites qui violent les conditions d'utilisation de ces outils.

Cependant, de nombreux cas identifiés (par exemple ceux impliquant des représentations trompeuses) exploitent les vulnérabilités du contexte social plus large dans lequel ils sont déployés - par exemple, les campagnes d'escroquerie par hameçonnage qui reposent sur l'attente raisonnable d'un individu quant à l'authenticité de son paysage numérique et de ses interactions avec celui-ci.

Bien que les interventions techniques puissent apporter certains avantages, dans ces cas, des interventions non techniques, orientées vers l'utilisateur, sont nécessaires. Le "prebunking", par exemple, une intervention psychologique courante pour se protéger contre la manipulation de l'information, pourrait être utilement étendu pour protéger les utilisateurs contre les tactiques trompeuses et manipulatrices de la GenAI.

En outre, de nombreuses formes courantes d'utilisation abusive reposent sur l'exploitation des capacités de la GenAI que les développeurs de modèles s'efforcent activement d'améliorer (par exemple, les sorties photoréalistes). Les outils de GenAI devenant plus performants et plus accessibles, une augmentation du contenu généré par l'IA dans le cadre de campagnes de désinformation et de manipulation basées sur les médias serait à craindre.

Si plusieurs solutions, comme les outils de détection des médias synthétiques et les techniques de filigrane, ont été proposées et sont prometteuses, elles sont loin d'être la panacée. En particulier, la capacité d'adaptation inhérente aux acteurs malveillants signifie que les méthodes de détection s'améliorent en même temps que les méthodes de contournement. Dans ces cas, des interventions ciblées telles que des restrictions sur les capacités de modèles spécifiques et des restrictions d'utilisation peuvent être justifiées lorsque le risque d'utilisation abusive est élevé et que les autres interventions sont insuffisantes.

Conclusion

Les chercheurs concluent :

Notre étude a cherché à éclairer le paysage en évolution de l'utilisation abusive de la GenAI et de ses impacts. Alors que les craintes d'attaques adverses sophistiquées ont dominé le discours public, nos résultats révèlent une prévalence d'utilisations abusives de faible technicité et facilement accessibles par un large éventail d'acteurs, souvent motivés par des gains financiers ou de réputation. Ces abus, même s'ils ne sont pas toujours ouvertement malveillants, ont des conséquences considérables sur la confiance, l'authenticité et l'intégrité des écosystèmes d'information.

Nous avons également constaté que la GenAI amplifie les menaces existantes en abaissant les barrières à l'entrée et en augmentant la puissance et l'accessibilité de tactiques auparavant coûteuses. Ces résultats soulignent la nécessité d'une approche à multiples facettes pour atténuer l'utilisation abusive de la GenAI, impliquant une collaboration entre les décideurs politiques, les chercheurs, les leaders de l'industrie et la société civile. Pour relever ce défi, il faut non seulement des avancées techniques, mais aussi une meilleure compréhension des facteurs sociaux et psychologiques qui contribuent à l'utilisation abusive de ces outils puissants.

Source : "Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

La NSA, le FBI et la CISA publient une fiche d'information sur la cybersécurité concernant les menaces liées aux Deepfake

Le nombre de contenus deepfake en ligne augmente à un rythme annuel de 900 %, d'après le World Economic Forum

Un expert en IA « complètement terrifié » par les élections américaines de 2024, qui s'annoncent comme un « tsunami de désinformation », avec l'avènement des deepfakes et les IA génératives