Si c'était Trump cela n'aurait posé aucun problème et serait même relayé par les médias de masse comme une preuve de la dangerosité de Trump. Posez-vous juste la question du pourquoi du comment.
Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Si c'était Trump cela n'aurait posé aucun problème et serait même relayé par les médias de masse comme une preuve de la dangerosité de Trump. Posez-vous juste la question du pourquoi du comment.
TikTok va étiqueter automatiquement les contenus générés par IA sur des plateformes comme DALL-E 3
TikTok va étiqueter automatiquement les contenus générés par IA sur des plateformes comme DALL-E 3 afin de lutter contre la désinformation, en utilisant la technologie d'authentification des contenus de C2PA.
TikTok va étiqueter automatiquement les contenus générés par l'IA. Le géant des médias sociaux a déclaré que l'objectif était de lutter contre la désinformation.
TikTok a annoncé sur "GMA" qu'à partir de maintenant, le géant des médias sociaux étiquettera automatiquement les contenus générés par l'intelligence artificielle lorsqu'ils seront téléchargés à partir de certaines plateformes.
"Nos utilisateurs et nos créateurs sont très enthousiastes à propos de l'IA et de ce qu'elle peut faire pour leur créativité et leur capacité à se connecter avec le public." a déclaré Adam Presser, responsable des opérations, de la confiance et de la sécurité chez TikTok. "Et en même temps, nous voulons nous assurer que les gens ont la capacité de comprendre ce qu'est un fait et ce qu'est une fiction."
Le géant des médias sociaux affirme qu'il devient la première plateforme de partage de vidéos à mettre en œuvre la technologie Content Credentials, une norme technique ouverte qui permet aux éditeurs, aux créateurs et aux consommateurs de retracer l'origine de différents types de médias. "C'est comme une étiquette nutritionnelle pour le contenu. Il vous indique ce qui s'est passé dans l'image, où elle a été prise, qui l'a réalisée et les modifications qui ont été apportées en cours de route", a expliqué Dana Rao, Chief Trust Officer d'Adobe.
Adobe est l'un des membres fondateurs de la Coalition for Content Provenance and Authenticity (C2PA), une coalition d'entreprises qui travaillent ensemble pour faire avancer l'adoption de cette nouvelle norme numérique. Les Content Credentials (étiquettes nutritionnelles numériques) sont de plus en plus utilisés comme norme pour certifier le contenu numérique.
Au début de l'année, OpenAI a annoncé qu'elle ajouterait cette technologie à toutes les images créées et éditées par DALL.E 3, son dernier modèle d'image. OpenAI a également déclaré qu'elle prévoyait d'intégrer les certificats de contenu à son modèle de génération de vidéos, Sora, une fois qu'il sera lancé à plus grande échelle. D'autres produits dotés de capacités d'IA générative, comme Adobe Firefly, Photoshop, Express et Microsoft Copilot, utilisent déjà la technologie pour intégrer des métadonnées dans le contenu visuel créé à l'aide de leurs plateformes.
"Certains éléments du tableau se mettent en place", remarque Sam Gregory, directeur exécutif de Witness et expert en matière de "deepfakes". "Il est essentiel que des entreprises spécifiques rendent aussi facile que possible de savoir quand un contenu a été créé à l'aide de leurs outils en fournissant des classifications spécifiques à ces derniers."
TikTok a déclaré que le déploiement de ce nouveau label commence aujourd'hui et s'appliquera à tous les utilisateurs à l'échelle mondiale dans les semaines à venir. Au cours des prochains mois, TikTok commencera également à attacher des références de contenu au contenu, qui resteront sur le contenu lorsqu'il sera téléchargé, ce qui permettra à d'autres plateformes de lire les métadonnées.
Avec l'élection présidentielle américaine qui se profile à l'horizon et les élections qui s'enchaînent dans le monde entier, les demandes de détection en ligne des contenus générés par l'IA se font de plus en plus pressantes.
"Ni l'une ni l'autre n'est une solution miracle, ni maintenant ni lorsqu'elles seront pleinement utilisées et fournies - elles constituent une forme de réduction des dommages qui permet de discerner plus facilement quand et comment l'IA a été utilisée", a expliqué M. Gregory. "Les créateurs et distributeurs malveillants et trompeurs trouveront toujours un moyen de les contourner, mais la plupart d'entre nous seront heureux de les utiliser s'ils ne compromettent pas notre vie privée ou notre capacité à créer."
Rao pense que nous nous dirigerons vers un monde en ligne où les contenus qui portent ces étiquettes nutritionnelles numériques pourraient être plus dignes de confiance ou plus valorisés que ceux qui n'en portent pas. "La valeur réelle sera l'authenticité", souligne M. Rao. "Les créateurs veulent avoir une communication authentique avec leurs spectateurs, et ce certificat de contenu permet donc aux créateurs d'établir le niveau d'authenticité qu'ils souhaitent avec leur public."
Source : TikTok
Et vous ?
Pensez-vous que cette initiative est crédible ou pertinente ?
Voir aussi :
Plus de 70 % des consommateurs craignent d'être dupés par une deepfake et de son influence sur les élections
Plus de 70 % des consommateurs craignent d'être dupés par une deepfake et de voir l'IA et les deepfakes influencer les prochaines élections dans leur pays, selon une étude de Jumio.
Une nouvelle étude de la société de vérification d'identité Jumio révèle une inquiétude croissante quant à l'influence politique que l'IA et les deepfakes pourraient avoir lors des prochaines élections et à la manière dont ils pourraient influencer la confiance dans les médias en ligne.
L'étude menée auprès de plus de 8 000 consommateurs adultes, répartis équitablement entre le Royaume-Uni, les États-Unis, Singapour et le Mexique, révèle que 72 % des consommateurs améticains s'inquiètent de l'influence potentielle de l'IA et des deepfakes sur les prochaines élections dans leur pays. Ils estiment que les deepfakes minent la confiance dans les politiciens et les médias, 70 % d'entre eux faisant état d'un scepticisme accru à l'égard du contenu qu'ils voient en ligne, par rapport aux dernières élections.
Au niveau mondial, seuls 46 % des consommateurs pensent qu'ils pourraient facilement repérer un deepfake d'une personnalité politique ou d'une célébrité. Ce chiffre tombe à 37 % aux États-Unis et la confiance varie en fonction de la tranche d'âge : seuls 22 % des Américains âgés de 55 ans ou plus ont confiance en leurs capacités. Les hommes âgés de 18 à 34 ans sont les plus confiants dans leur capacité à repérer les faux (75 %), tandis que les femmes âgées de 35 à 54 ans sont les moins confiantes (52 %).
Seuls 43 % des consommateurs du monde entier déclarent faire confiance aux informations politiques qu'ils voient en ligne, malgré la possibilité de tomber sur des deepfakes audio, vidéo et image. Les Américains sont beaucoup moins confiants (32 %). Au niveau mondial, seulement 43 % des personnes interrogées ont confiance dans la capacité de leur gouvernement à réglementer l'IA, ce chiffre tombant à 31 % aux États-Unis et à seulement 26 % au Royaume-Uni.
« Avec la moitié de la population mondiale participant aux élections cette année, l'influence et l'impact potentiels de l'IA générative et des deepfakes exigent notre attention immédiate », déclare Robert Prigge, PDG de Jumio. « La confiance du public dans l'information en ligne s'effrite, exigeant un discours transparent pour faire face à ce défi et donner aux citoyens les outils pour discerner et signaler les deepfakes. Les plateformes en ligne ont le devoir essentiel de tirer parti de mesures de détection de pointe telles que les systèmes de vérification multimodaux basés sur la biométrie pour renforcer nos défenses contre les "deepfakes" qui influencent des élections cruciales. »
À propos de la recherche
L'étude annuelle Jumio Online Identity Consumer Study, qui en est à sa troisième année, explore la sensibilisation et le sentiment des consommateurs autour des questions liées à l'identité en ligne, aux risques de fraude et aux méthodes actuelles utilisées pour protéger les données d'identité des consommateurs.
Les résultats de 2024 mettent en évidence les préoccupations importantes des consommateurs concernant les risques associés à l'IA générative et aux deepfakes, notamment le potentiel d'augmentation de la cybercriminalité et de l'usurpation d'identité. L'étude démontre le besoin pressant de s'assurer de l'authenticité des utilisateurs.
Principales conclusions
- 72 % des consommateurs s'inquiètent quotidiennement d'être trompés par un deepfake et souhaitent que leur gouvernement fasse davantage pour réglementer l'IA. Les trois quarts des consommateurs s'inquiètent quotidiennement d'être trompés par un deepfake et d'avoir à communiquer des informations sensibles ou de l'argent. Seuls 15 % des consommateurs déclarent n'avoir jamais été confrontés à un deepfake, tandis que 60 % l'ont été au cours de l'année écoulée et que 22 % n'en sont pas sûrs.
Une majorité significative de consommateurs appelle à une plus grande réglementation gouvernementale de l'IA afin de résoudre les problèmes liés aux deepfakes et à l'IA générative. Toutefois, la confiance dans la réglementation varie d'un pays à l'autre.
- Les consommateurs continuent de surestimer leur propre capacité à repérer les deepfakes. Même si cette technologie de plus en plus répandue et en constante évolution suscite une grande anxiété, les consommateurs continuent de surestimer leur propre capacité à repérer les deepfakes - 60 % d'entre eux pensent qu'ils pourraient détecter un deepfake, contre 52 % en 2023.
Les hommes sont plus confiants dans leur capacité à repérer un deepfake (66 % des hommes contre 55 % des femmes). Les hommes âgés de 18 à 34 ans sont les plus confiants (75%), tandis que les femmes âgées de 35 à 54 ans sont les moins confiantes (52%)
- Une vérification plus rigoureuse de l'identité est nécessaire pour se protéger contre l'usurpation d'identité et la fraude, qui sont coûteuses et répandues. La fraude est un problème bien trop familier pour de nombreux consommateurs à travers le monde, 68% des personnes interrogées déclarant qu'elles savent ou soupçonnent avoir été victimes d'une fraude en ligne ou d'un vol d'identité, ou qu'elles connaissent quelqu'un qui a été affecté.
Un tiers (32 %)des consommateurs qui ont été ou pensent avoir été victimes d'une fraude en ligne déclarent que cela leur a causé des problèmes importants et plusieurs heures de travail administratif à résoudre, et 14 % vont même jusqu'à parler d'une expérience traumatisante. Plus de 70 % des consommateurs ont déclaré qu'ils consacreraient plus de temps à la vérification de l'identité si ces mesures amélioraient la sécurité dans des secteurs tels que les services financiers (77 %), la santé (74 %), le gouvernement (72 %), la vente au détail et le commerce électronique (72 %), les médias sociaux (71 %), l'économie de partage (71 %), et les voyages et l'hôtellerie (71 %).
Lors de la création d'un nouveau compte en ligne, les consommateurs du monde entier ont déclaré que la prise d'une photo de leur pièce d'identité et d'un selfie en direct serait la forme la plus précise de vérification de l'identité (21 %), la création d'un mot de passe sécurisé arrivant juste derrière (19 %). Qu'ils aient été ou non victimes de fraude ou d'usurpation d'identité, la plupart des consommateurs s'inquiètent chaque jour de la possibilité d'être victimes d'une violation de données ou d'une prise de contrôle de leur compte.
La sécurité dans les services financiers
La majorité des consommateurs sont prêts à changer de banque en raison d'une protection inadéquate contre la fraude. Ils estiment que les prestataires de services bancaires sont responsables en dernier ressort de la protection des clients et de l'indemnisation des victimes de fraude.
75 % d'entre eux attendent un remboursement intégral de leur banque s'ils sont victimes de la cybercriminalité. La technologie utilisée par les fraudeurs devenant de plus en plus sophistiquée, les outils de prévention et de détection des escroqueries doivent eux aussi évoluer. 69 % des clients exigent des mesures de cybersécurité plus strictes, car la confiance dans les protections des banques diminue.
Deepfakes et Elections
Alors que plus de 50 pays organisent des élections nationales en 2024, Jumio a étudié la perception des deepfakes par les consommateurs et la manière dont ils pourraient influencer la confiance dans les médias en ligne. Les données révèlent également une évolution de la relation entre le public et les médias en ligne.
Source : Jumio Online Identity Consumer Study 2024
Et vous ?
Voir aussi :
Les cyberattaques par IA sont une telle menace que 73 % des sociétés US ont un plan de réponse aux deepfakes
Les cyberattaques par IA sont une telle menace que 73 % des entreprises américaines ont un plan de réponse aux deepfakes, et 69 % sont tenues d'utiliser l'authentification biométrique pour renforcer la sécurité
Compte tenu du niveau d'inquiétude suscité par l'influence des « deepfakes », il n'est peut-être pas surprenant d'apprendre que les entreprises élaborent leurs propres plans de réponse aux « deepfakes ».
Une nouvelle enquête menée par le moteur de recommandation de logiciels GetApp auprès de plus de 2 600 professionnels mondiaux de l'informatique et de la cybersécurité révèle que 73 % des personnes interrogées aux États-Unis déclarent que leur organisation a élaboré un plan de réponse aux deepfakes.
Parmi les répondants américains, 69 % sont tenus d'utiliser l'authentification biométrique pour renforcer la cybersécurité, ce qui est supérieur à la moyenne mondiale de 53 %. Toutefois, la confiance dans ces systèmes diminue, 36 % d'entre eux se déclarant très préoccupés par les capacités croissantes de l'IA à fabriquer des données biométriques synthétiques à des fins de fraude.
Globalement, 49 % des professionnels sont préoccupés par la protection de la vie privée et 38 % craignent un vol d'identité potentiel lié à l'utilisation de protections biométriques.
En outre, 60 % des professionnels mondiaux de l'informatique et de la sécurité déclarent que leur entreprise a mis au point des mesures de défense contre les attaques de type « deepfake » générées par l'IA. 77 % indiquent que leur entreprise a augmenté ses investissements en matière de cybersécurité au cours des 18 derniers mois.
« Les dirigeants d'entreprise ont besoin d'être rassurés sur le fait que leurs protections peuvent encore fonctionner pour les défendre contre les menaces », déclare David Jani, analyste principal de la sécurité chez GetApp. « En pratique, cela signifie que les dirigeants doivent revoir la façon dont ils protègent l'accès à leurs systèmes et comprendre les meilleurs moyens de relever le défi des nouvelles fraudes plus ciblées.
Les entreprises interrogées au niveau mondial qui ont déjà subi des cyberattaques se tournent vers des mesures qui peuvent être mises en œuvre immédiatement et souvent à un coût minime pour renforcer les vulnérabilités. Il s'agit notamment d'améliorer la sécurité des réseaux, de donner la priorité aux mises à jour de logiciels et de renforcer les politiques de mots de passe. En outre, de nombreuses personnes interrogées aux États-Unis (49 %) se concentrent sur l'utilisation de solutions de chiffrement des données pour protéger leurs données.
Source : "2024 Executive Security Survey" (GetApp)
Et vous ?
Voir aussi :
Elon Musk partage une vidéo manipulée imitant la voix de la vice-présidente des États-Unis Kamala Harris
Une vidéo manipulée partagée par Elon Musk imite la voix de la vice-présidente des États-Unis Kamala Harris, ce qui soulève des inquiétudes quant à l'utilisation de l'IA en politique.
Une vidéo manipulée partagée par Elon Musk imite la voix de la vice-présidente des États-Unis Kamala Harris. Des experts ont confirmé qu'une grande partie de la voix a été générée par l'IA. Cela soulève des questions sur une utilisation appropriée de l'IA dans la politique, en particulier, car Elon Musk n'a mis aucune étiquette indicant la nature parodique de la vidéo.
Elon Musk est un homme d'affaires et un investisseur connu pour ses rôles clés dans la société spatiale SpaceX et la société automobile Tesla, Inc. Il est également propriétaire de la plateforme X, anciennement connue sous le nom de Twitter, et a participé à la création de xAI et Neuralink. Il est l'une des personnes les plus riches du monde et ces opinions ont fait de lui une figure polarisante.
Il a été critiqué pour avoir fait des déclarations non scientifiques et trompeuses, y compris la désinformation COVID-19, pour avoir promu des théories du complot de droite et pour avoir "approuvé une théorie antisémite", ce dont il s'est excusé par la suite. Récemment, il a partagé une vidéo manipulée où on entend une imitation de la voix de la vice-présidente des États-Unis Kamala Harris.
Sous la présidence de Joe Biden, Kamala Harris est la première femme vice-présidente et la plus haute fonctionnaire de l'histoire des États-Unis, ainsi que la première Afro-Américaine et la première Sud-Asiatique vice-présidente. Membre du Parti démocrate, Harris a lancé sa propre campagne présidentielle avec l'appui de Biden après le retrait de ce dernier de l'élection présidentielle de 2024.
Une vidéo manipulée qui imite la voix de la vice-présidente Kamala Harris en disant des choses qu'elle n'a pas dites suscite des inquiétudes quant au pouvoir de l'intelligence artificielle à induire en erreur à trois mois du jour du scrutin. La vidéo a attiré l'attention après que le milliardaire de la technologie Elon Musk l'a partagée sur sa plateforme de médias sociaux X, sans indiquer explicitement qu'il s'agissait à l'origine d'une parodie.
La vidéo reprend de nombreux éléments visuels d'une véritable publicité que Mme Harris, candidate probable à la présidence du parti démocrate, a publiée pour lancer sa campagne. Mais la vidéo remplace la voix off par une autre voix qui imite de manière convaincante celle de Mme Harris.This is amazing 😂
— Elon Musk (@elonmusk) July 26, 2024
pic.twitter.com/KpnBKGUUwn
« Je suis Kamala Harris, votre candidate démocrate à la présidence parce que Joe Biden a finalement révélé sa sénilité lors du débat », déclare la voix dans la vidéo. Elle affirme que Mme Harris est une « candidate de la diversité » parce qu'elle est une femme et une personne de couleur, et qu'elle ne connaît pas « la moindre chose sur la façon de diriger le pays ». La vidéo conserve la marque « Harris for President ». Elle ajoute également d'anciens clips authentiques de Mme Harris.
Mia Ehrenberg, porte-parole de la campagne de Mme Harris, a déclaré : « Nous pensons que le peuple américain veut la vraie liberté, les opportunités et la sécurité que le vice-président Harris propose, et non les mensonges manipulés d'Elon Musk et de Donald Trump. »
La video soulève des questionnements sur l'IA
La vidéo largement partagée est un exemple de la manière dont des images, des vidéos ou des clips audios générés par l'IA ont été utilisés à la fois pour se moquer de la politique et pour induire en erreur, alors que les États-Unis se rapprochent de l'élection présidentielle. Elle montre comment, alors que les outils d'IA de haute qualité sont devenus beaucoup plus accessibles, le gouvernement fédéral n'a pas encore pris de mesures significatives pour réglementer leur utilisation, laissant aux États et aux plateformes de médias sociaux le soin de définir les règles régissant l'utilisation de l'IA en politique.
La vidéo soulève également des questions sur la meilleure façon de traiter les contenus qui brouillent les limites de ce qui est considéré comme une utilisation appropriée de l'IA, en particulier s'ils entrent dans la catégorie de la satire.
L'utilisateur original qui a posté la vidéo, un YouTubeur connu sous le nom de Mr Reagan, a révélé à la fois sur YouTube et sur X que la vidéo manipulée était une parodie. Mais le message de M. Musk, qui a été visionné plus de 123 millions de fois, selon la plateforme, ne comporte que la légende « C'est incroyable » accompagnée d'un émoji qui rit. À noter que Musk a soutenu l'ancien président Donald Trump, le candidat républicain.
Les utilisateurs de X qui connaissent bien la plateforme sauront peut-être qu'il faut cliquer sur le message de Musk pour accéder au message de l'utilisateur original, où la divulgation est visible. La légende de Musk ne les incite pas à le faire.
Bien que certains participants à la fonction "note de la communauté" de X, qui permet d'ajouter un contexte aux messages, aient suggéré d'étiqueter le message de Musk, aucune étiquette de ce type n'avait été ajoutée à ce dernier. Certains utilisateurs en ligne se sont demandé si son message ne violait pas les règles de X, qui stipulent que les utilisateurs "ne peuvent pas partager des médias synthétiques, manipulés ou hors contexte susceptibles de tromper ou d'embrouiller les gens et de leur causer du tort". Cette politique prévoit une exception pour les mèmes et la satire, à condition qu'ils ne causent pas de "confusion significative quant à l'authenticité du média".
Deux experts spécialisés dans les médias générés par l'IA ont examiné le son de la fausse publicité et ont confirmé qu'une grande partie avait été générée à l'aide de la technologie de l'IA. L'un d'entre eux, Hany Farid, expert en criminalistique numérique de l'université de Californie à Berkeley, a déclaré que la vidéo montrait la puissance de l'IA générative et des "deepfakes".
« La voix générée par l'IA est très bonne », a-t-il déclaré. « Même si la plupart des gens ne croiront pas qu'il s'agît de la voix de la vice-présidente Harris, la vidéo est d'autant plus puissante que les mots sont prononcés par elle. »
Et vous ?
Voir aussi :
L'intégralité des individus qui ont regardé cette vidéo savent qu'elle est fausse.Envoyé par Jade Emy
Cela dit il y a passage réel et on voit bien la différence.
Kamala Harris repeats same expression four times in speech loop
À la limite ils pourraient mettre un petit "réalisé avec trucage" de cette façon plus personne ne pourrait critiquer ces vidéos humoristiques.The vice president, who was speaking on Monday in Sunset, Louisiana, repeated the same phrase, “the significance of the passage of time”, four times in a row.
Sur YouTube c'est obligatoire. La Satire est bien évidemment autorisée, mais il faut incruster l'information concernant la modification de la vidéo originale. Et plus aucun problème. Si la mention n'est pas précisée, la vidéo est supprimée et la chaîne également après plusieurs avertissement.
La suite pour Kamala Harris
C'est beau de croire que personne n'est crédule.L'intégralité des individus qui ont regardé cette vidéo savent qu'elle est fausse.
Si c'était le cas il n'y aurait plus jamais de phising et autre joyeusetés qui se basent exclusivement sur la crédulité.
Non mais là il faut voir le contexte, il est évident que ce n'est pas la vraie Kamala Harris qui dit ça.
C'est clair.
De toute façon le plus néfaste pour Kamala Harris ce ne sont pas les fausses vidéos mais les vraies.
Par exemple :
https://twitter.com/mitchellvii/stat...34578902905208
Kamala Harris is asked a simple question on how she will fix inflation and she proceeds to give a completely useless word salad with zero solutions. There is no way this woman should be the President. Please retweet this so everyone can see!
Donc sur les 13 millions de vues (au moment de cet article) pas une seule personne n'a cru que c'était un fake ?!Non mais là il faut voir le contexte, il est évident que ce n'est pas la vraie Kamala Harris qui dit ça.
Là je pense que c'est toi qui est crédule (sans vouloir te vexer).
Il y a toujours des gens attardés qui croient n'importe quoi, et finissent au parti communiste ou à la LFI
En tout cas il est très simple de voir que c'est un fake.
Encore une fois, le problème de Kamala Harris ce n'est pas ce qu'on lui fait dire, mais ce qu'elle dit réellement.
Google va commencer à étiqueter les images générées par l'IA dans ses résultats de recherche
Google va commencer à étiqueter les images générées par l'IA dans ses résultats de recherche, car plus de 70 % des consommateurs craignent d'être dupés par des IA
Google a annoncé qu'il commencerait à étiqueter les images générées et modifiées par l'IA dans ses résultats de recherche dans le courant de l'année. Le géant de la technologie signalera ces contenus via la fonction « À propos de cette image », qui apparaîtra dans Google Search, Google Lens et Circle to Search d'Android en s'appuyant sur les métadonnées de la Coalition for Content Provenance and Authenticity (C2PA). L'entreprise prévoit également d'étendre cette technologie aux services publicitaires et éventuellement aux vidéos YouTube.
Une récente étude de la société de vérification d'identité Jumio a révélé une inquiétude croissante quant à l'influence que l'IA et les deepfakes pourraient avoir lors des prochaines élections et à la manière dont ils pourraient influencer la confiance dans les médias en ligne. L'étude menée auprès de plus de 8 000 consommateurs adultes montre que 72 % des consommateurs s'inquiètent quotidiennement d'être trompés par un deepfake et souhaitent que leur gouvernement fasse davantage pour réglementer l'IA. Au niveau mondial, seuls 46 % des consommateurs pensent qu'ils pourraient facilement repérer un deepfake d'une personnalité politique ou d'une célébrité. Ce chiffre tombe à 37 % aux États-Unis.
Face à cette situation, Google a déclaré dans un communiqué de presse publié ce mardi 17 septembre qu'il commencerait à étiqueter les résultats de recherche d'images générés et modifiés par l'IA dans le courant de l'année.
L'entreprise signalera les contenus générés par l'IA dans la fenêtre « À propos de cette image » et cette mesure sera appliquée à Google Search, à Google Lens et à la fonction « Circle to Search » d'Android. Google appliquera également cette technologie à ses services publicitaires et envisage d'ajouter un indicateur similaire aux vidéos YouTube, mais « nous aurons plus d'informations à ce sujet dans le courant de l'année », selon le communiqué.
Par ailleurs, Google a déclaré qu'il s'appuiera sur les métadonnées de la Coalition for Content Provenance and Authenticity (C2PA) pour identifier les images générées par l'IA. Il s'agit d'un groupe industriel que l'entreprise a rejoint en tant que membre du comité directeur au début de l'année. Ces « métadonnées C2PA » seront utilisées pour suivre la provenance de l'image, en identifiant quand et où une image a été créée, ainsi que l'équipement et le logiciel utilisés pour sa génération.
Alors que Google continue d'intégrer l'IA à de nouveaux produits et services pour stimuler la créativité et la productivité, il s'attache également à aider les utilisateurs à mieux comprendre comment un contenu particulier a été créé et modifié au fil du temps. Google estime qu'il est essentiel que les utilisateurs aient accès à ces informations et investit massivement dans des outils et des solutions innovantes, comme SynthID, pour les fournir.
Selon Google, il est essentiel de s'associer à d'autres acteurs du secteur pour accroître la transparence globale en ligne, car le contenu circule entre les plateformes. C'est pourquoi, au début de l'année, Google a rejoint la Coalition for Content Provenance and Authenticity (C2PA) en tant que membre du comité directeur.
Aujourd'hui, Google montre comment elle entend contribuer à développer la dernière technologie d'identification de la provenance de la C2PA et à l'intégrer à ses produits.
Faire progresser la technologie existante pour créer des références plus sûres
La technologie de provenance des contenus peut aider à expliquer si une photo a été prise avec un appareil photo, éditée par un logiciel ou produite par l'IA générative. Ce type d'information aide les utilisateurs à prendre des décisions plus éclairées sur le contenu avec lequel ils s'engagent - y compris les photos, les vidéos et le son - et renforce l'éducation aux médias et la confiance.
En rejoignant la C2PA en tant que membre du comité directeur, Google a travaillé aux côtés des autres membres pour développer et faire progresser la technologie utilisée pour associer des informations de provenance au contenu. Au cours du premier semestre de cette année, Google a collaboré à la nouvelle version (2.1) de la norme technique Content Credentials. Cette version est plus sûre contre un plus grand nombre d'attaques de falsification grâce à des exigences techniques plus strictes en matière de validation de l'historique de la provenance du contenu. Le renforcement des protections contre ces types d'attaques permet de s'assurer que les données jointes ne sont pas altérées ou trompeuses.
Intégration de la norme C2PA dans les produits Google
Au cours des prochains mois, Google a déclaré qu'elle intégrera la dernière version de Content Credentials dans quelques-uns de ses principaux produits dont :
- Google Search : Si une image contient des métadonnées C2PA, les internautes pourront utiliser la fonctionnalité « À propos de cette image » pour savoir si elle a été créée ou modifiée à l'aide d'outils d'IA. La fonction « À propos de cette image » permet aux internautes de connaître le contexte des images qu'ils consultent en ligne. Elle est accessible dans Google Images, Lens et Circle to Search.
- Google Ads : Les systèmes publicitaires de Google commencent à intégrer les métadonnées C2PA. L'objectif de Google étant d'intensifier cette intégration au fil du temps et d'utiliser les signaux C2PA pour informer sur la façon dont l'entreprise applique ses principales règles.
Google étudie également des moyens de transmettre les informations C2PA aux utilisateurs de YouTube lorsque le contenu est capturé à l'aide d'une caméra, et fera le point sur cette question dans le courant de l'année.
Selon Google, la société veillera à ce que ses implémentations valident le contenu par rapport à la future C2PA Trust List, qui permet aux plateformes de confirmer l'origine du contenu. Par exemple, si les données indiquent qu'une image a été prise par un modèle d'appareil photo spécifique, la liste de confiance permet de valider l'exactitude de cette information.
Il ne s'agit là que de quelques exemples de la manière dont Google envisage aujourd'hui de mettre en œuvre la technologie de provenance des contenus, et la société indique qu'elle continuera à l'intégrer à d'autres produits au fil du temps.
Poursuite des partenariats avec d'autres acteurs du secteur
Établir et signaler la provenance du contenu reste un défi complexe, avec une série de considérations basées sur le produit ou le service. S'il est vrai qu'il n'existe pas de solution miracle pour tous les contenus en ligne, la collaboration avec d'autres acteurs du secteur est essentielle pour créer des solutions durables et interopérables. C'est pourquoi Google encourage un plus grand nombre de fournisseurs de services et de matériel à envisager d'adopter les Content Credentials de la C2PA.
Le travail de Google avec la C2PA complète directement son approche plus large de la transparence et du développement responsable de l'IA. Par exemple, l'entreprise continue d'apporter SynthID - un filigrane intégré créé par Google DeepMind - à d'autres outils d'IA générative pour la création de contenu et à d'autres formes de médias, y compris le texte, l'audio, l'image et la vidéo.
Google a également rejoint plusieurs autres coalitions et groupes axés sur la sécurité et la recherche en matière d'IA et a introduit un framework d'IA sécurisé (SAIF) et une coalition. En outre, l'entreprise continue de progresser dans la mise en œuvre des engagements volontaires qu'elle a pris à la Maison-Blanche l'année dernière.
Source : Google
Et vous ?
Voir aussi :
La Chine recourt à l'IA pour intensifier sa campagne de désinformation à l'approche des élections américaines
La Chine recourt à l'IA pour intensifier sa campagne de désinformation à l'approche des élections américaines
elle s'appuierait sur des réseaux de sites Web avec des contenus et des avatars générés par l'IA
La Chine est accusée d'avoir déployé une vaste campagne de désinformation dans le but d'influencer l'opinion publique américaine à l'approche de l'élection présidentielle de novembre 2024. Cette campagne coûterait plusieurs milliards de dollars par an et s'appuierait sur les capacités de génération de l'IA et des réseaux de sites Web. Ces derniers prétendent être des organes d'information légitimes et diffusent des informations favorables à Pékin. Les recherches sur l'identité de certains auteurs des publications révèlent que leurs noms n'appartiennent à aucun journaliste connu travaillant en Chine, et leurs photos portent les signes révélateurs d'œuvres générées par l'IA.
Des réseaux de sites Web et l'IA : la recette de Pékin pour mener des opérations d'influence
Les rapports accusant la Chine, la Russie et l'Iran de mener de vastes opérations de désinformation en ligne ne sont pas nouveaux. Toutefois, les rapports de ces dernières années soulignent un changement préoccupant dans ces campagnes : elles deviennent de plus en plus sophistiquées grâce à l'IA. La neutralisation de ces campagnes de désinformation devient extrêmement difficile, notamment en raison de la capacité de l'IA à générer du texte cohérent et convaincant, et sa capacité à générer des images réalistes. La combinaison de ses éléments permet à ces campagnes de générer des infox très convaincantes.
Des réseaux de sites Web présentés prétendument appartenant à des organes d'information légitimes et les plateformes de médias sociaux permettent ensuite aux auteurs de ces campagnes de diffuser à grande échelle leurs infox. Selon un rapport publié récemment par Fortune, Shannon Van Sant, conseillère auprès de la Fondation du Comité pour la liberté à Hong Kong, a suivi un réseau de dizaines de sites Web se faisant passer pour des organes de presse.
L'un d'entre eux imitait le New York Times, utilisant une police de caractères et un graphisme similaires. Le site véhiculait des messages fortement prochinois. Lorsque Shannon Van Sant a fait des recherches sur les journalistes du site, elle n'a trouvé aucune information. En effet, les recherches ont révélé que les noms des auteurs n'appartiennent à aucun journaliste connu travaillant en Chine, et leurs photos portent les signes révélateurs d'une création par l'IA.
Les analystes de la société de cybersécurité Logically ont identifié 1 200 sites Web ayant diffusé des articles de médias d'État russes ou chinois. Ces sites ciblent souvent des publics spécifiques et portent des noms qui ressemblent à ceux d'organismes d'information traditionnels ou de journaux disparus. Selon les analystes, dans leurs opérations de désinformation, Moscou et Téhéran ont affiché des préférences claires dans la campagne présidentielle américaine.
Pékin quant à lui est plus prudent et se concentre sur la diffusion de contenus positifs sur la Chine. Si les sites n'appartiennent pas à la Chine, ils diffusent un contenu chinois. Lorsque Logically s'est penché sur le contenu concernant spécifiquement les élections américaines, 20 % ont pu être retracés jusqu'aux médias d'État chinois ou russes. Les analystes estiment que la probabilité que ces infox puissent influencer l'opinion publique américaine est très élevée.
« Il est fort probable que ces articles puissent influencer le public américain sans qu'il sache d'où ils viennent », a déclaré Alex Nelson, responsable de la stratégie et de l'analyse chez Logically. Ils appellent le gouvernement américain à déployer des mesures d'urgence pour contrer les opérations d'influences chinoises.
Les efforts déployés par Pékin sont liés à la course mondiale à la domination technologique
« En plus de ses médias d'État, Pékin s'est tourné vers des acteurs étrangers - réels ou non - pour relayer des messages et donner de la crédibilité à des récits favorables au Parti communiste », affirme Xiao Qiang, chercheur à l'École de l'information de l'Université de Californie à Berkeley. Xiao Qiang est également rédacteur en chef de China Digital Times, un site Web d'information bilingue qui rassemble des articles sur la Chine et en provenance de ce pays. « Les méthodes de Pékin sont très variées et les liens avec le gouvernement sont souvent difficiles à prouver », a-t-il déclaré à propos des campagnes d'infox.
Mais Xiao Qiang ajoute : « qu'il s'agisse de journalistes aux noms à consonance américaine ou d'un influenceur indien, les messages toujours favorables à Pékin les trahissent. Le message implicite est le même : le parti communiste chinois travaille pour son peuple ». Dans ses efforts visant à influencer l'opinion mondiale, en particulier l'opinion publique américaine, la Chine aurait également conclu des partenariats avec des groupes de média du monde entier.
« L'action de la Chine s'inscrit dans le cadre de la course mondiale à la domination économique dans les domaines des véhicules électriques, des puces électroniques, de l'IA et de l'informatique quantique. Les pays qui seront à la pointe des technologies émergentes seront ceux qui bénéficieront d'un avantage considérable à l'avenir », a déclaré Jaret Riddick, chercheur principal au Centre pour la sécurité et les technologies émergentes de l'université de Georgetown.
Et pour raconter son histoire, Pékin n'hésiterait pas à utiliser de faux personnages. Un rapport du département d'État américain, datant de 2023, décrit le cas d'un écrivain publié nommé Yi Fan, présenté à l'origine comme un analyste du ministère chinois des Affaires étrangères. Yi Fan s'est transformé en journaliste, puis en analyste indépendant. Le rapport du département d'État indique que les détails de Yi Fan ont changé, mais le message est resté le même.
Dans les écrits qu'il a publiés, Yi Fan a vanté les liens étroits entre la Chine et l'Afrique, loué l'approche de Pékin en matière de durabilité environnementale et affirmé que la Chine devait contrer les récits déformés de l'Occident. Et puis il y a eu Wilson Edwards, un prétendu virologue suisse cité dans les médias chinois comme un expert de la Covid-19 qui a critiqué la réponse des États-Unis. Mais les autorités suisses n'ont trouvé aucune preuve de son existence.
Selon les experts américains, Pékin a investi dans des médias d'État tels que l'agence de presse Xinhua et China Central Television pour transmettre ses messages au monde entier, et ce dans différentes langues et sur différentes plateformes. Les groupes de médias au niveau local créent des « centres de communication internationaux » pour établir une présence à l'étranger avec des sites Web, des chaînes d'information et des comptes de médias sociaux.
Cependant, Liu Pengyu, porte-parole de l'ambassade de Chine aux États-Unis, a déclaré que « les allégations selon lesquelles la Chine utilise des sites d'information et des médias sociaux pour diffuser des informations favorables à Pékin et influencer l'opinion publique aux États-Unis sont pleines de spéculations malveillantes contre la Chine, ce à quoi la Chine s'oppose fermement ». La Russie et l'Iran ont également démenti les rapports les concernant.
Et vous ?
Voir aussi
Ils le font tous et dans tout les sens alors les accusations américaines ne riment pas à grand chose...
Plus rien ne semble vrai passé un certains niveau, c'est surtout ça qui devrait nous alarmer.
On attends aussi peut-être trop de choses de ces élections alors que nous même n'attendons plus rien des nôtres, c'est triste.
Aux USA, les deux camps excècrent la Chine. La Chine n'a rien à gagner à influencer le vote d'un côté ou de l'autre, au contraire de la Russie qui a tout intérêt à aider Trump.
Google propose sa technologie de filigrane d'IA sous la forme d'une boîte à outils open-source gratuite
Google propose sa technologie de filigrane d'IA sous la forme d'une boîte à outils open-source gratuite, offrant la même boîte à outils de filigrane de base gratuitement aux développeurs et aux entreprises
Google a mis le système SynthID en open-source, offrant gratuitement aux développeurs et aux entreprises la même boîte à outils de filigrane de base. Google présente également SynthID-Text, une méthode de filigrane pour le texte généré par IA. Si les filigranes SynthID-Text résistent à certaines transformations, les scores de confiance du détecteur peuvent être considérablement réduits lorsqu'un texte généré par l'IA est entièrement réécrit ou traduit dans une autre langue.
En septembre 2024, Google a annoncé qu'il commencerait à étiqueter les images générées et modifiées par l'IA dans ses résultats de recherche dans le courant de l'année. Le géant de la technologie signalera ces contenus via la fonction "À propos de cette image", qui apparaîtra dans Google Search, Google Lens et Circle to Search d'Android en s'appuyant sur les métadonnées de la C2PA. L'entreprise prévoit également d'étendre cette technologie aux services publicitaires et éventuellement aux vidéos YouTube.
Depuis le mois de mai, Google a complété son modèle d'IA Gemini avec SynthID, une boîte à outils qui incorpore au contenu généré par l'IA des filigranes qui, selon Google, sont "imperceptibles pour les humains" mais peuvent être détectés facilement et de manière fiable par un algorithme. Le 23 octobre, Google a mis le système SynthID en open-source, offrant gratuitement aux développeurs et aux entreprises la même boîte à outils de filigrane de base.
L'ensemble du secteur de l'IA dispose ainsi d'un moyen simple et apparemment robuste de marquer silencieusement un contenu comme étant généré artificiellement, ce qui pourrait s'avérer utile pour détecter les "deepfakes" et autres contenus d'IA préjudiciables avant qu'ils ne soient diffusés dans la nature. Mais il existe encore d'importantes limitations qui pourraient empêcher le filigrane de l'IA de devenir une norme de facto pour l'industrie de l'IA dans un avenir proche.
Google utilise une version de SynthID pour filigraner les contenus audio, vidéo et les images générés par ses systèmes d'IA multimodaux, avec des techniques différentes. Mais des chercheurs de Google ont expliqué en détail comment le processus SynthID incorpore un filigrane invisible dans la sortie textuelle de son modèle Gemini.
Le cœur du processus de filigrane textuel est un algorithme d'échantillonnage inséré dans la boucle habituelle de génération de jetons d'un LLM (la boucle choisit le mot suivant dans une séquence sur la base de l'ensemble complexe de liens pondérés du modèle avec les mots qui l'ont précédé). En utilisant une graine aléatoire générée à partir d'une clé fournie par Google, cet algorithme d'échantillonnage augmente la probabilité corrélationnelle que certains mots soient choisis dans le processus de génération. Une fonction de notation peut ensuite mesurer cette corrélation moyenne dans n'importe quel texte afin de déterminer la probabilité que le texte ait été généré par le LLM en filigrane (une valeur seuil peut être utilisée pour donner une réponse binaire oui/non).
Voici la présentation de SynthID par Google :
Application du filigrane
En pratique, SynthIDText est un processeur de logits, appliqué au pipeline de génération de votre modèle après Top-K et Top-P, qui augmente les logits du modèle en utilisant une fonction g pseudo-aléatoire pour encoder des informations de filigrane d'une manière qui vous aide à déterminer si le texte a été généré par votre modèle, sans affecter de manière significative la qualité du texte.
Les filigranes sont configurés pour paramétrer la fonction g et la manière dont elle est appliquée pendant la génération. Chaque configuration de filigrane que vous utilisez doit être stockée de manière sécurisée et privée, sinon votre filigrane peut être trivialement reproduit par d'autres.
Vous devez définir deux paramètres dans chaque configuration de filigrane :
- Le paramètre keys est une liste d'entiers aléatoires uniques utilisés pour calculer les scores de la fonction g dans le vocabulaire du modèle. La longueur de cette liste détermine le nombre de couches de filigrane appliquées.
- Le paramètre ngram_len est utilisé pour équilibrer la robustesse et la détectabilité ; plus la valeur est grande, plus le filigrane sera détectable, au prix d'une plus grande fragilité aux changements. Une longueur de 5 est une bonne valeur par défaut.
Vous pouvez configurer davantage le filigrane en fonction de vos besoins en termes de performances :
- Une table d'échantillonnage est configurée par deux propriétés, sampling_table_size et sampling_table_seed. Vous souhaitez utiliser sampling_table_size d'au moins 216 pour garantir une fonction g non biaisée et stable lors de l'échantillonnage, mais sachez que la taille de la table d'échantillonnage a un impact sur la quantité de mémoire requise au moment de l'inférence. Vous pouvez utiliser n'importe quel nombre entier pour sampling_table_seed.
- Les n-grammes répétés dans le context_history_size précédant les tokens ne sont pas filigranés pour améliorer la détectabilité.
Aucune formation supplémentaire n'est nécessaire pour générer du texte avec un filigrane SynthID-Text en utilisant vos modèles, seulement une configuration de filigrane qui est passée à la méthode .generate() du modèle pour activer le processeur de logits SynthID-Text.
Détection de filigrane et vérifiabilité
La détection d'un filigrane est probabiliste. Le détecteur bayésien peut produire trois états de détection possibles - filigrané, non filigrané ou incertain - et le comportement peut être personnalisé en définissant deux valeurs de seuil pour obtenir un taux spécifique de faux positifs et de faux négatifs.
Les modèles qui utilisent le même tokenizer peuvent également partager la configuration du filigrane et le détecteur, et donc partager un filigrane commun, à condition que l'ensemble d'entraînement du détecteur comprenne des exemples provenant de tous les modèles qui partagent le filigrane.
Une fois que vous disposez d'un détecteur entraîné, vous pouvez choisir si et comment vous l'exposez à vos utilisateurs et au public en général.
- L'option entièrement privée ne permet pas de divulguer ou d'exposer le détecteur de quelque manière que ce soit.
- L'option semi-privée ne divulgue pas le détecteur, mais l'expose par le biais d'une API.
- L'option publique permet à d'autres de télécharger et d'utiliser le détecteur.
Vous devez décider quelle approche de vérification de la détection répond le mieux à vos besoins, en fonction de votre capacité à prendre en charge l'infrastructure et les processus associés.
Limites
Les filigranes SynthID-Text résistent à certaines transformations - rognage de morceaux de texte, modification de quelques mots ou paraphrase légère - mais cette méthode a ses limites.
- L'application du filigrane est moins efficace sur les réponses factuelles, car il y a moins de possibilités d'augmenter la génération sans diminuer la précision.
- Les scores de confiance du détecteur peuvent être considérablement réduits lorsqu'un texte généré par l'IA est entièrement réécrit ou traduit dans une autre langue.
SynthID Text n'est pas conçu pour empêcher directement des adversaires motivés de nuire. Cependant, il peut rendre plus difficile l'utilisation de contenus générés par l'IA à des fins malveillantes, et il peut être combiné avec d'autres approches pour obtenir une meilleure couverture des types de contenus et des plates-formes.
Analyse technique de SynthID
Ces limites confirment les résultats des études antérieurs. Des chercheurs de l’université du Maryland ont examiné la fiabilité des filigranes actuels de l’IA et ont constaté qu’il est facile pour les mauvais acteurs d’ajouter ou de supprimer des filigranes. Les filigranes sont des logos ou des motifs visibles qui peuvent apparaître sur n’importe quel objet, y compris les images générées par l’IA, pour décourager la contrefaçon.
Bien que les filigranes soient invisibles à l’œil nu, ils peuvent aider à lutter contre l’utilisation abusive de contenus générés par l’intelligence artificielle et peuvent même être intégrés dans des programmes d’apprentissage automatique mis au point par des géants de la technologie tels que Google. Les chercheurs ont pu facilement échapper aux méthodes actuelles de filigrane pendant les tests et ont trouvé qu’il était encore plus facile d’ajouter de faux emblèmes.
Source : "Scalable watermarking for identifying large language model outputs" (Google)
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Google Photos va indiquer plus clairement si une image a été retouchée à l'aide de l'IA
Google Photos va indiquer plus clairement si une image a été retouchée à l'aide de l'IA, et étiquettera les images modifiées à l'aide de fonctions d'IA telles que Magic Editor, Magic Eraser ou Zoom Enhance
À partir de fin octobre 2024, Google Photos commencera à étiqueter les images modifiées à l'aide de fonctions d'IA telles que Magic Editor, Magic Eraser ou Zoom Enhance et inclura des notes d'information, a indiqué Google dans un communiqué publié le 24 octobre.
Cette annonce fait suite à un précédent communiqué du géant de la technologie indiquant que Google commencera à étiqueter les images générées et modifiées par l'IA dans ses résultats de recherche. L'entreprise a précisé qu'il signalera ces contenus via la fonction « À propos de cette image », qui apparaîtra dans Google Search, Google Lens et Circle to Search d'Android en s'appuyant sur les métadonnées de la Coalition for Content Provenance and Authenticity (C2PA). Google prévoit également d'étendre cette technologie aux services publicitaires et éventuellement aux vidéos YouTube.
Google Photos est un service de partage et de stockage de photos développé par Google. Il a été annoncé en mai 2015 et est issu de Google+, l'ancien réseau social de l'entreprise. Le service analyse automatiquement les photos, en identifiant les différentes caractéristiques visuelles et les sujets. Différentes formes d'apprentissage automatique dans le service Google Photos permettent de reconnaître le contenu des photos, de générer automatiquement des albums, d'animer des photos similaires en vidéos rapides et d'améliorer la qualité des photos et des vidéos.
As we bring AI-powered editing tools to more users, we recognize the importance of doing so responsibly. Starting next week, you’ll be able to see when a photo has been edited with Google AI right in the Google Photos app. Learn more → https://t.co/gGlC332oz5 pic.twitter.com/PwysdmGkLz
— Google Photos (@googlephotos) October 24, 2024
Selon le communiqué de Google, les photos modifiées à l'aide d'outils tels que Magic Editor, Magic Eraser ou Zoom Enhance comportent déjà des métadonnées conformes à la norme International Press Telecommunications Council (IPTC) qui indiquent qu'elles ont été modifiées à l'aide de l'IA générative. Désormais, l'entreprise affichera les données d'édition par l'IA aux côtés de détails tels que l'emplacement, le nom du fichier et les informations de sauvegarde dans Google Photos. Lorsque les utilisateurs ouvrent une photo et font défiler la section « Détails » jusqu'en bas, une nouvelle note indiquera si l'image a été « éditée à l'aide de Google AI ».
La section « Info IA » sera disponible dans la vue détaillée de l'image, à la fois sur le web et dans l'application. Ces étiquettes indiqueront également lorsqu'une photo comprend des éléments provenant de plusieurs images, par exemple lors de l'utilisation des fonctionnalités « Best Take » et « Add Me », exclusives aux appareils Pixel.
Google fournit des précisions sur les images modifiées par l'IA, mais les filigranes font toujours défaut
Google affirme que cette nouvelle information vise à « améliorer davantage la transparence ». Toutefois, comme la plupart des gens jettent un coup d'œil rapide aux photos en ligne et passent à autre chose, l'absence de filigrane visible peut empêcher les utilisateurs d'identifier rapidement les images modifiées par l'IA.
Le géant de la technologie reconnaît que son travail est en cours et qu'il continuera à recueillir des commentaires tout en explorant des solutions pour améliorer la transparence des modifications par l'IA. Google n'a toutefois pas exclu la possibilité d'ajouter des filigranes visuels à ses photos.
Cette annonce fait suite au lancement du Pixel 9, qui intègre les derniers algorithmes d'IA de Google pour améliorer le traitement et la manipulation des images. Ses outils avancés de retouche photo permettent aux utilisateurs de créer des images hyperréalistes, ce qui soulève des préoccupations éthiques quant à l'utilisation abusive potentielle à des fins de désinformation et de manipulation de preuves. Les critiques soutiennent que les garanties essentielles de Google, telles que le marquage des métadonnées, sont insuffisantes, ce qui conduit à des appels à des réglementations plus strictes et à des algorithmes de détection améliorés pour faire face à ces risques.
Le communiqué de Google est présenté ci-dessous :
Source : GoogleNous apportons souvent des modifications à nos photos pour les rendre plus attrayantes. Parfois, il s'agit d'apporter une simple modification à une photo, comme la recadrer. D'autres fois, il s'agit de modifications plus complexes, comme la suppression de distractions ou d'objets indésirables, l'amélioration de l'éclairage ou même la création d'une nouvelle composition. Auparavant, ces tâches complexes prenaient beaucoup de temps, mais l'IA a changé la donne : elle alimente des outils de retouche tels que Magic Editor et Magic Eraser dans Google Photos.
Alors que nous mettons ces outils à la disposition d'un plus grand nombre de personnes, nous reconnaissons l'importance de le faire de manière responsable, en nous appuyant sur nos principes en matière d'IA. Afin d'améliorer la transparence, il est désormais plus facile de savoir si des modifications ont été apportées par l'IA dans Google Photos. À partir de la semaine prochaine, Google Photos indiquera si une photo a été modifiée à l'aide de Google AI directement dans l'application Photos.
Les photos modifiées à l'aide d'outils tels que Magic Editor, Magic Eraser et Zoom Enhance comportent déjà des métadonnées basées sur les normes techniques du Conseil international des télécommunications de la presse (IPTC) pour indiquer qu'elles ont été modifiées à l'aide de l'IA générative. Aujourd'hui, nous allons plus loin en rendant ces informations visibles aux côtés d'informations telles que le nom du fichier, l'emplacement et l'état de la sauvegarde dans l'application Photos.
En plus d'indiquer quand une image a été éditée à l'aide de l'IA générative, nous utiliserons également les métadonnées IPTC pour indiquer quand une image est composée d'éléments provenant de différentes photos à l'aide de fonctions non génératives. Par exemple, Best Take sur Pixel 8 et Pixel 9, et Add Me sur Pixel 9 utilisent des images capturées à proximité les unes des autres dans le temps pour créer une image combinée afin de vous aider à prendre de superbes photos de groupe.
Ce travail n'est pas terminé, et nous continuerons à recueillir des commentaires et à évaluer d'autres solutions afin d'accroître la transparence des modifications apportées par l'IA.
Et vous ?
Voir aussi :
Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Google pose désormais des filigranes sur ses textes générés par l'intelligence artificielle
Google pose désormais des filigranes sur ses textes générés par l'intelligence artificielle
Des observateurs sont d’avis que l’approche ne constitue pas une solution pratique pour tout le monde
Google a déjà intégré ce nouveau système de filigrane dans son chatbot Gemini. L'entreprise a en sus mis l'outil en libre accès à la disposition des développeurs et des entreprises, leur permettant ainsi de déterminer si les sorties de texte proviennent de leurs propres grands modèles de langage, les systèmes d'intelligence artificielle qui alimentent les chatbots. Toutefois, seuls Google et ces développeurs ont actuellement accès au système qui arrive dans un contexte de débats autour de l’insertion de filigranes dans les productions de l’intelligence artificielle.
Comment fonctionne SynthIDText
En pratique, SynthIDText est un processeur de logits, appliqué au pipeline de génération de votre modèle après Top-K et Top-P, qui augmente les logits du modèle en utilisant une fonction g pseudo-aléatoire pour encoder des informations de filigrane d'une manière qui vous aide à déterminer si le texte a été généré par votre modèle, sans affecter de manière significative la qualité du texte.
Les filigranes sont configurés pour paramétrer la fonction g et la manière dont elle est appliquée pendant la génération. Chaque configuration de filigrane que vous utilisez doit être stockée de manière sécurisée et privée, sinon votre filigrane peut être trivialement reproduit par d'autres.
Vous devez définir deux paramètres dans chaque configuration de filigrane :
- Le paramètre keys est une liste d'entiers aléatoires uniques utilisés pour calculer les scores de la fonction g dans le vocabulaire du modèle. La longueur de cette liste détermine le nombre de couches de filigrane appliquées.
- Le paramètre ngram_len est utilisé pour équilibrer la robustesse et la détectabilité ; plus la valeur est grande, plus le filigrane sera détectable, au prix d'une plus grande fragilité aux changements. Une longueur de 5 est une bonne valeur par défaut.
Vous pouvez configurer davantage le filigrane en fonction de vos besoins en termes de performances :
- Une table d'échantillonnage est configurée par deux propriétés, sampling_table_size et sampling_table_seed. Vous souhaitez utiliser sampling_table_size d'au moins 216 pour garantir une fonction g non biaisée et stable lors de l'échantillonnage, mais sachez que la taille de la table d'échantillonnage a un impact sur la quantité de mémoire requise au moment de l'inférence. Vous pouvez utiliser n'importe quel nombre entier pour sampling_table_seed.
- Les n-grammes répétés dans le context_history_size précédant les tokens ne sont pas filigranés pour améliorer la détectabilité.
Aucune formation supplémentaire n'est nécessaire pour générer du texte avec un filigrane SynthID-Text en utilisant vos modèles, seulement une configuration de filigrane qui est passée à la méthode .generate() du modèle pour activer le processeur de logits SynthID-Text.
Détection de filigrane et vérifiabilité
La détection d'un filigrane est probabiliste. Le détecteur bayésien peut produire trois états de détection possibles - filigrané, non filigrané ou incertain - et le comportement peut être personnalisé en définissant deux valeurs de seuil pour obtenir un taux spécifique de faux positifs et de faux négatifs.
Les modèles qui utilisent le même tokenizer peuvent également partager la configuration du filigrane et le détecteur, et donc partager un filigrane commun, à condition que l'ensemble d'entraînement du détecteur comprenne des exemples provenant de tous les modèles qui partagent le filigrane.
Une fois que vous disposez d'un détecteur entraîné, vous pouvez choisir si et comment vous l'exposez à vos utilisateurs et au public en général.
- L'option entièrement privée ne permet pas de divulguer ou d'exposer le détecteur de quelque manière que ce soit.
- L'option semi-privée ne divulgue pas le détecteur, mais l'expose par le biais d'une API.
- L'option publique permet à d'autres de télécharger et d'utiliser le détecteur.
Vous devez décider quelle approche de vérification de la détection répond le mieux à vos besoins, en fonction de votre capacité à prendre en charge l'infrastructure et les processus associés.
Limites
Les filigranes SynthID-Text résistent à certaines transformations - rognage de morceaux de texte, modification de quelques mots ou paraphrase légère - mais cette méthode a ses limites.
- L'application du filigrane est moins efficace sur les réponses factuelles, car il y a moins de possibilités d'augmenter la génération sans diminuer la précision.
- Les scores de confiance du détecteur peuvent être considérablement réduits lorsqu'un texte généré par l'IA est entièrement réécrit ou traduit dans une autre langue.
SynthID Text n'est pas conçu pour empêcher directement des adversaires motivés de nuire. Cependant, il peut rendre plus difficile l'utilisation de contenus générés par l'IA à des fins malveillantes, et il peut être combiné avec d'autres approches pour obtenir une meilleure couverture des types de contenus et des plates-formes.
Certains experts sont néanmoins d’avis que la pose de filigranes n’empêchera pas la manipulation par l’intelligence artificielle
Il existe une longue tradition de marquage de documents et d'autres objets pour prouver leur authenticité, indiquer la propriété et lutter contre la contrefaçon. Selon certains experts, le filigrane idéal est celui qui est imperceptible et qui résiste à des manipulations simples telles que le recadrage, le redimensionnement, l'ajustement des couleurs et la conversion des formats numériques. Toutefois, un grand nombre d'entre eux ne considèrent pas les filigranes comme une solution efficace pouvant aider à lutter contre la fraude et la désinformation liées à l'IA. Selon eux, il y aura toujours un moyen de corrompre les filigranes, peu importe leur robustesse.
En effet, lorsqu'il s'agit de la variété de contenu que l'IA peut générer, et des nombreux modèles qui existent déjà, les choses se compliquent. Pour l'instant, il n'existe aucune norme en matière de filigrane, ce qui signifie que chaque entreprise d'IA utilise une méthode différente. Dall-E, par exemple, utilise un filigrane visible (mais une recherche rapide sur Google permet de trouver des tutoriels sur la manière de le supprimer), tandis que d'autres services utilisent par défaut des métadonnées ou des filigranes au niveau du pixel qui ne sont pas visibles pour les utilisateurs. Si certaines de ces méthodes sont difficiles à annuler, d'autres peuvent l'être facilement.
« Il ne sera pas possible de dire simplement oui ou non si quelque chose est généré par l'IA ou non, même avec des filigranes. Il y aura des moyens de corrompre les filigranes », a déclaré Sam Gregory, directeur de programme à l'organisation à but non lucratif Witness, qui aide les gens à utiliser la technologie pour promouvoir les droits de l'homme. En outre, l'expert souligne également que les tentatives visant à filigraner les contenus textuels générés par l'IA pourraient s'avérer beaucoup plus difficiles que certains ne le croient. Par exemple, il existe plusieurs moyens de filigraner les textes générés par des chatbots d'IA tels que ChatGPT d'OpenAI.
Cela est possible en manipulant la manière dont les mots sont distribués, en faisant en sorte qu'un mot ou un ensemble de mots apparaissent plus fréquemment. Ces méthodes seraient détectables par une machine, mais pas nécessairement par un utilisateur humain. Cela signifie que les filigranes doivent être interprétés par une machine, puis signalés à un spectateur ou à un lecteur. La situation est d'autant plus complexe que le contenu est mixte, comme les éléments audio, image, vidéo et texte qui peuvent apparaître dans une seule vidéo TikTok. Par exemple, quelqu'un peut mettre du vrai son sur une image ou une vidéo qui a été manipulée.
Dans ce cas, les plateformes devront trouver un moyen d'indiquer qu'une partie, mais pas la totalité, du clip a été générée par l'IA. De plus, le simple fait d'étiqueter un contenu comme étant généré par l'IA n'aide pas beaucoup les utilisateurs à déterminer si un contenu est malveillant, trompeur ou destiné à divertir. « Parfois, les médias manipulés ne sont pas fondamentalement mauvais si vous faites des vidéos TikTok et qu'elles sont destinées à être amusantes et divertissantes », affirme Hany Farid, professeur à l'école d'information de l'université de Berkeley, qui a travaillé avec l'éditeur de logiciels Adobe sur son initiative d'authenticité des contenus.
Source : publication de recherche
Et vous ?
Voir aussi :
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
Répondre avec citation
Partager