Discussion :

[Stéphane le calme]

Le PDG de Microsoft appelle l'industrie technologique à « agir » après des photos pornos de Taylor Swift générées par IA,
certaines d'entre elles ont été générées par un outil de Microsoft, selon un rapport

Le PDG de Microsoft, Satya Nadella, a appelé l'industrie technologique à prendre des mesures après la diffusion de photos pornographiques de Taylor Swift créées par IA. Le dirigeant du secteur technologique s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré : « Nous devons agir et, très franchement, nous tous qui faisons partie de la plateforme technologique, quelle que soit notre position sur un sujet particulier, je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr ». Satya espère voir un avenir sûr « à la fois pour les créateurs de contenu et pour les consommateurs de contenu », estimant que l'industrie et les forces de l'ordre doivent « agir rapidement dans ce domaine ».

« Oui, nous devons agir », a déclaré Nadella en réponse à une question sur les images truquées « alarmantes et terribles » de Swift postées sur X (l'une de ces publications a été visionnée plus de 45 millions de fois, reposté 24 000). Le compte qui les a publiées a été suspendu 17 heure plus tard après avoir été signalé en masse par des fans de Swift. Les partisans de la chanteuse, connus sous le nom de "Swifties", ont également inondé les hashtags d'images plus positives de la chanteuse.

« Je dirais deux choses. D'une part, je reviens à la question de savoir quelle est notre responsabilité, et d'autre part, les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs. Il s'agit de tous les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs, et il y a beaucoup de choses à faire et à ne pas faire dans ce domaine », a-t-il déclaré.

« Mais il s'agit d'une convergence mondiale et sociétale sur certaines normes, surtout lorsque la loi, les forces de l'ordre et les plates-formes technologiques peuvent s'unir », a-t-il poursuivi. « Je pense que nous pouvons gouverner beaucoup plus que nous ne le pensons ».

« Je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr. Je pense donc que personne ne voudrait d'un monde en ligne qui n'est pas du tout sûr pour les créateurs de contenu et les consommateurs de contenu. C'est pourquoi je pense qu'il est de notre devoir d'agir rapidement dans ce domaine ».

Microsoft a investi et créé sa propre technologie d'intelligence artificielle, notamment en étant l'un des principaux investisseurs dans OpenAI (l'une des entreprises d'IA les plus célèbres, qui est d'ailleurs derrière ChatGPT ainsi que dans des outils intégrés aux produits Microsoft, comme Copilot, un outil de chatbot d'intelligence artificielle sur le moteur de recherche de Microsoft, Bing).

La Maison Blanche qualifie « d'alarmantes » les images explicites de Taylor Swift générées par l'IA

La Maison Blanche a réagi vendredi aux images explicites de la superstar de la musique Taylor Swift générées par l'intelligence artificielle qui sont devenues virales la semaine dernière, en les qualifiant « d'alarmantes » et en demandant au Congrès de prendre des mesures législatives.

« Nous sommes alarmés par les rapports faisant état de la circulation d'images... de fausses images pour être plus exact. C'est alarmant », a déclaré Karine Jean-Pierre, secrétaire de presse de la Maison Blanche, lors du point de presse de la Maison Blanche. « Alors que les entreprises de médias sociaux prennent leurs propres décisions en matière de gestion du contenu, nous pensons qu'elles ont un rôle important à jouer dans l'application de leurs propres règles afin d'empêcher la diffusion de fausses informations et d'images intimes non consensuelles de personnes réelles ».

Jean-Pierre a déclaré que « l'application laxiste » de l'imagerie pornographique non consensuelle qui apparaît en ligne « a un impact disproportionné sur les femmes » et « malheureusement sur les filles », affirmant qu'elles sont « les cibles les plus importantes du harcèlement et des abus en ligne ».

La secrétaire de presse de la Maison Blanche, Karine Jean-Pierre, a qualifié « d'alarmantes » les images virales de Taylor Swift générées par l'intelligence artificielle.

« Le président s'est donc engagé, comme vous le savez, à réduire le risque que l'IA générative produise des images comme celles qu'il a annoncées à l'automne de l'année dernière dans son dernier décret. Ce problème n'est donc pas nouveau », a poursuivi la porte-parole de Joe Biden. « L'administration Biden-Harris en a fait une priorité dès le premier jour. Nous avons pris ce problème très au sérieux. Encore une fois, c'est alarmant pour nous. Comme vous le savez, il a créé un groupe de travail pour lutter contre le harcèlement et les abus en ligne... Le ministère de la justice a mis en place le premier service national d'assistance téléphonique 24 heures sur 24 et 7 jours sur 7 pour les victimes d'abus sexuels fondés sur l'image ».

Lorsqu'il lui a été demandé s'il faut légiférer pour lutter contre ces images générées par l'IA, Jean-Pierre répond rapidement : « Oui ».

« Il devrait y avoir une législation, évidemment, pour traiter ce problème », a déclaré Jean-Pierre. « Bien sûr, le Congrès devrait prendre des mesures législatives. C'est ainsi que l'on traite certaines de ces questions, évidemment. Mais vous savez, c'est alarmant pour nous et nous allons continuer à faire ce que nous pouvons de la part du gouvernement fédéral ».

Un groupe de Telegram a utilisé un outil de Microsoft pour créer de fausses images explicites de Taylor Swift, selon un rapport

Au moins un membre du groupe Telegram a affirmé être à l'origine de certaines des images de Swift, postant dans le canal qu'il ne savait pas s'il devait « se sentir flatté ou contrarié que certaines de ces photos volées par Twitter aient été générées par moi ».

Bien que l'on ne sache pas encore combien d'outils d'IA ont été utilisés pour générer le flot d'images nuisibles, 404 Media a confirmé que certains membres du groupe Telegram ont utilisé le générateur d'IA texte-image gratuit de Microsoft, Designer.

Selon 404 Media, les images n'ont pas été créées en entraînant un modèle d'IA sur les images de Taylor Swift, mais en piratant des outils tels que Designer pour contourner les mesures de protection conçues pour empêcher les outils de générer des images de célébrités. Les membres du groupe ont partagé des stratégies pour contourner ces protections en évitant les invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels, a rapporté 404 Media.

Il est possible que Microsoft ait déjà mis à jour l'outil pour empêcher les utilisateurs d'abuser de Designer. 404 Media et d'autres médias n'ont pas été en mesure de reproduire les sorties basées sur les recommandations du groupe Telegram. Cependant, il est toujours possible de générer des images de Swift en utilisant les mots-clés recommandés.

Un porte-parole de Microsoft a déclaré que la grande enseigne technologique « enquêtait sur ces rapports » et avait « pris des mesures appropriées pour empêcher l'utilisation abusive de nos outils ». Le porte-parole a également indiqué que le code de conduite de Microsoft interdit l'utilisation des outils Microsoft « pour la création de contenus intimes pour adultes ou non consensuels, et toute tentative répétée de produire des contenus qui vont à l'encontre de nos politiques peut entraîner la perte de l'accès au service ».

« Nous avons des équipes qui travaillent sur le développement de garde-fous et d'autres systèmes de sécurité conformément à nos principes d'IA responsable, y compris le filtrage du contenu, la surveillance opérationnelle et la détection des abus pour atténuer l'utilisation abusive du système et aider à créer un environnement plus sûr pour les utilisateurs », a déclaré le porte-parole de Microsoft.

Certains membres de la chaîne Telegram ont semblé amusés de voir les images se répandre, non seulement sur les médias sociaux, mais aussi sur des sites présentant des nus de célébrités et du contenu adulte volé. Mais d'autres ont réprimandé les membres pour avoir partagé les images en dehors du groupe et risqué de voir la chaîne fermée.

Taylor Swift

Un électrochoc pour les autorités de régulation

Le sort de Taylor Swift pourrait inciter les autorités de régulation à agir plus rapidement pour lutter contre le deepfake porno non consensuel. L'année dernière, elle a été à l'origine d'une audition au Sénat après que le scandale Live Nation a frustré ses fans, déclenchant les préoccupations antitrust des législateurs à l'égard du principal vendeur de billets.

Certains législateurs travaillent déjà à la lutte contre le deepfake porn. Le député Joe Morelle (D-NY) a proposé une loi criminalisant le deepfake porn au début de l'année, après que des adolescents d'un lycée du New Jersey ont utilisé des générateurs d'images d'IA pour créer et partager de fausses images de nudité non consensuelles de leurs camarades de classe. En vertu de cette proposition de loi, toute personne partageant du deepfake pornography sans le consentement d'une personne risque des amendes et une peine d'emprisonnement pouvant aller jusqu'à deux ans. Les dommages-intérêts pourraient atteindre 150 000 dollars et l'emprisonnement 10 ans si le partage des images facilite la violence ou influe sur les procédures d'une agence gouvernementale.

Ailleurs, la loi britannique sur la sécurité en ligne interdit le partage de tout contenu illégal sur les plateformes, y compris la pornographie "deepfake". Elle exige la modération, faute de quoi les entreprises s'exposent à des amendes d'un montant supérieur à 20 millions de dollars ou à 10 % de leur chiffre d'affaires annuel mondial, le montant le plus élevé étant retenu.

La loi britannique est toutefois controversée, car elle oblige les entreprises à analyser les messages privés à la recherche de contenus illégaux. Cela rend pratiquement impossible pour les plateformes de fournir un chiffrement de bout en bout, que l'Union américaine pour les libertés civiles a qualifié de vital pour la vie privée et la sécurité des utilisateurs.

Posting Non-Consensual Nudity (NCN) images is strictly prohibited on X and we have a zero-tolerance policy towards such content. Our teams are actively removing all identified images and taking appropriate actions against the accounts responsible for posting them. We're closely…

— Safety (@Safety) January 26, 2024

Conclusion

L'équipe de Swift n'a pas encore commenté les deepfakes, mais il semble évident que pour résoudre le problème, il ne suffira pas de demander le retrait des images sur les plateformes de médias sociaux. Les rapports montrent à quel point il est facile de tirer parti d'outils gratuits pour générer des images plus nuisibles, et il est également relativement facile d'entraîner un modèle d'IA sur les images de Swift en utilisant l'un des sites web connus qui se spécialisent dans la création de modèles d'IA perfectionnés pour les célébrités. Tant que ces outils existeront, toute personne motivée pourra produire autant de nouvelles images qu'elle le souhaite, de sorte qu'il sera difficile, même pour une personne disposant des ressources de Swift, de faire disparaître le problème pour de bon.

De cette manière, la situation difficile de Swift pourrait sensibiliser à la nocivité de la création et du partage d'images intimes non consensuelles et de deepfake pornography, et peut-être éloigner la culture de l'idée persistante selon laquelle personne n'est lésé par les fausses images non consensuelles générées par l'IA.

Sources : entretien avec le PDG de Microsoft (vidéo dans le texte), rapport sur la chaîne Telegram, Fast Company

Et vous ?

Que pensez-vous de cette affaire ?
Êtes-vous surpris de voir des outils, comme celui de Microsoft, détournés de leur usage d'origine pour faire autant de dégâts ?
Les entreprises ont-elles une part de responsabilité selon vous ? Dans quelle mesure ?
La régulation des technologies d'IA en général, et de deepfake en particulier, vous semble-t-elle apporté un début de solution à ce problème ? Pourquoi ?
Quelles mesures devraient être prises ?

[Pandi_Panda02]

Le probème est-il l'IA ?
Diffuser des vidéos porno de quelqu'un, et à fortiori sans son consentement, est illégal.
Que ce soit généré par IA ou caméscope ne change rien aux textes en vigueur.

L'envoi a également été validé à l'aide d'une souris et d'un clavier ?
Vite, indignons nous des claviers !

[Prox_13]

L'équipe de Swift n'a pas encore commenté les deepfakes, mais il semble évident que pour résoudre le problème, il ne suffira pas de demander le retrait des images sur les plateformes de médias sociaux.

Attendez mais ça voudrait dire que depuis trois jours, on est spammé de ça alors que les équipes de PR de Taylor Swift n'ont même pas levé le petit doigt ?!
Alors que Microsoft (qui vient de recevoir un retour sur terre assez sévère sur le plan de l'IA) demande justement aux acteurs du marché de contrôler et limiter leurs produits ?

Si on me dit que ce que je dis capillotracté, je comprendrais hein, mais sachant que ce genre de photo existe depuis au moins 5 ans (deepfakes = deep learning, et non IA) et que Microsoft a quelque chose à gagner à cette communication, qu'est ce qui les empêcherait d'être la source de ces fuites ?

Bing battu par OpenAI => Microsoft fuite les photos => Communique sur "la dangerosité de l'IA" => Législation/Lobby sur les IA => Milieu plus cadré et donc moins concurrentiel

Ca me parait assez dingue, hein, mais comme y'a des millions sur la table et que l'équipe e Taylor Swift n'a rien fait, ça m'étonne que Microsoft fasse du zèle gratuit...

[OrthodoxWindows]

On sait aujourd'hui que les systèmes informatiques nord-coréens signent tous les documents informatiques générés, et on arrive même à savoir l'identité du créateur. Ils savent aussi l'identité des gens qui ont installé tel ou tel fichier sur leur machine, et ce serait inviolable.

Imaginez si Windows, Linux et Apple s'entendaient pour forcer la signature de tous les documents générés par vous et qui passe par votre système à l'aide d'une sorte d'identité numérique, on saurait qui crée les virus, qui crée les images pornographiques d'enfants, qui les partage ou les a visionné. Le système apposerait automatiquement votre signature sur les fichiers que vous avez généré ou que vous avez téléchargé. Dans le cas de la photo générée par l'IA de Taylor Swift, on saurait que la première personne qui l'a visionné est le créateur, ce serait marqué dans le fichier.

Ce serait une grosse avancée technologique en matière de sécurité informatique.

Oula oula oula le souhait dyspotique... C'est ironique j'espère ? (ou du troll).

Bing battu par OpenAI => Microsoft fuite les photos => Communique sur "la dangerosité de l'IA" => Législation/Lobby sur les IA => Milieu plus cadré et donc moins concurrentiel

D'autant plus que l'IA open-source commence à avoir de bon résultats, Microsoft et Google doivent commencer à s'inquiéter...

La régulation des technologies d'IA en général, et de deepfake en particulier, vous semble-t-elle apporté un début de solution à ce problème ? Pourquoi ?

Comme le dit Pandi_Pandae02, le problème avec l'IA est le même que pour le reste : il y a une personne derrière le clavier. Ensuite si vraiment on veut que se genre de cas n'arrive jamais, il n'aurai tout simplement pas fallu développer l'IA générative , il faut se faire à l'idée que cela ne fait que commencer. De toute façon il est possible que l'on rentre dans une nouvelle ère de rapport aux images ; celui ou l'image n'a plus valeur de preuve, ni valeur judiciaire (plus possible de censurer une image) ni valeur marchande. Si ça arrive tout le monde se foutra des deepfake, à l'avenir une vrai sextape ne sera peut-être plus compromettante

D'autre part il y plus grave avec l'IA : https://www.developpez.net/forums/d2.../#post11999930 Et comme par hasard, se sont les entreprise qui réclament une réglementation sur l'IA qui abusent le plus de la vie privée des utilisateurs avec la même IA.

[totozor]

Je trouve qu'il y a une chose ironique dans cette histoire et dans toutes les demandes de règlementations de Microsoft, OpenAI, Google & Co.
Ces entreprises veulent travailler avec le plus de liberté possible (laissez moi embaucher et virer qui je veux quand je veux, laissez moi faire ce que je veux de mon argent, laissez moi polluer autant que je veux) mais demandent qu'on règlemente le marché de leurs produits innovants.
Par exemple c'est marrant qu'ils s'indignent d'un deepfake porno mais pas des tonnes d'œuvres créées en violation apparente du droit d'auteur.

[Jade Emy]

Microsoft comble la lacune qui a causé l'incident "Taylor Swift", avec plus de protections pour Designer, le générateur d'images par IA était utilisé pour produire des images pornographiques.

Microsoft a corrigé la vulnérabilité qui permettait à son générateur d'images par IA de créer des images obscènes de célébrités telles que Taylor Swift. Le PDG de Microsoft, Satya Nadella, a déclaré que "c'est notre responsabilité" de resserrer les "garde-fous" autour des technologies d'IA pour les empêcher de créer des contenus préjudiciables.

Après que les images graphiques générées par l'IA de Taylor Swift sont devenues virales sur X, un article a expliqué la façon dont les gens utilisaient le générateur d'images d'IA Designer de Microsoft pour créer et partager des œuvres d'art similaires. Ils ont pu surmonter les obstacles liés aux noms en modifiant les indices. Suite à l'affirmation du PDG Satya Nadella selon laquelle les règles sont "notre responsabilité", les failles auraient été comblées. Sarah Bird, responsable de l'ingénierie de l'IA chez Microsoft, s'est portée garante des changements.

Microsoft a déclaré que, bien qu'elle enquête activement sur le problème et tente de mettre fin à l'utilisation abusive du service, elle n'a pas pu vérifier que les images de Swift postées sur Twitter ont été réalisées avec Designer. Le PDG de Microsoft, Satya Nadella, a déclaré dans une interview accordée à NBC News que "c'est notre responsabilité" de resserrer les "garde-fous" autour des technologies d'IA pour les empêcher de créer des contenus préjudiciables. Au cours de l'incident, Twitter a totalement bloqué les recherches portant sur "Taylor Swift".

"Je pense que nous pouvons gouverner beaucoup plus que nous ne le pensons", a fait remarquer M. Nadella. "Il s'agit d'une convergence mondiale et sociétale sur certaines normes, et nous pouvons y parvenir, en particulier lorsque la loi, les forces de l'ordre et les plateformes technologiques s'unissent."

Avant que les images générées par l'IA de Swift ne deviennent largement populaires, les concepteurs ont interdit aux utilisateurs de prendre des photos en utilisant des textes tels que "Taylor Swift nue". Cependant, des personnes ont trouvé un moyen de contourner ces protections en orthographiant légèrement des noms célèbres et en décrivant des photographies qui ont fini par avoir l'air sexuellement suggestives sans utiliser de langage sexuel sur 4chan et sur le canal Telegram. Il a été vérifié que ces vulnérabilités étaient encore actives avant les modifications apportées par Microsoft, et qu'elles ont cessé de fonctionner depuis.

Bien qu'une chaîne se soit concentrée sur Microsoft Designer, un outil facile à utiliser, il existe de nombreuses autres méthodes en ligne pour produire des contenus tout aussi dangereux. Il est difficile d'empêcher quelqu'un de télécharger le modèle d'une personne célèbre sur Civitai et de l'utiliser localement sur son ordinateur pour fabriquer des objets choquants, par exemple.

Source : Microsoft

Et vous ?

Quel est votre avis sur cet incident ?
Que faudrait-il faire, selon vous, pour éviter ce genre de situation ?

Voir aussi :

Le PDG de Microsoft appelle l'industrie technologique à « agir » après des photos pornos de Taylor Swift générées par IA. Certaines d'entre elles ont été générées par un outil de Microsoft

Les outils IA populaires de générations d'images peuvent être incités à produire des photos identifiables de personnes réelles, menaçant potentiellement leur vie privée

Microsoft annonce la disponibilité de DALL-E 3 pour tous les utilisateurs de Bing Chat et de Bing Image Creator. Des filigranes permettent d'identifier les images comme étant générées par l'IA

[unanonyme]

Par exemple c'est marrant qu'ils s'indignent d'un deepfake porno mais pas des tonnes d'œuvres créées en violation apparente du droit d'auteur.

Les USA sont le plus gros producteur de contenus porno au monde.
Ils n'en font pas un foin pour autant.
Par contre un sein nu furtif à la télé et là ils se mettent tous à vomir.

Ceux là c'est pas la cohérence qui les étouffe,
enfin si, il y a une certaine constance,
et donc une certaine cohérence
dans la connerie qu'ils entretiennent.

[L33tige]

Le probème est-il l'IA ?
Diffuser des vidéos porno de quelqu'un, et à fortiori sans son consentement, est illégal.
Que ce soit généré par IA ou caméscope ne change rien aux textes en vigueur.

L'envoi a également été validé à l'aide d'une souris et d'un clavier ?
Vite, indignons nous des claviers !

Peut-on comparer la vitesse de production d'un humain avec un clavier et celle de l'IA, même avec un pro de Photoshop on est même pas de l'ordre de 1 pour 1000.

C'est un facteur clairement aggravant, quelqu'un avec zéro connaissance peut produire une image Pron avec le visage de quelqu'un d'autre, pour faire ça sur photoshop de façon à convaincre la personne lambda ça prends pas juste une semaine d'expérience non plus.

[L33tige]

Oula oula oula le souhait dyspotique... C'est ironique j'espère ? (ou du troll).

Blague à part, je suis pas d'accord avec le message cité, mais on vit déjà dans un futur dystopique, et le pire reste à venir. On est juste des gens au volant se dirigeant vers un mur et qui décident d'accélérer plutôt que de rester à vitesse constante.

Les sextapes fausses ou vraies resteront un soucis pour la victime de la même façon que les montages pourris de la terre plate continuerons à se rependre comme la peste, tout simplement car rependre une rumeur est plus simple que de la contredire, et les gens DETESTENT se contredire eux-mêmes.

[Mathis Lucas]

Un ingénieur en IA de Microsoft accuse l'entreprise d'avoir déjoué ses tentatives visant à exposer les problèmes de sécurité de DALL-E 3
permettant de générer des contenus violents ou explicites

Microsoft est accusé d'avoir réduit au silence un employé qui avait exprimé des inquiétudes au sujet du générateur d'images DALL-E 3. L'employé en question, Shane Jones, affirme avoir découvert début décembre des failles dans DALL-E 3 permettant aux utilisateurs de contourner les garde-fous de sécurité pour créer des images violentes et explicites, mais l'entreprise a fait obstacle à sa tentative visant à attirer l'attention du public sur le problème. Dans une lettre adressée au procureur général de l'État de Washington et à des députés du Congrès, Jones a laissé entendre que ces failles pourraient être à l'origine des fausses images explicites de Taylor Swift.

Le monde a été stupéfait la semaine dernière après l'apparition de fausses images explicites de Taylor Swift sur la toile. Certaines de ces images ont été générées à l'aide de Microsoft Designer, un outil de génération d'images basé sur le modèle d'IA DALL-E 3 d'OpenAI. Elles ont provoqué une onde de choc sur la toile et le PDG de Microsoft, Satya Nadella, a ordonné à ses équipes d'agir rapidement pour renforcer les garde-fous des outils d'IA de l'entreprise. Microsoft semble avoir corrigé la faille dans son produit Designer, mais un ingénieur de l'entreprise estime que cet incident aurait probablement pu être évité.

Shane Jones, un ingénieur en IA de Microsoft, a déclaré récemment avoir découvert au début du mois dernier que le modèle DALL-E 3 présentait des failles de sécurité qui pourraient permettre aux utilisateurs de générer des images violentes ou explicites (semblables à celles qui ont visé Taylor Swift). Cependant, l'équipe juridique de Microsoft aurait bloqué les tentatives de Jones (responsable de l'ingénierie chez Microsoft) visant à alerter le public au sujet des problèmes de DALL-E. Jones, qui se décrit comme un lanceur d'alerte, a envoyé au début de la semaine dernière un message d'avertissement au Congrès.

« J'en suis arrivé à la conclusion que DALL-E 3 présentait un risque pour la sécurité publique et devait être retiré de l'utilisation publique jusqu'à ce qu'OpenAI puisse traiter les risques associés à ce modèle », a-t-il écrit aux sénateurs américains Patty Murray (D-WA) et Maria Cantwell (D-WA), au député Adam Smith (D-WA, 9e district) et au procureur général de l'État de Washington, Bob Ferguson (D). Dans sa lettre, Jones écrit qu'il a signalé la vulnérabilité à Microsoft et a reçu l'instruction de signaler le problème à OpenAI. Toutefois, il affirme ne pas avoir reçu de réponse après avoir signalé les vulnérabilités à OpenAI.

Selon la lettre, le 14 décembre, Jones a publié sur LinkedIn un message demandant au conseil d'administration de l'association OpenAI de retirer DALL-E 3 du marché. « L'apparition de fausses images explicites de Taylor Swift est un exemple du type d'abus qui me préoccupe et la raison pour laquelle j'ai demandé à OpenAI de retirer DALL-E 3 de l'utilisation publique et j'ai fait part de mes préoccupations à Microsoft », explique Jones. Dans la lettre, Jones a expliqué qu'après avoir publié son message sur LinkedIn, il a informé l'équipe dirigeante de Microsoft de ce message et a été rapidement contacté par son supérieur.

Ce dernier aurait dit à Jones que le service juridique de Microsoft exigeait qu'il supprime immédiatement le message et qu'il lui donnerait une explication ou une justification. Jones a déclaré aux législateurs qu'il a accepté de supprimer le message sur cette base, mais n'a jamais eu de nouvelles du service juridique de Microsoft. (Le site 404 Media a rapporté la semaine dernière que les fausses images explicites de Taylor Swift provenaient d'un groupe Telegram spécifique dédié à la publication d'images explicites de femmes, notant qu'au moins l'un des outils d'IA couramment utilisés par le groupe est Microsoft Designer.)

« Au cours du mois suivant, j'ai demandé à plusieurs reprises qu'on m'explique pourquoi on m'avait demandé de supprimer mon message. J'ai également proposé de partager des informations susceptibles d'aider à corriger la vulnérabilité spécifique que j'avais découverte et de fournir des idées pour rendre plus sûre la technologie d'IA de génération d'images. Le service juridique de Microsoft n'a toujours pas répondu et n'a pas communiqué directement avec moi », explique Jones dans sa lettre. Jones affirme également que les entreprises doivent répondre des problèmes de sécurité de leurs produits basés sur l'IA.

« L'IA progresse à un rythme sans précédent. Je comprends qu'il faudra du temps pour que la législation soit adoptée afin de garantir la sécurité publique de l'IA. Dans le même temps, nous devons tenir les entreprises responsables de la sécurité de leurs produits et de leur responsabilité de divulguer les risques connus au public. Les employés inquiets, comme moi, ne doivent pas être intimidés et rester silencieux », a-t-il déclaré. Jones a déclaré que Microsoft était conscient de ces vulnérabilités et des risques d'abus. Mais Microsoft a nié les allégations d'intimidation et a également rejeté les déclarations de Jones.

Microsoft a déclaré qu'il s'engageait à répondre aux préoccupations des employés et qu'il avait mis en place des canaux de signalement internes solides pour enquêter correctement et remédier à tout problème. Le géant de Redmond a déclaré avoir enquêté sur le rapport de Jones et estime que les techniques qu'il a partagées n'ont pas contourné les filtres de sécurité d'aucun des outils de génération d'images pilotées par l'IA. Il a ajouté : « les commentaires des employés sont une partie essentielle de notre culture, et nous sommes en contact avec ce collègue pour répondre à toutes les préoccupations qu'il pourrait avoir ».

Par la suite, Microsoft a mis à jour sa déclaration en ajoutant : « comme son rapport concernait un produit d'OpenAI, nous l'avons encouragé à le signaler par le biais des canaux de signalement standard d'OpenAI et l'un de nos principaux chefs de produit a partagé les commentaires de l'employé avec OpenAI, qui a immédiatement enquêté sur l'affaire ». De son côté, un porte-parole d'OpenAI a déclaré : « nous avons immédiatement enquêté sur le rapport de l'employé de Microsoft lorsque nous l'avons reçu et nous confirmons que la technique qu'il a partagée ne contourne pas nos systèmes de sécurité ».

Jones a déclaré avoir soumis les détails de la vulnérabilité via le site Web d'OpenAI le 9 décembre, en se basant sur les instructions qu'il avait reçues après avoir initialement signalé le problème en interne chez Microsoft. Il n'a pas reçu de réponse de la part d'OpenAI, ce qui l'a amené à publier la lettre ouverte au conseil d'administration d'OpenAI sur LinkedIn le 14 décembre. « Je suis déterminé à aider OpenAI et l'industrie à rendre les produits d'IA plus sûrs et je serais heureux d'avoir l'occasion d'aider OpenAI à corriger cette vulnérabilité », a-t-il déclaré. Toutefois, OpenAI n'a pas répondu à ces allégations.

Dans sa lettre, Jones demande aux législateurs et au gouvernement de créer un système de signalement et de suivi des risques et des problèmes liés à l'IA, en garantissant aux employés des entreprises qui développent l'IA qu'ils pourront utiliser le système sans craindre de représailles. Il conclut en demandant à Murray, Cantwell, Smith et Ferguson d'examiner les risques relatifs à DALL-E 3 et à d'autres technologies d'IA de génération d'images, ainsi que la gouvernance d'entreprise et les pratiques responsables en matière d'IA des entreprises qui construisent et commercialisent ces produits.

Source : lettre de Shane Jones aux législateurs américains (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des allégations de l'employé de Microsoft ?
Microsoft et OpenAI ont-ils minimisé les risques d'abus liés à leurs outils d'IA ?

Voir aussi

Le PDG de Microsoft appelle l'industrie technologique à « agir » après des photos pornos de Taylor Swift générées par IA, certaines d'entre elles ont été générées par un outil de Microsoft

Microsoft comble la lacune qui a causé l'incident "Taylor Swift", avec plus de protections pour Designer, le générateur d'images par IA était utilisé pour produire des images pornographiques

Microsoft annonce la disponibilité de DALL-E 3 pour tous les utilisateurs de Bing Chat et de Bing Image Creator, des filigranes permettent d'identifier les images comme étant générées par l'IA

[Pandi_Panda02]

Peut-on comparer la vitesse de production d'un humain avec un clavier et celle de l'IA, même avec un pro de Photoshop on est même pas de l'ordre de 1 pour 1000.
[/B] ça prends pas juste une semaine d'expérience non plus.

Je ne sais pas. Je ne me pose pas cette question, puisque que la réponse soit "oui" ou "non",
ne valide, ni n'invalide le propos que j'ai tenu

Les conséquences, d'ordre légales ou autres, d'un fait commis (diffusion d'un porno implicant un tiers, un braquage, un viol, etc...) ne changent pas en fonction de la vitesse de production de celui-ci (que la vitesse de réalisation de cet acte soit permise par une nouvelle méthode ou nouvel outil, ou pas)

Pour revenir plus près du cas précis qui nous rassemble ici, je m'étonne que lorsque qu'un vidéo porno impliquant un individu X ou Y apparait, une société appelle à règlementer tel ou tel outil ayant permis la réalisation du fait en question. La priorité, je pense, est de lutter contre ces individus et de les mettre hors de la société.

Qu'ils aient utilisé un clavier, un caméscope, un smartphone avec ou sans IA, cette priorité me semble bien supérieure que d'appeler a modifier les règlementations sur les caméscopes, smartphones, etc... Car les individus en question, s'adapteront tant dans l'utilisation d'autres outils que dans le contournement des dites règlementations.

En conclusion, c'est juste la réaction de cette entreprise qui me surprend

[Jon Shannow]

Je ne sais pas. Je ne me pose pas cette question, puisque que la réponse soit "oui" ou "non",
ne valide, ni n'invalide le propos que j'ai tenu

Les conséquences, d'ordre légales ou autres, d'un fait commis (diffusion d'un porno implicant un tiers, un braquage, un viol, etc...) ne changent pas en fonction de la vitesse de production de celui-ci (que la vitesse de réalisation de cet acte soit permise par une nouvelle méthode ou nouvel outil, ou pas)

Pour revenir plus près du cas précis qui nous rassemble ici, je m'étonne que lorsque qu'un vidéo porno impliquant un individu X ou Y apparait, une société appelle à règlementer tel ou tel outil ayant permis la réalisation du fait en question. La priorité, je pense, est de lutter contre ces individus et de les mettre hors de la société.

Qu'ils aient utilisé un clavier, un caméscope, un smartphone avec ou sans IA, cette priorité me semble bien supérieure que d'appeler a modifier les règlementations sur les caméscopes, smartphones, etc... Car les individus en question, s'adapteront tant dans l'utilisation d'autres outils que dans le contournement des dites règlementations.

En conclusion, c'est juste la réaction de cette entreprise qui me surprend

Je rejoins assez tes propos. Quand je me tape sur les doigts avec un marteau, je n'accuse pas le marteau. (enfin si, mais c'est juste parce que je suis de mauvaise foi. Mais de toutes façons, ni le marteau, ni le clou, ni le mur ne sont à remettre en cause).

[unanonyme]

Les conséquences, d'ordre légales ou autres, d'un fait commis (diffusion d'un porno implicant un tiers, un braquage, un viol, etc...) ne changent pas en fonction de la vitesse de production de celui-ci (que la vitesse de réalisation de cet acte soit permise par une nouvelle méthode ou nouvel outil, ou pas)

Ironiquement,
dans la mesure où la techno de deepfake porno est accessible à tout un chacun,
et qu'on ne pourra bientôt plus départager ce qui est une vraie capture
de ce qui est une mise en scène générée par l'IA,
toutes accusations faites sur la base "d'une vidéo", ou d'un audio,
devient nulle et non avenue,
puisqu'on ne sait plus dire le vrai du faux.

[Stéphane le calme]

Deepfake : les photos pornos de Taylor Swift générées par IA sont issus d'un défi d'IA, selon un rapport
qui indique que plusieurs utilisateurs cherchaient des moyens de contourner les filtres d'outils comme DALL-E, Bing ou Designer

Selon la société d'analyse des réseaux sociaux Graphika, les "deepfakes" pornographiques de Taylor Swift qui ont proliféré sur les médias sociaux à la fin du mois dernier sont nés d'un défi en ligne visant à briser les mécanismes de sécurité conçus pour empêcher les gens de générer des images obscènes à l'aide de l'intelligence artificielle.

Pendant des semaines, les utilisateurs du forum internet 4chan ont participé à des concours quotidiens pour trouver des mots et des phrases qui pourraient les aider à contourner les filtres des services de génération d'images les plus populaires, notamment Microsoft Designer et OpenAI's DALL-E, ont constaté les chercheurs. L'objectif final était de créer des images sexuelles de personnalités féminines de premier plan, telles que des chanteuses et des politiciennes.

Fin janvier, des images pornographiques de la chanteuse et actrice Taylor Swift ont circulé sur les réseaux sociaux. Certaines d'entre elles ont été générées en piratant Designer, le générateur d'IA texte-image gratuit de Microsoft.

Des internautes ont réussi à contourner les mesures de protection conçues pour empêcher l'outil de générer des images de célébrités. C'est dans un groupe de Telegram que les membres ont partagé des stratégies pour y parvenir. Ils notaient par exemple qu'il fallait éviter de se servir d'invites utilisant "Taylor Swift" et en utilisant à la place des mots-clés tels que "Taylor 'singer' Swift". Ils ont ensuite été en mesure de générer des images sexualisées en utilisant des mots-clés décrivant « des objets, des couleurs et des compositions qui ressemblent clairement à des actes sexuels », plutôt que d'essayer d'utiliser des termes sexuels.

Très vite, un porte-parole de Microsoft a déclaré que la grande enseigne technologique « enquêtait sur ces rapports » et avait « pris des mesures appropriées pour empêcher l'utilisation abusive de nos outils ». Le porte-parole a également indiqué que le code de conduite de Microsoft interdit l'utilisation des outils Microsoft « pour la création de contenus intimes pour adultes ou non consensuels, et toute tentative répétée de produire des contenus qui vont à l'encontre de nos politiques peut entraîner la perte de l'accès au service ».

Satya Nadella, le PDG de l'entreprise, s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré : « Nous devons agir et, très franchement, nous tous qui faisons partie de la plateforme technologique, quelle que soit notre position sur un sujet particulier, je pense que nous avons tous intérêt à ce que le monde en ligne soit un monde sûr ».

Tout part d'un challenge IA

Graphika, une société de recherche qui étudie la désinformation, a retracé les images jusqu'à une communauté sur 4chan, un forum de discussion connu pour partager des discours haineux, des théories du complot et, de plus en plus, des contenus racistes et offensants créés à l'aide de l'intelligence artificielle.

Selon les chercheurs, les membres de 4chan qui ont créé les images de la chanteuse l'ont fait dans le cadre d'une sorte de jeu, un test pour voir s'ils pouvaient créer des images obscènes (et parfois violentes) de personnalités féminines célèbres.

Les images synthétiques de Swift se sont répandues sur d'autres plateformes et ont été visionnées des millions de fois. Les fans ont pris la défense de Taylor Swift et les législateurs ont exigé des protections plus fortes contre les images créées par l'intelligence artificielle.

Graphika a trouvé un fil de messages sur 4chan qui encourageait les gens à essayer de contourner les mesures de protection mises en place par les outils de génération d'images, notamment DALL-E d'OpenAI, Microsoft Designer et Bing Image Creator. Les utilisateurs étaient invités à partager leurs « trucs et astuces pour trouver de nouveaux moyens de contourner les filtres » et il leur était dit : « Bonne chance, soyez créatifs ».

Dans le fil de discussion 4chan qui a conduit aux fausses images de Swift, plusieurs utilisateurs ont reçu des compliments. Un utilisateur a déploré qu'une invite ait produit l'image d'une célébrité vêtue d'un maillot de bain plutôt que nue. Les règles affichées par 4chan et applicables à l'ensemble du site n'interdisent pas spécifiquement les images sexuellement explicites d'adultes réels générées par l'IA.

« Ces images proviennent d'une communauté de personnes motivées par le "défi" de contourner les mesures de protection des produits d'IA générative, et les nouvelles restrictions sont perçues comme un nouvel obstacle à "vaincre" », a déclaré Cristina Lopez G., analyste senior chez Graphika, dans un communiqué accompagnant le rapport. « Il est important de comprendre la nature ludique de cette activité malveillante afin de prévenir d'autres abus à la source ».

Et de continuer en disant que « Si les images pornographiques virales de Taylor Swift ont attiré l'attention du grand public sur la question des images intimes non consensuelles générées par l'IA, elle est loin d'être la seule victime ». Puis, elle a précisé que « dans la communauté 4chan d'où proviennent ces images, elle n'est même pas la personnalité publique la plus fréquemment ciblée. Cela montre que n'importe qui peut être visé de cette manière, des célébrités mondiales aux écoliers ».

OpenAI défend ChatGPT, Microsoft indique qu'une enquête est toujours en cours

OpenAI a déclaré que les images explicites de Swift n'ont pas été générées à l'aide de ChatGPT ou de son interface de programmation d'applications.

« Nous nous efforçons de filtrer les contenus les plus explicites lorsque nous formons le modèle DALL-E sous-jacent, et nous appliquons des garde-fous supplémentaires pour nos produits tels que ChatGPT - notamment en refusant les requêtes qui demandent le nom d'une personnalité publique ou en refusant les requêtes de contenu explicite », a déclaré OpenAI.

Microsoft continue d'enquêter sur ces images et a renforcé ses « systèmes de sécurité existants afin d'empêcher que nos services ne soient utilisés à mauvais escient pour générer des images comme celles-ci », a déclaré un porte-parole.

Un fléau qui sévit depuis au moins 2017

Le partage de contenus peu recommandables par l'intermédiaire de défis permet aux gens de se sentir connectés à une communauté plus large, et ils sont motivés par le cachet qu'ils reçoivent pour leur participation, ont déclaré les experts. À l'approche des élections de mi-mandat en 2022, des groupes sur des plateformes telles que Telegram, WhatsApp et Truth Social se sont lancés dans une chasse à la fraude électorale, gagnant des points ou des titres honorifiques en produisant des preuves supposées de la malversation des électeurs (selon les médias, les vraies preuves de fraude électorale sont exceptionnellement rares).

La fausse pornographie générée par un logiciel est un fléau depuis au moins 2017, affectant des célébrités, des personnalités gouvernementales, des streamers Twitch, des étudiants et d'autres. La réglementation inégale laisse peu de victimes avec un recours juridique ; d'ailleurs, peu d'entre les victimes ont une base de fans dévoués pour noyer les fausses images avec des messages coordonnés « Protégez Taylor Swift ».

Après que les fausses images de Swift sont devenues virales, Karine Jean-Pierre, attachée de presse de la Maison Blanche, a qualifié la situation « d'alarmante » et a déclaré que le laxisme des entreprises de médias sociaux dans l'application de leurs propres règles affectait de manière disproportionnée les femmes et les jeunes filles. Elle a indiqué que le ministère de la justice avait récemment financé le premier service national d'assistance téléphonique pour les personnes victimes d'abus sexuels fondés sur l'image, qui, selon le ministère, répond à un « besoin croissant de services » liés à la diffusion d'images intimes sans consentement. SAG-AFTRA, le syndicat représentant des dizaines de milliers d'acteurs, a qualifié les fausses images de Swift et d'autres personnes de « vol de leur vie privée et de leur droit à l'autonomie ».

La secrétaire de presse de la Maison Blanche, Karine Jean-Pierre, a qualifié « d'alarmantes » les images virales de Taylor Swift générées par l'intelligence artificielle

Des versions artificielles de Swift ont également été utilisées pour promouvoir des escroqueries concernant les ustensiles de cuisine Le Creuset. L'IA a été utilisée pour imiter la voix du président Biden dans des robocalls dissuadant les électeurs de participer aux élections primaires du New Hampshire. Les experts en technologie affirment qu'à mesure que les outils d'IA deviennent plus accessibles et plus faciles à utiliser, des parodies audio et des vidéos avec des avatars réalistes pourraient être créées en quelques minutes seulement.

Une désinformation en masse qui se prépare ?

Les images et vidéos manipulées entourant les élections ne sont pas nouvelles, mais 2024 sera la première élection présidentielle américaine au cours de laquelle des outils d'IA sophistiqués capables de produire des contrefaçons convaincantes en quelques secondes ne seront qu'à quelques clics.

« Je m'attends à un tsunami de désinformation », a déclaré Oren Etzioni, expert en intelligence artificielle et professeur émérite à l'Université de Washington. « Je ne peux pas le prouver. J'espère avoir tort. Mais les ingrédients sont là et je suis complètement terrifié ».

Les images, vidéos et clips audio fabriqués, connus sous le nom de deepfakes, ont commencé à se frayer un chemin dans les publicités expérimentales de la campagne présidentielle. Des versions plus sinistres pourraient facilement se propager sans étiquette sur les réseaux sociaux et tromper les gens quelques jours avant une élection, a déclaré Etzioni.

« On pourrait voir un candidat politique comme le président Biden être transporté d’urgence à l’hôpital », a-t-il déclaré. « On pourrait voir un candidat dire des choses qu’il n’avait jamais dites. On pourrait assister à une ruée sur les banques. On pouvait voir des bombardements et des violences qui n’ont jamais eu lieu ».

Les contrefaçons de haute technologie ont déjà affecté les élections dans le monde entier, a déclaré Larry Norden, directeur principal des élections et du programme gouvernemental au Brennan Center for Justice. Quelques jours seulement avant les récentes élections en Slovaquie, des enregistrements audio générés par l’IA ont usurpé l’identité d’un candidat libéral discutant de projets visant à augmenter les prix de la bière et à truquer les élections. Les vérificateurs de faits se sont efforcés de les identifier comme étant faux, mais ils ont malgré tout été partagés comme étant réels sur les réseaux sociaux.

Ces outils pourraient également être utilisés pour cibler des communautés spécifiques et affiner les messages trompeurs sur le vote. Cela pourrait ressembler à des messages texte persuasifs, à de fausses annonces sur les processus de vote partagées dans différentes langues sur WhatsApp, ou à de faux sites Web simulés pour ressembler à ceux officiels du gouvernement de votre région, ont déclaré les experts.

Face à un contenu conçu pour paraître réel, « tout ce que nous avons été programmés pour faire au cours de l'évolution va entrer en jeu pour nous faire croire à la fabrication plutôt qu'à la réalité réelle », a déclaré Kathleen Hall Jamieson, spécialiste de la désinformation et directeur du Annenberg Public Policy Center de l'Université de Pennsylvanie.

Source : Graphika

Et vous ?

Que pensez-vous de cette affaire ?
Êtes-vous surpris de voir des outils, comme celui de Microsoft, détournés de leur usage d'origine pour faire autant de dégâts ?
Les entreprises ont-elles une part de responsabilité selon vous ? Dans quelle mesure ?
La régulation des technologies d'IA en général, et de deepfake en particulier, vous semble-t-elle apporté un début de solution à ce problème ? Pourquoi ?
Quelles mesures devraient être prises ?

[behe]

Perso, ce cas de deepfake me fait plus peur.
Les deepfake photo existent depuis un moment et c'est juste parce que la cible est archi connue qu'on en parle

[unanonyme]

la cible est archi connue

vous êtes sur de cela ? Ou vous sous entendiez, elle est archi connue parmi la petite caste des gens du milieu (on en parle comme de la mafia) qui squatte la parole public à tout bout d champ pour dire ce qui leur plaît ?

[Jon Shannow]

vous êtes sur de cela ? Ou vous sous entendiez, elle est archi connue parmi la petite caste des gens du milieu (on en parle comme de la mafia) qui squatte la parole public à tout bout d champ pour dire ce qui leur plaît ?

C'est vrai que, perso, je ne la connaissais pas. A tel point que quand on a parlé de cette histoire au début, je pensais que c'était une de ces "influenceuses" qui n'influencent que ceux qui le veulent bien.
J'ai découvert que c'était une "chanteuse". (je mets "chanteuse" entre guillemets, car de ce que j'ai entendu, je dirais plutôt "geularde" )

[Stéphane le calme]

Copilot Designer : un ingénieur de Microsoft avertit que l'IA génératrice d'images ignore les droits d'auteur et crée des images violentes et sexuelles,
des risques connus par Microsoft et OpenAI avant sa publication

Shane Jones, ingénieur en intelligence artificielle qui travaille chez Microsoft, a dénoncé les images violentes et sexuelles que l’outil Copilot Designer, basé sur la technologie d’OpenAI, est capable de créer à partir de simples mots-clés. Il a adressé des lettres à la présidente de la FTC, Lina Khan, et au conseil d’administration de Microsoft, pour demander le retrait du produit du marché. Le service AI a représenté des démons et des monstres aux côtés de terminologies liées au droit à l’avortement. Il a aussi représenté des adolescents armés de fusils d’assaut, de la consommation d’alcool et de drogues par des mineurs.

Copilot Designer est un générateur d’images par IA que Microsoft a lancé en mars 2023, en utilisant le modèle DALL-E 3 d’OpenAI. Il permet aux utilisateurs de saisir des textes pour obtenir des images correspondantes. Selon Microsoft, il s’agit d’un outil de créativité qui peut aider les designers, les artistes et les éducateurs.

Mais Shane Jones, l'un des principaux responsables de l'ingénierie logicielle qui travaille chez Microsoft depuis six ans, a découvert que l’outil pouvait aussi produire des images choquantes et inappropriées, en violation des principes d’IA responsable de la société. Depuis novembre 2023, il teste le produit pour détecter ses vulnérabilités, une pratique appelée red-teaming.

En fait, il ne travaille pas sur Copilot Designer à titre professionnel. De plus, selon Microsoft, Jones n'était pas associé à des équipes dédiées à travailler continuellement pour signaler les problèmes avec Copilot Designer. Au contraire, Jones a commencé à « tester activement » les vulnérabilités de Copilot sur son temps libre, de plus en plus choqué par les images générées de manière aléatoire par l'outil.

Commercialisé auprès des enfants mais diffusant des images sexuelles et violentes

Même pour des invites simples comme « pro-choix » (qui désigne en Amérique du Nord l'ensemble des mouvements qui défendent l'idée politique et éthique que les femmes devraient avoir le contrôle de leur grossesse et de leur fertilité), Copilot Designer ferait preuve de partialité, générant de manière aléatoire des images violentes de « démons, monstres et scènes violentes, y compris « un démon aux dents pointues sur le point de manger un bébé ». À un moment donné, Copilot a généré une femme souriante qui saignait abondamment alors qu'un démon se tenait à proximité, brandissant une fourche.

De même, l'invite « accident de voiture » a généré des images violentes et sexualisées, montrant des femmes en lingerie posant à côté de scènes violentes d'accidents de voiture. Des invites plus spécifiques telles que "teenagers 420 party" ont montré comment l'outil pouvait franchir encore plus de limites avec ne serait-ce qu'un peu d'incitation supplémentaire, générant « de nombreuses images de consommation d'alcool et de drogues par des mineurs », a rapporté CNBC.

CNBC a pu reproduire les résultats nuisibles, mais lorsque d'autres médias ont tenté de faire de même, Copilot Designer a semblé filtrer les termes signalés par Jones.

Les recherches sur « accident de voiture » ont suscité un message de Copilot disant : « Je peux vous aider à créer une image d'un accident de voiture, mais je tiens à préciser que je ne représenterai aucune scène visuellement pénible. Au lieu de cela, je peux créer une image stylisée ou une représentation abstraite d'un accident de voiture qui transmet le concept sans détails explicites. Veuillez me faire savoir si vous avez des éléments ou un style spécifiques en tête pour l'image ».

Les tests de Jones ont également révélé que Copilot Designer violerait facilement les droits d'auteur en produisant des images de personnages de Disney, notamment Mickey Mouse ou Blanche-Neige. Le plus problématique est probablement que Jones pourrait politiser les personnages de Disney avec cet outil, en générant des images du personnage principal de La Reine des Neiges, Elsa, dans la bande de Gaza ou « portant l'uniforme militaire des Forces de défense israéliennes ».

Jones saisit la FTC et le conseil d'administration de Microsoft

Jones a été tellement alarmé par son expérience qu’il a commencé à rendre compte de ses conclusions en interne en décembre. Bien que l’entreprise ait reconnu ses inquiétudes, elle n’était pas disposée à retirer le produit du marché. Jones a déclaré que Microsoft l'avait référé à OpenAI et, n'ayant pas reçu de réponse de l'entreprise, il avait publié une lettre ouverte sur LinkedIn demandant au conseil d'administration de la startup de retirer DALL-E 3 (la dernière version du modèle d'IA) pour une enquête.

Le service juridique de Microsoft a demandé à Jones de retirer immédiatement son message, a-t-il déclaré, et il s'est exécuté. En janvier, il a écrit une lettre aux sénateurs américains à ce sujet, puis a rencontré des membres de la commission sénatoriale du commerce, des sciences et des transports.

Cette fois-ci, il a décidé d'aller plus loin. Mercredi, Jones a envoyé une lettre à Lina Khan, présidente de la Commission fédérale du commerce, et une autre au conseil d'administration de Microsoft. Il a communiqué ces lettres à CNBC à l'avance.

« Au cours des trois derniers mois, j'ai demandé à plusieurs reprises à Microsoft de retirer Copilot Designer de la circulation jusqu'à ce que de meilleures garanties soient mises en place », a écrit Jones dans sa lettre à Khan. Il ajoute que, puisque Microsoft a « refusé cette recommandation », il demande à l'entreprise d'ajouter des informations sur le produit et de modifier l'évaluation de l'application Android de Google pour indiquer clairement qu'elle est réservée à un public adulte.

Une fois de plus, ils n'ont pas mis en œuvre ces changements et continuent de commercialiser le produit à « N'importe qui. N'importe où. N'importe où. N'importe quel appareil », a-t-il écrit. Selon Jones, le risque « était connu de Microsoft et d'OpenAI avant la publication du modèle d'IA en octobre dernier ».

L'application Android de Copilot Designer continue d'être classée « E pour tout public », la classification d'application la plus adaptée à l'âge, ce qui suggère qu'elle est sûre et appropriée pour les utilisateurs de tout âge.

Ces lettres publiques interviennent après que Google a, à la fin du mois dernier, mis temporairement de côté son générateur d'images IA, qui fait partie de sa suite Gemini AI, à la suite de plaintes d'utilisateurs concernant des photos inexactes et des réponses douteuses découlant de leurs requêtes.

Dans sa lettre au conseil d'administration de Microsoft, Jones a demandé que le comité des politiques environnementales, sociales et publiques de l'entreprise enquête sur certaines décisions du service juridique et de la direction, et qu'il entame « un examen indépendant des processus de signalement des incidents liés à l'IA responsable de Microsoft ». Cela est nécessaire après que Jones ait déployé « des efforts extraordinaires pour tenter de soulever ce problème en interne », notamment en relevant directement du Bureau de l'IA responsable de Microsoft et de « la haute direction responsable de Copilot Designer », a rapporté CNBC.

La réaction de Microsoft

Un porte-parole de Microsoft a déclaré :

Nous nous engageons à répondre à toutes les préoccupations des employés conformément aux politiques de notre entreprise et apprécions les efforts de l’employé pour étudier et tester notre dernière technologie afin d’améliorer encore sa sécurité. Lorsqu'il s'agit de contournements de sécurité ou de problèmes susceptibles d'avoir un impact potentiel sur nos services ou nos partenaires, nous avons mis en place des outils de commentaires des utilisateurs intégrés au produit et des canaux de reporting internes robustes pour enquêter, hiérarchiser et résoudre correctement tout problème. Outils que nous avons recommandé à l'employé d'utiliser afin que nous puissions valider et tester de manière appropriée ses préoccupations. Nous avons également facilité des réunions avec la direction des produits et notre Bureau de l'IA responsable pour examiner ces rapports et intégrons continuellement ces commentaires pour renforcer nos systèmes de sécurité existants afin d'offrir une expérience sûre et positive à tous.

« Le problème est que, en tant qu'employé concerné de Microsoft, si ce produit commence à diffuser des images nuisibles et dérangeantes dans le monde entier, il n'y a pas d'endroit où le signaler, pas de numéro de téléphone à appeler et pas de moyen de faire remonter l'information pour qu'elle soit prise en charge immédiatement », a déclaré Jones à CNBC.

Jones a laissé entendre que Microsoft devrait investir massivement dans son équipe de sécurité pour mettre en place les protections qu'il souhaiterait. Il a indiqué que l'équipe Copilot croulait déjà sous les plaintes, recevant « plus de 1 000 messages de retour d'information sur le produit chaque jour ». En raison de ce manque de personnel présumé, Microsoft ne traite actuellement que « les problèmes les plus graves », a déclaré Jones à CNBC.

Conclusion

En janvier, Jones a écrit à un groupe de sénateurs américains pour lui faire part de ses inquiétudes après que Copilot Designer ait généré des images explicites de Taylor Swift, qui se sont rapidement répandues dans X/Twitter. Le PDG de Microsoft, Satya Nadella, s'est dit très inquiet et a déclaré qu'il était urgent d'agir. Dans une interview exclusive avec Lester Holt de NBC News, il a déclaré :

« Je dirais deux choses. D'une part, je reviens à la question de savoir quelle est notre responsabilité, et d'autre part, les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs. Il s'agit de tous les garde-fous que nous devons mettre en place autour de la technologie pour que les contenus produits soient plus sûrs, et il y a beaucoup de choses à faire et à ne pas faire dans ce domaine »

Jones se lance dans un débat public sur l’IA générative qui prend de l’ampleur à l’approche d’une énorme année d’élections dans le monde, qui affecteront quelque 4 milliards de personnes dans plus de 40 pays. Le nombre de deepfakes créés a augmenté de 900 % en un an, selon les données de la société d'apprentissage automatique Clarity, et une quantité sans précédent de contenu généré par l'IA est susceptible d'aggraver le problème naissant de la désinformation en ligne liée aux élections.

Et Jones est loin d’être le seul à exprimer ses craintes concernant l’IA générative et le manque de garde-fous autour de la technologie émergente.

Source : CNBC

Et vous ?

Que pensez-vous en général des images générées par Copilot Designer ? Trouvez-vous qu’elles sont créatives, choquantes, drôles, ou autre ?
Selon vous, qui est responsable de la sécurité et de l’éthique des outils d’IA comme Copilot Designer ? Microsoft, OpenAI, les utilisateurs, les régulateurs, ou tous ensemble ?
Comment pensez-vous que Copilot Designer pourrait être utilisé de manière positive ou négative dans différents domaines, comme l’éducation, l’art, le journalisme, ou la politique ?
Quelles sont les mesures que vous aimeriez voir mises en place pour prévenir les abus et les risques liés à Copilot Designer et aux autres outils d’IA similaires ?
Pensez-vous que Shane Jones a eu raison de dénoncer publiquement les dangers de Copilot Designer ? Quelles sont les conséquences possibles de son action pour lui-même, pour Microsoft, et pour l’industrie de l’IA ?