Le modèle avancé de génération de vidéo d'Alibaba devient un outil pour générer du porno par IA
Alibaba lance un modèle open source avancé de génération de vidéos basé sur l'IA
qui devient rapidement un outil pour générer du porno
Alibaba, le géant chinois du commerce et de la technologie, a récemment lancé un modèle avancé de génération de vidéos basé sur l’intelligence artificielle. Présenté comme une avancée majeure dans le domaine de la création de contenu, ce modèle open source a cependant été rapidement détourné par des utilisateurs pour produire des vidéos pornographiques générées par IA.
Contexte
Le géant chinois de la technologie Alibaba a publié un nouveau modèle « ouvert » de génération de vidéos d'IA appelé Wan 2.1 et a partagé le logiciel sur Github, permettant à toute personne disposant du savoir-faire technique et du matériel nécessaire de l'utiliser et de le modifier librement. Il a fallu environ 24 heures pour que le modèle soit adopté par la communauté des amateurs de pornographie IA, qui a déjà partagé des dizaines de courtes vidéos pornographiques IA utilisant le logiciel d'Alibaba. Ailleurs, dans une communauté qui se consacre à la production et au partage de médias intimes non consensuels générés par l'IA et mettant en scène des personnes réelles, les utilisateurs salivent déjà devant le degré d'avancement du modèle.
C'est l'épée à double tranchant de la publication de modèles d'IA ouverts que les utilisateurs peuvent modifier, qui, d'une part, démocratise l'utilisation d'outils d'IA puissants, mais qui, d'autre part, est souvent utilisée par les premiers utilisateurs pour créer du contenu non consensuel.
Un modèle vidéo prometteur… en théorie
Le modèle d’Alibaba repose sur des avancées en intelligence artificielle générative, combinant traitement du langage naturel et modélisation des images pour produire des vidéos ultra-réalistes à partir de simples descriptions textuelles. Cette innovation s’inscrit dans une tendance de plus en plus marquée dans le secteur de la tech, où des entreprises comme OpenAI, Stability AI et Google cherchent à repousser les limites de la création de contenus visuels et audiovisuels automatisés.
Alibaba a déclaré avoir publié quatre variantes de Wan 2.1 - T2V-1.3B, T2V-14B, I2V-14B-720P et I2V-14B-480P - qui génèrent des images et des vidéos à partir de textes et d'images. Le « 14B » indique que la variante accepte 14 milliards de paramètres, ce qui signifie qu'elle peut traiter beaucoup plus de données pour produire des résultats plus précis.
Les modèles sont disponibles dans le monde entier sur les plateformes ModelScope et HuggingFace d'Alibaba Cloud pour l'enseignement, la recherche et le commerce.
Alibaba a présenté la dernière version de son modèle d'IA générateur de vidéos et d'images en janvier - en raccourcissant ensuite son nom de Wan à Wanx - en vantant sa capacité à générer des images très réalistes.
Conçu pour des applications légitimes comme le marketing numérique, la création de contenus éducatifs ou encore le divertissement interactif, ce modèle visait à démocratiser la production vidéo à faible coût tout en maintenant une qualité impressionnante. Toutefois, sa mise à disposition en open source a entraîné des usages inattendus et controversés.
Un détournement immédiat vers le contenu pornographique
À peine quelques heures après son lancement, des utilisateurs ont commencé à exploiter les capacités du modèle pour générer du contenu pornographique. Ce phénomène n’est pas nouveau : les modèles d’intelligence artificielle capables de créer des images ou des vidéos réalistes sont systématiquement détournés par certaines communautés en ligne pour produire des deepfakes explicites.
La particularité de cette situation réside toutefois dans la rapidité et l’ampleur du phénomène. En raison de la facilité d’accès au code source et de la puissance du modèle, les forums spécialisés et les plateformes de partage ont rapidement vu émerger des vidéos générées par l’IA mettant en scène des avatars réalistes ou même des personnalités publiques, alimentant ainsi une industrie du contenu explicite automatisé en pleine expansion.
« Hunyuan est sorti quand ? En décembre ? », a par exemple déclaré un utilisateur sur la chaîne Telegram dédiée au partage de pornographie non consensuelle générée par l'IA, faisant référence à un autre générateur de vidéos d'IA open source développé par Tencent et populaire au sein de cette communauté. « Maintenant, nous avons un meilleur modèle Text2Video [qui] peut gérer des mouvements plus compliqués : Celui-ci vient de sortir HIER et la première Lora qui a été faite pour cela est un Titfuck 😆. »
Cet utilisateur a également partagé une courte vidéo réalisée avec Wan 2.1 qui a été publiée à l'origine sur Civitai, un site de partage de modèles d'IA modifiés largement utilisé par les personnes qui créent du contenu non consensuel.
Selon les statistiques communiquées par les pages de modèles de Civitai, chacun de ces modèles a déjà été téléchargé des centaines de fois. Les pages de modèles de Civitai permettent également aux utilisateurs de partager les vidéos qu'ils ont créées avec les modèles d'IA, et les deux pages contiennent des dizaines de vidéos pornographiques. Civitai permet aux utilisateurs de partager des modèles d'IA qui ont été modifiés pour ressembler à des personnes réelles et des modèles qui ont été modifiés pour produire de la pornographie, mais ne permet pas aux utilisateurs de partager des médias ou des modèles de pornographie non consensuelle.
Toutefois, rien n'empêche les utilisateurs de Civitai de télécharger les modèles et de les utiliser pour produire du contenu non consensuel en dehors du site.
Alibaba face à un dilemme éthique et réglementaire
La controverse autour de ce détournement pose des questions épineuses pour Alibaba. D’une part, l’entreprise cherche à se positionner comme un acteur majeur de l’IA, capable de rivaliser avec les géants occidentaux. D’autre part, elle doit composer avec un cadre réglementaire chinois extrêmement strict sur le contenu explicite et la censure en ligne.
En réponse à cette situation, Alibaba pourrait être contraint d’imposer des restrictions sur l’usage de son modèle ou de le retirer de l’accès public, comme l’ont fait OpenAI et Google avec certains de leurs outils jugés trop sensibles. Cependant, le fait que le modèle soit déjà disponible en open source rend une telle mesure difficile à appliquer, car les copies du code existent désormais en dehors du contrôle direct de l’entreprise.
Les enjeux plus larges de l’IA générative et de la régulation
Cette affaire souligne une fois de plus les risques liés à la démocratisation de l’IA générative. Si ces technologies offrent des possibilités créatives inédites, elles posent également des défis considérables en matière de modération et de réglementation.
La capacité des modèles d’IA à produire du contenu explicite ou trompeur en quelques secondes amplifie les préoccupations sur la protection de la vie privée, la diffusion de fausses informations et l’exploitation de l’image de personnes réelles sans leur consentement. Dans ce contexte, de nombreux experts appellent à une régulation plus stricte des modèles open source, voire à des restrictions sur leur diffusion publique.
La diffusion de deepfakes générés par l'IA secoue une école en Pennsylvanie
L'essor de l'IA générative a rendu la technologie deepfake plus accessible et plus facile d'utilisation. N'importe quelle personne peut désormais créer des deepfakes réalistes et les diffuser dans la nature. Cet état de choses a favorisé ces dernières années la prolifération des deepfakes sexuellement explicites (ou photos de nu) générés par l'IA, portant ainsi préjudice aux victimes. C'est ce qui est arrivé à la Lancaster Country Day School, une école basée en Pennsylvanie.
Selon le récit, un seul élève a utilisé l'IA pour créer des images sexuellement explicites de près de 50 camarades de classe en 2023. L'incident aurait été signalé pour la première fois au directeur de l'école, Matt Micciche, en novembre 2023 par le biais d'un système d'alerte anonyme. Cela dit, Matt Micciche n'a rien fait, permettant ainsi que d'autres élèves soient ciblés pendant de nombreux mois, jusqu'à ce que la police soit mise au courant au mois de mai 2024.
Les policiers ont arrêté en août 2024 l'élève accusé d'avoir créé le contenu préjudiciable. Le téléphone de l'élève a été saisi pendant que les policiers enquêtaient sur l'origine des photos générées par l'IA. Mais cette arrestation n'a pas suffi à rendre justice aux parents choqués par le fait que l'école n'a pas respecté les obligations de signalement obligatoire en cas de soupçon de maltraitance d'enfant. Ils ont déposé une assignation en justice début novembre.
Ils ont menacé d'intenter une action en justice si les dirigeants de l'école responsables de la mauvaise gestion de l'affaire ne démissionnaient pas dans les 48 heures. La tactique a réussi à pousser le directeur Matt Micciche et la présidente du conseil scolaire, Angela Ang-Alhadeff, à démissionner le vendredi 15 novembre 2024 en fin de journée. La Lancaster Country Day School a déclaré dans un communiqué de presse qu'elle apporte « tout son soutien à la communauté ».
Dans un message envoyé aux parents d'élève et transmis à un journaliste, le conseil d'administration de l'école déclare notamment : « après une longue réflexion et une discussion approfondie sur ce qui est dans le meilleur intérêt de notre école, la décision a été prise de se séparer du directeur de l'école, Matt Micciche. En outre, notre présidente, Angela Ang-Alhadeff, a décidé de se retirer de son rôle et de ses fonctions au sein du conseil scolaire ».
Mais les parents ne semblent pas prêts à abandonner les poursuites, car les dirigeants de l'école ont apparemment traîné les pieds et ont démissionné deux jours après la date limite. L'avocat des parents, Matthew Faranda-Diedrich, a déclaré que « l'action en justice serait maintenue malgré les changements de direction ».
Le scandale a entraîné la fermeture temporaire de la Lancaster Country Day School. Les cours ont été annulés le lundi 18 novembre 2024 à la suite de la démission de Matt Micciche et Angela Ang-Alhadeff. Les médias locaux ont rapporté que les cours ont repris le mardi 19 novembre 2024.
Créer des cadres juridiques afin de lutter contre les deepfakes générés par l'IA
Aux États-Unis, les autorités fédérales vérifient actuellement si les lois existantes protégeant les enfants contre les abus sont suffisantes pour les protéger des méfaits de l'IA. Des législateurs proposent également des lois pour lutter contre la prolifération de ce type spécifique de contenu préjudiciable en ligne. Certaines propositions de loi visent à criminaliser non seulement la création d'images explicites à l'aide de l'IA, mais aussi le partage de contenus préjudiciables.
Selon un projet de loi, toute personne partageant de la pornographie deepfake sans le consentement d'un individu s'expose à des dommages-intérêts pouvant aller jusqu'à 150 000 $ et à une peine d'emprisonnement pouvant aller jusqu'à 10 ans si le partage des images facilite la violence ou a un impact sur les procédures d'une agence gouvernementale. Cela dit, ces propositions ont été bloquées, car des enfants de 12 ou 13 ans risquent toujours d'en être victimes.
Conclusion : une innovation incontrôlable ?
Le lancement du modèle vidéo avancé d’Alibaba illustre parfaitement le paradoxe des avancées en intelligence artificielle : une innovation porteuse d’opportunités créatives, mais également de risques imprévus. Alors que la frontière entre technologie et éthique devient de plus en plus floue, la question demeure : comment encadrer ces outils sans brider l’innovation ?
Alibaba pourrait bientôt devoir choisir entre préserver l’accessibilité de son modèle au prix d’un usage potentiellement problématique ou imposer des limites strictes au risque de freiner le développement d’une technologie prometteuse. Quelle que soit l’issue, cette affaire marque un tournant dans la réflexion sur l’open source et la responsabilité des entreprises technologiques face aux dérives de l’IA.
GitHub Wan 2.1
Sources : Alibaba (vidéo dans le texte), Civitai
Et vous ?
Répondre avec citation
Partager