Discussion :

[Jade Emy]

Présentation de l'IA "Gen-3 Alpha" : le nouveau modèle de base de Runway pour la génération de vidéos, des vidéos détaillées avec des changements de scène, ainsi qu'un éventail de choix cinématiques.

Runway présente l'IA "Gen-3 Alpha", son nouveau modèle de base pour la génération de vidéos. Selon Runway, Gen-3 Alpha permet de créer des vidéos très détaillées avec des changements de scène complexes, un large éventail de choix cinématiques et des directions artistiques détaillées.

Runway AI est une entreprise américaine spécialisée dans la recherche et les technologies d'intelligence artificielle générative. L'entreprise se concentre principalement sur la création de produits et de modèles pour la génération de vidéos, d'images et de divers contenus multimédias. Elle est surtout connue pour avoir développé les premiers modèles commerciaux d'IA générative texte-vidéo Gen-1 et Gen-2 et pour avoir co-créé la recherche pour le système populaire d'IA de génération d'images Stable Diffusion.

Runway présente Gen-3 Alpha, le premier d'une série de modèles formés par Runway sur une nouvelle infrastructure conçue pour la formation multimodale à grande échelle. Il s'agit d'une amélioration majeure de la fidélité, de la cohérence et du mouvement par rapport à Gen-2, et d'une étape vers la construction de modèles mondiaux généraux.

Formé conjointement sur des vidéos et des images, Gen-3 Alpha alimentera les outils Texte vers Vidéo, Image vers Vidéo et Texte vers Image de Runway, les modes de contrôle existants tels que Motion Brush, Advanced Camera Controls, Director Mode ainsi que les outils à venir pour un contrôle plus fin de la structure, du style et du mouvement. Gen-3 Alpha sera publiée avec un nouvel ensemble de garanties, y compris le nouveau système de modération visuelle interne amélioré et les normes de provenance C2PA.

Introducing Gen-3 Alpha: Runway’s new base model for video generation.

Gen-3 Alpha can create highly detailed videos with complex scene changes, a wide range of cinematic choices, and detailed art directions.https://t.co/YQNE3eqoWf

(1/10) pic.twitter.com/VjEG2ocLZ8

— Runway (@runwayml) June 17, 2024

Voici quelques particularités de ce modèle :

Un contrôle temporel précis : Gen-3 Alpha a été formé avec des légendes hautement descriptives et temporellement denses, permettant des transitions imaginatives et un cadrage précis des éléments de la scène.

Humains photoréalistes : Gen-3 Alpha excelle dans la génération de personnages humains expressifs avec une large gamme d'actions, de gestes et d'émotions, ce qui ouvre de nouvelles possibilités de narration.

Pour les artistes, par les artistes : La formation de Gen-3 Alpha est le fruit d'une collaboration entre une équipe interdisciplinaire de chercheurs, d'ingénieurs et d'artistes. Il a été conçu pour interpréter un large éventail de styles et de terminologies cinématographiques.

Personnalisation de l'industrie : Dans le cadre de la famille des modèles Gen-3, Runway a collaboré et établi des partenariats avec les principaux organismes de divertissement et de médias pour créer des versions personnalisées de Gen-3. La personnalisation des modèles Gen-3 permet d'obtenir des personnages plus cohérents et mieux contrôlés sur le plan stylistique, et de répondre à des exigences artistiques et narratives spécifiques, entre autres caractéristiques.

Et vous ?

Quel est votre avis sur cette annonce ?
Pensez-vous que Gen-3 Alpha est crédible ou pertinent ?

Voir aussi :

Sora : OpenAI lance un modèle d'IA qui serait capable de créer une vidéo avec des scènes réalistes et imaginatives à partir d'instructions textuelles, mais la durée est limitée à 60 secondes

Kling, un nouvelle modèle d'IA chinois de création de vidéos, fait l'objet de comparaisons avec Sora d'OpenAI et vient allonger la liste d'outils d'IA susceptibles de bouleverser la filière du cinéma

Stability.ai présente Stable Video 3D, un outil d'IA générative pour le rendu de vidéos en 3D qui permet aux utilisateurs de générer une courte vidéo à partir d'une image ou d'un texte

[Mathis Lucas]

Runway aurait formé son outil d'IA de génération de vidéo à partir de milliers de vidéos YouTube sans autorisation
YouTube indique qu'il s'agit d'une "violation claire" des règles de la plateforme

La startup Runway aurait récupéré illégalement des milliers de vidéos YouTube et des versions piratées de films protégés par des droits d'auteur sans autorisation pour former son système d'IA de génération de vidéo. Un rapport, basé sur une feuille de calcul interne de Runway, révèle que l'entreprise a formé son modèle Gen-3 en utilisant du contenu YouTube provenant de chaînes telles que Disney, Netflix, Linus Tech Tips et des médias populaires. Runway a agi sans le consentement explicite des créateurs, violant potentiellement leurs droits d'auteur. En outre, YouTube a déjà déclaré que ce comportement viole clairement les règles de la plateforme.

L'ensemble de données de formation de Runway comprendrait des milliers de vidéos YouTube

Runway est une entreprise spécialisée dans l'IA qui a reçu des millions de dollars de financement de la part d'Alphabet, la société mère de Google, et de Nvidia, le principal fournisseur de puces destinées à la formation de l'IA. Runway a créé des outils d'IA qui permettent aux utilisateurs de réaliser des vidéos d'apparence réaliste, ainsi que des vidéos qui capturent un type d'animation particulier. Le dernier outil de Runway, Gen-3 Alpha, a été lancé en juin et peut créer des vidéos dans tous les styles imaginables. Et comme tout modèle d'IA, Gen-3 Alpha a besoin d'ingérer un large éventail de contenus dans le but de se former.

Lorsque le cofondateur de Runway, Anastasis Germanidis, a été interrogé en juin sur l'origine des données de formations de Gen-3, il n'a pas donné une réponse claire. « Nous avons une équipe de recherche interne qui supervise toutes nos formations et nous utilisons des ensembles de données internes pour former nos modèles », a déclaré Germanidis. Mais une feuille de calcul interne ayant fait l'objet de fuite a révélé que Runway a utilisé illégalement des milliers de vidéos YouTube pour l'occasion. En outre, le rapport ajoute que l'ensemble de données de formation de Gen-3 comprend également des versions de films piratés.

La feuille de calcul a été obtenue par 404 Media. Une évaluation du document et des tests sur Gen-3 ont permis de constater qu'une partie des données de formation du modèle est constituée de contenus populaires provenant des chaînes YouTube de milliers d'entreprises de médias et de divertissement, dont The New Yorker, VICE News, Pixar, Disney, Netflix, Sony, et d'autres encore. Le jeu de données comprend aussi des liens vers des chaînes et des vidéos individuelles appartenant à des influenceurs et créateurs de contenu populaires, comme Benjamin Hardman, Sam Kolder, Marques Brownlee, Casey Neistat, et bien d'autres.

Outre les chaînes YouTube, l'analyse a également révélé que l'ensemble de données contenait des liens vers des sites de piratage tels que KissCartoon, qui permet de regarder gratuitement des animes et d'autres contenus animés. L'on ignore si Runway a utilisé toutes les vidéos de cette feuille de calcul pour entraîner son modèle Gen-3, et il se peut que nous ne le sachions jamais. Un ancien employé présumé de Runway a déclaré à la publication que l'entreprise utilisait la feuille de calcul pour marquer les listes de vidéos qu'elle voulait dans sa base de données. L'entreprise télécharge ensuite sans être détectée par YouTube.

Sundar Pichai, PDG d'Alphabet, la société mère de Google et de YouTube, a déclaré que l'extraction de données sur YouTube pour former des modèles d'IA violait les conditions d'utilisation de la plateforme. En avril dernier, le directeur de YouTube, Neal Mohan, a souligné que ce type d'utilisation des données était expressément interdit par les conditions d'utilisation de YouTube. Il reste à voir si cela modifie le principe de "fair use" sur lequel s'appuient habituellement les entreprises d'IA collectant des données, y compris Google dans ses propres litiges. Il sera aussi intéressant de voir quelle réaction aura Google dans cette affaire.

YouTube, réputé pour être le plus grand dépôt de vidéos au monde, propose non seulement des transcriptions, mais aussi des sons, des vidéos et des images, ce qui en fait un ensemble de données très riche pour la formation de modèles d'IA. Un porte-parole de Google a déclaré que Google avait pris des mesures au fil des ans pour empêcher l'extraction abusive et non autorisée de données sur la plateforme, mais n'a pas fourni une réponse plus précise.

Runway utiliserait un logiciel open source pour télécharger discrètement les vidéos YouTube

Pour ce faire, Runway s'appuierait sur un logiciel proxy open source afin de brouiller les pistes. L'une des fiches énumère des mots-clés simples (comme astronaute, fée et arc-en-ciel) avec des notes de bas de page indiquant si la startup a trouvé des vidéos correspondantes de haute qualité pour la formation du modèle. Par exemple, le terme "super-héros" est accompagné d'une note indiquant "beaucoup d'extraits de films". L'ex-employé présumé aurait expliqué : « les chaînes figurant dans cette feuille de calcul représentaient un effort de toute l'entreprise pour trouver des vidéos de bonne qualité pour construire le modèle ».

Il aurait ajouté : « ces données servaient ensuite à alimenter un énorme robot d'exploration du web qui téléchargeait toutes les vidéos de toutes ces chaînes, en utilisant des proxys pour éviter qu'elles ne soient bloquées par Google ». D'autres notes montrent que Runway a épinglé des chaînes YouTube pour Unreal Engine, le cinéaste Josh Neuman et une page de fans de Call of Duty comme étant de bonnes sources pour des vidéos d'entraînement "à haut niveau de mouvement". En outre, Runway a compilé une liste distincte de vidéos provenant de sites de piratage dans une feuille de calcul intitulée "Non-YouTube Source".

Cette feuille de calcul comprend 14 liens vers des sources telles qu'une archive en ligne non autorisée de films du Studio Ghibli, des sites de piratage d'anime et de films, un site de fans affichant des vidéos de jeux Xbox, etc. Le rapport indique qu'en demandant au générateur de vidéos les noms de YouTubers populaires répertoriés dans la feuille de calcul, on obtenait des résultats d'une ressemblance troublante. De plus, la saisie des mêmes noms dans l'ancien modèle Gen-2 de Runway (prétendument formé avant les données de la feuille de calcul) a généré des résultats "sans rapport". Runway n'a pas commenté ces allégations.

L'ancien employé présumé de Runway a déclaré : « j'espère qu'en partageant ces informations, les gens comprendront mieux l'ampleur de ces entreprises et ce qu'elles font pour produire des vidéos "cool" ». Comme cet employé le souligne, Runway n'est pas la seule entreprise d'IA accusée d'avoir utilisé illégalement des vidéos YouTube pour former ses modèles d'IA de génération de vidéo. Au début de l'année, Mira Murati, directrice technique d'OpenAI, avait déclaré qu'elle n'était pas en mesure de dire si l'ensemble de données de formation de l'outil de génération de vidéo d'OpenAI, Sora, intégrait des vidéos YouTube.

Microsoft, Meta et d'autres entreprises spécialisées dans l'IA éludent également la question ou refusent d'y répondre. Toutefois, un récent rapport de Proof News et Wired a révélé qu'Anthropic, Apple, Nvidia et Salesforce ont entraîné leurs modèles d'IA sur plus de 170 000 vidéos réparties sur plus de 48 000 chaînes YouTube. Les experts affirment que ce comportement viole les droits des créateurs et les conditions d'utilisation de YouTube, mais les entreprises d'IA semblent prêtes à tout pour glaner des données indispensables à la formation de leurs modèles d'IA, à un moment où les sources de données se tarissent.

Une récente décision de justice concernant l'outil d'IA de génération de code Github Copilot stipule qu'il n'y a aucune infraction au droit d'auteur, du moins tant que le résultat des systèmes n'est pas identique au contenu original. Cette affaire fait partie d'un nombre croissant de litiges juridiques. Plusieurs recours collectifs intentés par des éditeurs et des auteurs contre des entreprises d'IA sont en rapport avec l'utilisation de livres comme données de formation des modèles. Des affaires similaires sont aussi en cours dans les secteurs de l'image et de la musique, et d'autres sont en train d'émerger dans le secteur de la vidéo.

Sources : feuille de calcul interne de Runway, RunwayAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'utilisation des vidéos YouTube dans la formation des modèles d'IA ?
Cela relève-t-il de l'utilisation équitable ? Si oui, quels seraient les impacts sur les créateurs ?
Pourquoi les entreprises enfreignent-elles délibérément les règles de YouTube pour récupérer les vidéos des créateurs ?
Comment les créateurs de contenu peuvent-ils régir face à ce phénomène ?

Voir aussi

Apple et d'autres ont formé leurs modèles d'IA sur un ensemble de données compilé à partir des transcriptions de 173 536 vidéos réparties sur plus de 48 000 chaînes YouTube, sans le consentement des créateurs

Adobe achètera vos vidéos jusqu'à 7,25 dollars la minute pour former son générateur de texte en vidéo par IA, afin de rattraper ses concurrents après la démonstration d'OpenAI

Le New York Times affirme qu'OpenAI a transcrit plus d'un million d'heures de vidéos YouTube pour entraîner son modèle d'IA GPT-4, violant ainsi les droits d'auteur des créateurs de la plateforme