20th Century Fox se tourne vers l’IA pour analyser les bandes-annonces pour voir quels films vont plaire
20th Century Fox se tourne vers l’IA pour analyser les bandes-annonces et déterminer les films
qui sont susceptibles de plaire au public
Faire des films reste toujours dans le domaine du pari et les studios de cinéma cherchent en permanence des moyens de minimiser leurs risques. L'analyse de texte extrait d'un script est une tâche contraignante en ce qui concerne les films, car elle ne fournit qu'un squelette de l'histoire, sans le dynamisme supplémentaire qui peut inciter un auditoire à regarder un film.
Une équipe de la 20th Century Fox s’est demandée s’il était possible d’utiliser la vision informatique moderne et avancée pour étudier les bandes-annonces de films, qui restent l’élément le plus central de toute la campagne marketing d’un film. La sortie de la bande-annonce d'un nouveau film est un événement très attendu qui peut aider à prédire le succès futur.
Il incombe donc à l'entreprise de veiller à ce que la bande-annonce touche les bonnes notes chez les cinéphiles. Pour atteindre cet objectif, l’équipe de data science de la 20th Century Fox s’est associée au laboratoire de solutions avancées de Google pour créer Merlin Video, un outil de vision par ordinateur qui permet d’apprendre la représentation dense de bandes-annonces de films afin de prédire le public cible de celles-ci.
Dans une étude qu’ils ont publié le mois dernier, les ingénieurs de la 20th Century Fox ont expliqué comment ils se sont servis de l’IA pour analyser les bandes-annonces dans l'espoir de trouver des éléments qui répondent aux attentes du public, afin que le studio puisse ensuite recréer ces éléments dans des bandes-annonces pour d'autres films. Les systèmes de vision artificielle examinent image par image une bande-annonce, en étiquetant les objets et les événements, puis les comparent aux données générées pour les autres bandes-annonces. L'idée est que les films portant des ensembles d'étiquettes similaires attireront des ensembles de personnes similaires.
Baptisé Réseau de filtrage collaboratif convolutionnel pour systèmes de recommandation vidéo, les chercheurs y expliquent que :
« Comprendre la composition détaillée du public est important pour les studios de cinéma qui investissent dans des scénarios aux résultats commerciaux incertains. Une source d'incertitude réside dans le fait que les studios ne savent pas réellement à quoi va ressembler le film jusqu'aux derniers mois avant sa sortie. L'autre source d'incertitude liée est l'audience et la fluidité du marché. Les studios ne savent pas avec certitude "comment" et surtout "quels" auditeurs vont réagir parce que le film n’est pas terminé et que la force et la nature des films de compétition sont également inconnues.
« Une fonction importante dans les studios de cinéma consiste à comprendre la micro-segmentation de la clientèle. Par exemple, tous les films de super-héros n'attirent pas le même public, etc. Au cours des dernières années, les studios ont investi dans des outils de données afin d'apprendre à cartographier les segments de clientèle et de faire des projections sur les futurs films. Les projections granulaires au niveau des micro-segments, et même au niveau des clients, sont devenues des éléments de base des décisions commerciales importantes et constituent un baromètre fiable de la performance financière potentielle du film.
« Les systèmes de recommandation pour les sorties en salles sont apparus comme des outils précieux, particulièrement bien adaptés pour fournir des projections d’audience prospectives et granulaires permettant de prendre des décisions éclairantes, d’études de positionnement, de marketing et de distribution. MERLIN, le système de recommandation pour les sorties en salles construit à la 20th Century Fox, est utilisé pour prédire la fréquentation des utilisateurs et les index de segments un an à l’avance, et pour affiner la prédiction avec des signaux de comportement des utilisateurs anonymisés ».
Cas d’espèce : Logan
Pour créer son « système expérimental de prévision et de recommandation de la fréquentation des films» nommé Merlin, 20th Century Fox s’est associé à Google afin de se servir des serveurs de la société et de l’infrastructure d’intelligence artificielle libre TensorFlow.
Ensemble, ils ont développé un partenariat afin de mieux comprendre les cinéphiles. Google a également développé des modèles internes d’apprentissage approfondi qui permettent de former des données client granulaires et des scripts de film afin d’identifier les caractéristiques de base des préférences du public pour différents types de films.
Dans un billet de blog, Google explique « Qu’en l'espace de 18 mois, ces modèles sont devenus des considérations courantes pour les décisions commerciales importantes et constituent l'un de leurs baromètres les plus objectifs, fondés sur des données et efficaces, permettant d'évaluer le ton d'un film, son affinité avec un public cible et élargi, et son potentiel de performance financière ».
Concevoir un pipeline de données
L’équipe a tout d’abord entrepris de déterminer quelle technologie alimenterait cet outil. Le choix évident était le moteur d'apprentissage Cloud Machine (moteur Cloud ML), associé au framework d'apprentissage approfondi TensorFlow. Comme il s’agit d’un service géré, Cloud ML Engine automatise l’approvisionnement et la surveillance des ressources. L’équipe peut donc se concentrer sur la création du modèle d’apprentissage approfondi de Merlin, plutôt que sur la configuration de l’infrastructure. Son intégration à Cloud Dataflow permet également la génération transparente de rapports dans Data Studio, ce qui a permis à l'équipe de mieux comprendre le fonctionnement du processus. La maintenance quotidienne du système (ingestion de données, pour la plupart) est à la fois simple et facile; elle peut être entièrement gérée par des experts en informatique, au lieu de faire intervenir des ingénieurs d’autres unités commerciales.
Avec la bonne infrastructure en place, l’équipe a commencé son analyse sur YouTube 8M, un ensemble de données de vidéos YouTube accessible au public. Cet ensemble de données inclut un modèle pré-formé de Google capable d'analyser des fonctionnalités vidéo spécifiques telles que la couleur, l'éclairage, de nombreux types de visages, des milliers d'objets et plusieurs paysages. Comme le montre la figure ci-dessus, la première étape de l’architecture de Merlin consiste à analyser ces caractéristiques prédéfinies, afin de déterminer quels éléments de la bande-annonce sont les plus prédictifs des préférences des cinéphiles.
Par exemple, si quelqu'un a déjà vu principalement des films avec un acteur masculin, ont-ils plus de chances de voir un autre film ayant un acteur masculin ? Examinons en détail Logan, un film d’action réalisé par 20th Century Fox et mettant en vedette Hugh Jackman dans le rôle de Wolverine. Ci-dessous, vous pouvez voir un instantané dans la bande-annonce officielle dans les 12 secondes.
Pour cette capture d’écran, Merlin renvoie les étiquettes suivantes: facial_hair, beard, screenshot, chin, human, film (pilosité faciale, barbe, capture d'écran, menton, humain, film). Après analyse de la bande-annonce complète, seconde par seconde, Merlin révèle que les principaux labels de Logan sont les suivants:
Une fois que l’analyse des étiquettes de Logan a été attribuée, l’équipe de 20th Century Fox a voulu comparer cette nouvelle analyse aux étiquettes précédemment générées à partir d’autres bandes-annonces pour identifier des films similaires. Vraisemblablement, il y a un certain chevauchement entre le public de Logan et celui d'autres films d'action, mais le défi à relever est double. Le premier défi est la position temporelle des étiquettes dans l’extrait vidéo : il importe que les étiquettes apparaissent dans l’extrait vidéo. Le deuxième défi est la grande dimensionnalité de ces données. Pour un film donné, la bande-annonce peut contenir de nombreux éléments permettant de prédire l'intérêt du public, et Merlin souhaite les analyser simultanément. L'élasticité de Cloud ML Engine a permis à l'équipe de data science d'effectuer des itérations et des tests rapidement, sans compromettre l'intégrité du modèle d'apprentissage en profondeur. Cela a aidé Merlin à devenir un outil prêt à la production en quelques jours, au lieu de plusieurs mois ou années.
Comme l’ont expliqué les ingénieurs de 20th Century Fox, cette information temporelle est particulièrement riche car elle est en corrélation avec le genre d’un film. « Par exemple, écrivent-ils, une bande-annonce avec une longue vue rapprochée d’un personnage est plus probable pour un film dramatique que pour un film d’action, alors qu’une bande-annonce avec des plans rapides mais fréquents est plus probable pour un film d’action. Cela se vérifie même pour Logan, avec sa bande-annonce contenant de nombreux plans lents de Hugh Jackman ».
En comparant ces informations avec les analyses d’autres bandes-annonces, Merlin peut tenter de prédire quels films pourraient intéresser les personnes qui ont vu Logan. Mais c’est là que les choses deviennent un peu corsées. Le graphique ci-dessous montre les 20 films les plus visités par les personnes qui sont allées voir Logan. La colonne de droite montre les prévisions de Merlin et la colonne de gauche les données réelles (recueillies, suppose-t-on).
Merlin arrive à faire de bonnes prédictions sur quelques films, y compris d’autres films de super-héros comme X Men: Apocalypse, Doctor Strange et Batman v Superman : L’Aube de la justice. Il identifie même correctement John Wick 2 comme un film similaire à Logan, même si John Wick n’est pas un film de super-héros. Cependant, il comporte un protagoniste tout aussi fatigué et blasé avec une apparence rude. Globalement, Merlin identifie les cinq premiers choix, même s’il ne les classe pas dans le même ordre d’importance.
Ce qui est encore plus révélateur, ce sont les inadéquations. Merlin prédit que Tarzan séduira les fans de Logan, par exemple. Ni Google ni 20th Century Fox n’expliquent cela, mais cela pourrait avoir quelque chose à voir avec les éléments « forêt », « arbre » et « lumière » de Logan, éléments qui figurent également dans la bande-annonce de Tarzan.
L’industrie cinématographique a tenu à adopter l’intelligence artificielle pour ce type d’analyse, et plusieurs entreprises affirment déjà qu’elles peuvent prédire le succès d’un film simplement en utilisant le machine learning pour approfondir son scénario. Des analyses comme celles-ci montrent cependant que les ordinateurs ne sont pas encore des cinéphiles. Ils devront certainement passer plus de temps au cinéma avant de pouvoir vraiment prédire nos préférences.
Sources : étude (au format PDF), Google
voir aussi :
iBorderCtrl : le détecteur expérimental de mensonges boosté à l'IA à la rescousse des gardes-frontières, pour aider à filtrer les voyageurs en UE
Répondre avec citation
Envoyé par Stéphane le calme
Partager