Discussion :

[Michael Guilloux]

Microsoft tente d’enseigner le sens de l’humour aux ordinateurs
Pour leur permettre de détecter les histoires les plus drôles dans un concours

Dans un projet de recherche, des chercheurs de Microsoft ont travaillé sur la manière d’enseigner aux ordinateurs le sens de l’humour pour leur permettre de classer des histoires des plus drôles au moins drôles. A l’origine, le projet vise à aider le département de bandes dessinées du magazine the New Yorker, mais sa portée pourrait être plus grande.

Depuis quelques années, le magazine US organise un concours hebdomadaire dans lequel les lecteurs soumettent des histoires pour interpréter une scène de bandes dessinées (BD) sans paroles, qui figure à la dernière page de la revue. Parmi les histoires soumises par les lecteurs par e-mail, les plus drôles sont sélectionnées par le département de BD pour ne retenir que la meilleure.

Avec la popularité du concours, c’est en moyenne 5000 histoires que les assistants de Robert Mankoff – éditeur de BD pour le New Yorker – doivent passer au crible chaque semaine pour choisir l’histoire qui colle le plus à la bande dessinée. C’est un boulot énorme qui selon Mankoff peut détruire l’esprit de ses assistants en deux ans ; raison pour laquelle il arrive à peine à les retenir pendant quelques années, et à chaque fois, c’est toute une bataille pour trouver un nouvel assistant. Pourquoi ne pas donc enseigner aux ordinateurs des valeurs comiques pour aider M. Mankoff et son équipe dans la sélection des histoires les plus drôles ? C’est l’objectif de Dafna Shahaf et Eric Horvitz de Microsoft Research.

Les chercheurs de Microsoft ont donc développé des algorithmes pour permettre à des ordinateurs d’être en mesure de faire un classement des histoires les plus drôles en fonction d’une scène de bande dessinée donnée. Le concours du New Yorker existe depuis 2005, il dispose donc d’une bonne base de données que les chercheurs ont exploitée pour donner à un ordinateur une certaine compréhension de l’humour, au moins au sens du New Yorker. Le système d’intelligence artificielle (IA) a été alimenté par les archives de caricatures et les données du concours. Il a ensuite été entrainé par les chercheurs de Microsoft pour déterminer les histoires les plus drôles parmi celles qui ont été soumises par les lecteurs pour une BD donnée.

Les chercheurs ont entrainé leur système en se basant en partie sur les données de l’application Mechanical Turk d’Amazon. Il s’agit d’une application web de crowdsourcing qui vise à faire effectuer par des humains contre rémunération des tâches plus ou moins complexes. Parmi les tâches proposées, on y trouve la transcription, l’identification et le classement d’images.

Les efforts de Shahaf et Horvitz ont été récompensés par un ordinateur qui a été capable de classer toutes les histoires favorites des assistants de Mankoff dans la première moitié de son classement (55,8%). Autrement dit, le système permet de réduire de moitié le travail de M. Mankoff et ses assistants sans risque d’éliminer un favori pour le concours. Le résultat est assez impressionnant et pour Mankoff, les ordinateurs peuvent être d’une grande aide dans son travail. Toutefois, il reste un peu sceptique quant à la possibilité qu’une machine puisse avoir le sens humain de l’humour. Il pense également que Microsoft devrait encore améliorer la précision de son système avant qu’il l’emploie dans son département de BD.

Pour les chercheurs, ce résultat n’est qu’un début et ils comptent pousser les recherches encore plus loin. Ils pensent que la capacité pour un ordinateur de reconnaître l’humour pourrait s’avérer importante pour des programmes comme Skype Translator. Ils espèrent aussi un jour entrainer des ordinateurs à faire leurs propres blagues sur la base de situations, cela pourrait par exemple rendre plus agréable d’interagir avec les assistants numériques tels que Cortana et Siri.

Sources : Bloomberg, Rapport de l’étude

Et vous ?

Qu’en pensez-vous ?

[nchal]

Je ne pense pas qu'il soit possible d'apprendre le rire à une machine, c'est beaucoup trop... humain

[pcaboche]

Ils espèrent aussi un jour entrainer des ordinateurs à faire leurs propres blagues sur la base de situations, cela pourrait par exemple rendre plus agréable d’interagir avec les assistants numériques tels que Cortana et Siri.

I am funnybot... AWKWARD!



https://fr.wikipedia.org/wiki/La_Machine_%C3%A0_rigoler

[RyzenOC]

Je ne pense pas qu'il soit possible d'apprendre le rire à une machine, c'est beaucoup trop... humain

C'est surtout très subjectif, ce que fait rire l'un peut ne pas faire rire l'autre.

[Grabeuh]

Mais pourquoi c'est drôle l'humour ?

Kulunmouton... drôle.

[Neckara]

Bonjour,

Cela me paraît légèrement dangereux.


Ceci veut dire que tout dessin n'entrant pas dans le cadre défini par l'algorithme de trie sera rejeté.
Au final, n'est-ce pas un pas vers de l'humour "formaté", en rejetant tout humour "différent"/"original" ?

Est-ce que cela ne pourrait-il pas à terme écarter une proposition un peu moins drôle qu'on aurait pourtant sélectionné car "on" la juge de qualité bien faites, à cause du contexte actuel, etc.

N'est-ce pas aussi un risque de voir apparaître des personnes qui vont dessiner, non pas pour être drôle mais pour passer les tests ?
Dessiner une bite, c'est drôle, donc on va se retrouver avec des bites dans tous les dessins ?
Dessiner une arme, c'est pas drôle, donc on va éviter de dessiner des armes ?



De plus, même si l'algorithme a de très bon résultats au début, est-ce que le sens de l'humour d'une population ne peut pas varier suite aux événements ?
Et si ce tri rejette des images drôles mais qui ne plaisent pas au concepteur de l'algorithme ? Est-ce que les utilisateurs peuvent vraiment le remarquer ?


N'y a-t-il pas aussi un risque d'avoir la même chose, pour les divertissements, le choix des films au cinéma, le soir à la télé, le choix des articles à lire, etc.
Vous l'aurez compris, je n'en pense pas que du bien.

[Thorna]

N'y a-t-il pas aussi un risque d'avoir la même chose, pour les divertissements, le choix des films au cinéma, le soir à la télé, le choix des articles à lire, etc.

Euh, c'est pas déjà comme ça dans les émissions de divertissement de la TV ? J'ai du rater quelque chose...
N'empêche que je n'en pense pas du bien non plus, ça ne peut qu'empirer les choses.

[nchal]

Après, il ne faut pas tout jeter en bloc.
Dans le cas présent, si ça permet qu'une image soit au moins vu par quelque chose au lieu d'être directement jetée par faute de temps, bah pourquoi pas. Je préfère un tri même s'il est bancal plutôt que pas de tri (je parle du contexte de l'article, dans un autre contexte, faut voir)

[Saverok]

C'est surtout très subjectif, ce que fait rire l'un peut ne pas faire rire l'autre.

Mieux encore, c'est également très lié à l'état d'esprit à un instant T.

On peut rire à quelque chose à un moment donné alors que l'on est bourré et trouver pas ça drôle du tout à un autre moment de déprime...

Bref, l'humour n'est pas quelque chose de figer que ce soit dans le temps ainsi que pour chaque individu

[ZenZiTone]

Cela me paraît légèrement dangereux.


Ceci veut dire que tout dessin n'entrant pas dans le cadre défini par l'algorithme de trie sera rejeté.

C'est quelque chose que l'on entend souvent dans les actus sur les IA

C'est dangereux aux vues de ce que l'on connais de la programmation et des IA aujourd'hui.

Mis-à-part ça, je trouve le sujet très intéressant pour tout les "problèmes" exposés dans les postes précédents, à savoir l'aspect subjectif de l'humour.

[Matthieu Vergne]

Cela me paraît légèrement dangereux.


Ceci veut dire que tout dessin n'entrant pas dans le cadre défini par l'algorithme de trie sera rejeté.
Au final, n'est-ce pas un pas vers de l'humour "formaté", en rejetant tout humour "différent"/"original" ?

Est-ce que cela ne pourrait-il pas à terme écarter une proposition un peu moins drôle qu'on aurait pourtant sélectionné car "on" la juge de qualité bien faites, à cause du contexte actuel, etc.

N'est-ce pas aussi un risque de voir apparaître des personnes qui vont dessiner, non pas pour être drôle mais pour passer les tests ?
Dessiner une bite, c'est drôle, donc on va se retrouver avec des bites dans tous les dessins ?
Dessiner une arme, c'est pas drôle, donc on va éviter de dessiner des armes ?



De plus, même si l'algorithme a de très bon résultats au début, est-ce que le sens de l'humour d'une population ne peut pas varier suite aux événements ?
Et si ce tri rejette des images drôles mais qui ne plaisent pas au concepteur de l'algorithme ? Est-ce que les utilisateurs peuvent vraiment le remarquer ?


N'y a-t-il pas aussi un risque d'avoir la même chose, pour les divertissements, le choix des films au cinéma, le soir à la télé, le choix des articles à lire, etc.
Vous l'aurez compris, je n'en pense pas que du bien.

En soit, le contexte d'application s'y prête tout à fait : le fait est qu'on parle là d'une sélection pour un contexte figé (aider le département de bandes dessinées du magazine the New Yorker). En ce sens, ayant déjà une base de données riche, ça fait sens d'utiliser une telle technique. Autrement dit, l'humour en lui-même n'a juste rien à voir : les chercheurs ont mis en place des critères de comparaison entre 2 éléments (2 histoires), ils ont fourni une BDD pour identifier les critères significatifs, et on a ensuite appliqué ces critères pour faire nos propres classements. Autrement dit, les critères possibles sont donnés a priori, on se contente d'une étude statistique et on réapplique. L'humour en lui-même, on part du principe que c'est un critère qui émerge de ces critères significatifs pré-identifiés. On aurait utilisé les même critères pour une toute autre raison, ça aurait été pareil.

Du coup, en soit, la subjectivité du sujet est toute relative : en agglomérant des données, on ne tient pas compte de la subjectivité de chacun, mais d'une moyenne sur une communauté donnée. Si les décisions humaines sont prises sur la base d'un accord, les subjectivités individuelles s'effacent, laissant place là aussi à une moyenne, donc il ne serait pas étonnant d'obtenir de bons résultats dans ce contexte précis. Mais ça ne fait en rien un système capable de dire ce qui serait plus rigolo pour madame Michu ou monsieur Martin.

Par contre, si on sort de ce contexte, la communauté et le contenu/format diffèrent, donc le classificateur résultant de cette base de données ne peut probablement pas être employé (il faut refaire une BDD, recalculer les critères significatifs et reparamétrer l'algo en conséquence). De plus, l'étude n'est pas aussi optimiste que l'article :

the random baseline accuracy is 50%

Pour comparer 2 histoires sur le même sujet:

A random forest using only bag-of-words features achieves 52% accuracy, only slightly outperforming the random baseline. [...] With all features included,
a random forest classifier achieves 69% accuracy.

Pour comparer 2 histoires sur des sujets différents:

Using bag-of-words features alone, the random-forest classifier achieved 55% [...] Using all the features, however, the performance improved to 64%.

Enfin, pour le cas du concours du New Yorker... on ne fait pas dans la dentelle. Je ne suis pas sûr d'avoir tout compris, donc à prendre avec des pincettes, mais apparemment ils se sont amusés à faire un tournoi pour assigner des points (+3 par victoire, +1 par égalité, oui les valeurs sont arbitraires), ou chaque session consiste à dire laquelle des deux histoires gagne en faisant un classificateur qui se base sur l'ensemble de la base de données à part les 2 histoires concernées. Donc déjà on se retrouve avec des scores dont on n'est pas trop sûr à quoi ça correspond, vu que le classificateur est différent à chaque fois et qu'avoir 3 égalités revient au même que gagner 1 fois et perdre 2 fois. En plus on ne fait pas toutes les compétitions possibles, c'est bien un tournoi : on démarre au hasard et ensuite c'est ceux qui ont des scores (cumulatifs j'imagine) similaires qui sont comparés au tour suivant. L'ordre de départ peut donc avoir une influence sur le résultat final, donc dur de dire que ce soit fiable. Enfin, ils se sont octroyés une bonne marge de manoeuvre pour dire que leur approche est utile : pour le concours du New Yorker, seule la meilleure est gardée (top), mais les chercheurs se contente d'ordonner les histoires via leur tournoi et de voir jusqu'où il faut descendre dans leur liste pour retrouver une certaine quantité du top du New Yorker. Si mon compte est bon, ils ont pris 10 cas, avec pour chacun 1 top fournit par le New Yorker et 15 histoires à ordonner (je passe sur les critères restreints de sélection, cf. l'article). Ce qui nous fait un top de 10 histoires et une liste ordonnée de 150 histoires... mais je me trompe sûrement (c'est probablement beaucoup plus d'histoires ordonnées) vu qu'on nous sort des chiffres plus gros en fin d'étude. Et le résultat est qu'on retrouve 50% du top (5) dans les 0-20% du tournoi (30 premiers, mais en fait sûrement plus), plus loin on en retrouve par-ci par-là, avant d'avoir les derniers 20% du top (2) qui se retrouvent parmis les 50-60% du tournoi (75-90e place, mais en fait sûrement plus). Autant dire qu'il faut aller loin pour retrouver nos petits. Même si on se réfère au premier boom, il faut en parcourir un certain nombre pour trouver 5 histoires du top.

Je note aussi des combines assez douteuse, où on nous dit que :

For the sake of the presentation, we remove near-duplicates (for example, many variations on "You should hear the engine purr" received a very similar score).

sauf que :

For example, "The last guy got flushed", from the editor's shortlist, was ranked 248; "They flushed the last guy" was ranked 85.

donc s'il y a des différences aussi monumentales, je doute que retirer les histoires similaires soit une bonne idée.

Enfin, pour en revenir à l'article DVP, quand je lis que "Ils espèrent aussi un jour entrainer des ordinateurs à faire leurs propres blagues sur la base de situations", on sort complètement du cadre, dans le sens où ce qu'on a là est un classificateur, donc étant donné un élément et différents ensembles, on associe le premier aux seconds, et non un producteur, donc étant donné un ensemble, on crée un nouvel élément qui appartiendrait au même ensemble. Enfin bon, c'est la rengaine habituelle : on a une grosse BDD, alors utilisons une technique d'IA dessus pour faire le buzz, de toute façon ça marche toujours raisonnablement (i.e. mieux que du pur random à 50%) si on a une BDD dédiée à une tâche restreinte (si on est en dessous, il suffit d'inverser les critères, donc ça marche aussi), puis après on balance le classique "plus tard on aimerai faire un système qui produit ce qu'on lui demande pour l'instant de reconnaître", ce qui est juste radicalement différent.

[Invité]

Bonjour.


Pour moi enseigner et Intelligence relève de sens divergeant.

Non pas qu'ils soient opposés pour autant.

[Matthieu Vergne]

Tu peux développer ? De préférence en restant dans le sujet (on parle d'humour plutôt que d'intelligence ici).

[Invité]

En fait, j'aurais du écrire, univers en lieu et place de sens.

Mais c'est pas simple à formuler.

Voilà donc un développement...

Je pense que l'intelligence peut naître dans des univers différent mais qu'elle n'est pas implicitement liée à l'apprentissage.

Je reformule. L'apprentissage n'est pas la cause initiale de l'intelligence.

Je dirais même qu'un processus qui apprend d'un enseignement n'est pas une intelligence pure.

[RyzenOC]

Y'a du boulot, quand je vois cortana me sortir ces blagues carambar...

[Matthieu Vergne]

En fait, j'aurais du écrire, univers en lieu et place de sens.

Mais c'est pas simple à formuler.

Voilà donc un développement...

Je pense que l'intelligence peut naître dans des univers différent mais qu'elle n'est pas implicitement liée à l'apprentissage.

Je reformule. L'apprentissage n'est pas la cause initiale de l'intelligence.

Je dirais même qu'un processus qui apprend d'un enseignement n'est pas une intelligence pure.

Tu me sembles partir dans une tentative de définition de l'intelligence, ou quelque chose qui s'en rapproche. Si ça peut te rassurer, il n'y a pas de consensus sur une telle définition, donc que l'exercice soit difficile n'est pas une surprise. En revanche, cela me semble sortir clairement du cadre de ce sujet, qui se focalise sur l'humour et une application concrète d'une technique classique d'IA (et non "d'une IA"). Je ne doute pas que tu trouveras d'autres sujets plus en phase avec tes réflexions (ou sinon d'en ouvrir un dédié).

[Invité]

Justement. C'est rigolo.

[Matthieu Vergne]

Justement, ça dépend pour qui. Et pour moi ça ne l'est pas, donc -1.

[souviron34]

Petite expérience intéressante que j'ai eu il y a maintenant 30 ans..

Francais d'origine, j'habite sur la Cote Ouest du Canada. Là, personne ne comprend mes histoires "drôles".. (beaucoup sont des enfants ou petits enfants de polonais ou hollandais immigrés, mais aussi des québécois et des Canadiens anglophones de plus vieille souche). Mais je travaille avec un Japonais et un Chinois.. Eux les comprennent..

Puis je traverse le continent avec un Anglais d'Angleterre, prof à Vancouver. Au cours du voyage, d'abord on est tous les 2 ecroulés de rire, et il me dit que ça fait un an (depuis qu'il est arrivé à Vancouver) qu'il n'a pas ri comme ça.. (je pensais que c'était parce que j'étais francophone chez des anglophones qu'on comprenait pas mes histoires (il fallait que j'explique les points de suspension)). Puis on manque de se faire casser la gueule au bord du Lac Supérieur dans une pizzeria, parce qu'il a fait une "joke" très britannique, et la serveuse a rien compris, a appelé le patron, qui a voulu nous casser la gueule.. Du coup, toute la nuit en roulant pour faire le tour du lac, on a discuté de l'humour..

A ce moment-là, aux USA, il y avait le David Letterman Show, où tous les soirs le sieur balançait des télés du haut de l'immeuble de son réseau, et ça faisait rire les Américains..

On a conclu de notre nuit que l'humour était très lié à l'âge du pays : la plupart des vieux pays, même si ils n'ont pas les mêmes formes d'humour (l'humour britannique et français sont très différents), se comprennent entre eux (un Russe, un Chinois, un Japonais, un Africain, un Anglais, ou un Français ou un Tchèque rient quand on leur raconte une histoire d'un autre pays). Pour un Américain, on peut rire du Texas ou de l'Alabama, ou de leurs habitants, mais PAS des USA.. Pour un Canadien, qui n'a pas encore conscience d'être dans un pays, on peut se rire du Canada, mais pas de sa province ou région d'origine..

En fait, je pense que d'une part ça montre qu'il y a différentes sortes, mais aussi que nous sommes influencés par l'Histoire, les régimes et promesses des politiciens, depuis des lustres, une philosophie et un fatalisme venant des guerres, invasions, viols, famines, et autres que tous les vieux pays ont subi au cours des siècles..

Et même là, entre un "fatalisme joyeux" des Italiens ou Brésiliens, un "fatalisme râleur" des Français, un "fatalisme noir et désespéré" des Tchèques, ou un "fatalisme fêtard et nostalgique" des Russes, l'histoire et la culture locale ont une importance énorme...


Lorsqu'un ordi sera capable de distinguer ça, et de tirer de ce qu'on lui "enseigne" et "fait vivre" des attitudes, on pourra éventuellement peut-être commencer à penser à dire qu'un ordi peut avoir de l'humour...




(de ce qu'on constatait, vu que les USA avaient 350 ans, ça prend plus que ça ... )