Discussion :

[Bill Fassinou]

IA : des agents intelligents de DeepMind battent le record des humains au Quake III
Un jeu de tir en vue subjective

Il y a quelques jours, des algorithmes d’OpenAI ont coopéré pour battre une équipe constituée de cinq des amateurs les plus forts dans le jeu de stratégie Dota 2. C’était déjà un exploit significatif. Mais l’industrie de l’intelligence artificielle ne compte pas s’en arrêter là. DeepMind, la filiale de Google basée au Royaume-Uni vient de concevoir des algorithmes qui ont prouvé leur capacité à battre des équipes d’humains à Quake III. La méthode utilisée pour former ces algorithmes est celle en passe de devenir la méthode standard dans le domaine. Il s’agit de la méthode de l’apprentissage par renforcement. Elle consiste à faire faire à l’algorithme une quantité colossale d’essais et de le laisser tirer de ses erreurs les conclusions sur ce qu’il faut faire et ce qu’il ne faut pas faire.

Les algorithmes de DeepMind n’ont donc reçu absolument aucune information sur la manière dont ils devraient jouer. Ils se sont juste affrontés entre eux jusqu’à en arriver à développer des stratégies gagnantes. Chaque algorithme a donc été confronté à un clone identique de millions de fois de manière à acquérir l’expérience et la science de la stratégie. DeepMind, pour approfondir l’expérience, a carrément formé une trentaine d’algorithmes dans le but d’obtenir au bout du processus, une large diversité de styles de jeu.

Il faut préciser que les algorithmes de DeepMind n’ont reçu aucune donnée sur le jeu auquel ils allaient être confrontés, contrairement à ceux d’OpenAI. Ils ont appris à jouer en scrutant l’entrée visuelle de l’écran, exactement comme un humain. Les chercheurs ont pris la décision de faire jouer chaque jeu sur une nouvelle carte générée de façon procédurale, de manière à ce que les algorithmes apprennent des stratégies ne pouvant être utilisées que sur une carte chacune. Et, en dépit de ça, les agents intelligents de DeepMind ne se sont pas contentés d’intégrer les règles de base du jeu, ils ont carrément développé des stratégies sensiblement proches de celles qu’un humain pourrait utiliser.

Afin d’évaluer les résultats de leur expérience, les chercheurs de DeepMind ont organisé un tournoi avec des équipes à deux joueurs. Certaines équipes étaient constituées uniquement d’agents intelligents de DeepMind. D’autres étaient constituées uniquement d’humains et d’autres encore étaient des équipes mixtes. À la fin du tournoi, le nombre de victoires des équipes uniquement composées d’agents intelligents était largement au-dessus de la moyenne qu'aurait obtenue un humain. C’est beaucoup plus que le nombre de victoires probable d’un humain moyen et le nombre de victoires probables d’un humain fort.

Il convient cependant de préciser que s’il arrivait que le nombre d'agents dans une équipe soit plus élevé, les résultats s’en trouvaient négativement affectés. L’expérience a été faite avec une équipe de quatre agents intelligents et leur taux de victoire est légèrement moindre qu'une équipe de deux agents. Donc, on peut affirmer sans trop de risques de se tromper que l’intégration des paramètres du travail collectif n’a pas encore pu être complètement effectuée par un agent IA.

Source : DeepMind

Et vous ?

Que pensez-vous de cette nouvelle prouesse de l'IA ?
Cela est-il le début pour enseigner aux algorithmes d'IA, l’intelligence collective grâce à laquelle l’humanité a pu autant prospérer ?

Voir aussi

Cinq algorithmes d'IA font équipe pour écraser des humains au Dota 2, un jeu d'équipe connu pour être extrêmement compliqué

OpenAI d'Elon Musk crée une IA capable de battre des humains sur Dota 2, un jeu vidéo de type arène de bataille en 3D

DeepMind rend Sonnet open source, sa bibliothèque de réseau neuronal orientée objet qui facilite la création de réseaux neuronaux complexes

IA : des chercheurs de Google développent un algorithme capable de créer des scènes 3D à partir d'images bidimensionnelles

[ryvega]

aucun mérite

un fps est probablement le jeu le plus simple pour codé une IA, je veut dire par la qu'un ia fait du oneshot facilement.
Surtout avec le sniper de quake3, aucun chance pour un humain.

Au dela de l'ia il faut définir un protocole sur comment cette IA interagit avec le jeu. car dans les fps on sait comment est gérer le oneshot
dans les RTS on sait pas combien l'ia réalise d'action/minutes

sans ces variables finalement on peut difficilement juger de la puissance de cette IA...sii ce n'est que comme tous bot elle peut faire du oneshot et gagner facilement.
Je veut bien croire que l'ia a mis en place des stratégie pour se déplacer ce qui est bien d'un point de vue technique, mais la victoire contre des humains n'a aucune valeur avec une ia qui fait du oneshot.


j'en viens a ma question ultime, par rapport aux bots de quake3 régler en mode nightmare de quake3, qui gagne l'ia de google ou l'ia codé il y'a 15ans ?
le résultat pourrais être intéressant... ce serait marrant qu'en 15ans, un simple bot qui dois consommer 50mo de ram soit meilleur qu'une ia de google alimenter par de gros datacenter
ce qui prouverais encore une fois qu'en informatique il faut pas utiliser un bulldozer si une pelle suffit

[epimannn]

aucun mérite

Je crois que tu n'as pas compris l'implication de la chose...

Quake 3 peut être vu comme un simulateur de combat de guerre.

Si, on ajoute que récemment google a annuler sa contribution au département de la recherche de l'armée US, que l'article fait mention d'une reconnaissance d'image pour jouer, et pas uniquement un format de donnée de l'environnement que l'IA peut comprendre facilement, que les cartes son générées de manière aléatoire...

En gros, google a déjà des IA capables de tuer sur un champ de bataille, peu importe l'environnement et le terrain, pour peu qu'ils la mettent dans un robot armé.

Donc dire "aucun mérite", c'est idiot et dangereux dans ce cas.

Cette news est préoccupante quand liée aux autres !

[Humito]

par rapport aux bots de quake3 régler en mode nightmare de quake3, qui gagne l'ia de google ou l'ia codé il y'a 15ans ?

Logiquement l'IA de Google, puisque l'IA en mode nightmare est relativement facile à battre par un humain qui s'est un peu entrainé, alors que l'IA de google bat assez largement les humains.

[ryvega]

Je crois que tu n'as pas compris l'implication de la chose...

Quake 3 peut être vu comme un simulateur de combat de guerre.

Si, on ajoute que récemment google a annuler sa contribution au département de la recherche de l'armée US, que l'article fait mention d'une reconnaissance d'image pour jouer, et pas uniquement un format de donnée de l'environnement que l'IA peut comprendre facilement, que les cartes son générées de manière aléatoire...

En gros, google a déjà des IA capables de tuer sur un champ de bataille, peu importe l'environnement et le terrain, pour peu qu'ils la mettent dans un robot armé.

Donc dire "aucun mérite", c'est idiot et dangereux dans ce cas.

Cette news est préoccupante quand liée aux autres !

on a pas attendue l'ia de Google pour faire des drones terrestre de combat.
L'armée russe en déploie en ce moment même en Syrie et c'est l'armée russe en profite comme un excellent entrainement, d’ailleurs les USA sont assez inquiet de l'avance russe dans ce domaine...

moi ce qui m'inquite surtout c'est l'inaction de l’Europe, on devrait déjà avoir une mini armée de robot prototype pour répondre à cette menace. Pendant la guerre froide on a pas attendue 1991 pour que DeGaulle lance le plan calcul et développe l'arme atomique pour se proteger des russes et des américians.

[codec_abc]

Les vidéos ne ressemblent absolument pas à Q3. Pas de stafe/circle/rocket jumping. Une map toute plate et labyrinthique qui est clairement à l'opposé des maps traditionnels. J'ai l'impression qu'ils ont énormément modifié le jeu pour arriver à un cas de figure ou leur programme arrive à battre des humains.

Aussi, ils ont l'air de joué en instagib, donc forcément c'est plus simple pour les bots (une seule arme hitscan). En plus, pas de power up à géré non plus (armor, health, quad damage..). Et au vu des mouvements de caméra des agents on est loin d'un équivalent humain car c'est hyper saccadé.

Au final, ils ont réussi à faire des bots intelligents dans la mesure ou ils ont découvert automatiquement quelques stratégies. Mais la phrase

our agents have achieved human-level performance in Quake III Arena Capture the Flag

c'est juste du flan. Leur bots se font probablement complètement défoncé en CTF traditionnel.

Moi ça me gène vraiment ce genre de "papier" ou l'accroche promet tellement plus que le résultat final. Si leur bots possèdent un minimum d'intelligence alors ils devraient découvrir et mettre au point les techniques de déplacement typique de Q3 (stafe/circle/rocket jumping) ce qui ne semble pas être le cas ou du moins être capable d’identifier la technique et de la reproduire quand elle est exécuté par un jouer humain. Donc leur intelligence est toute relative et venir frimer que l'on arrive à battre des joueurs humains alors que l'on a jeté 80% du jeu à la poubelle c'est nous prendre pour des cons.

[onilink_]

aucun mérite

un fps est probablement le jeu le plus simple pour codé une IA, je veut dire par la qu'un ia fait du oneshot facilement.
Surtout avec le sniper de quake3, aucun chance pour un humain.

Au dela de l'ia il faut définir un protocole sur comment cette IA interagit avec le jeu. car dans les fps on sait comment est gérer le oneshot
dans les RTS on sait pas combien l'ia réalise d'action/minutes

sans ces variables finalement on peut difficilement juger de la puissance de cette IA...sii ce n'est que comme tous bot elle peut faire du oneshot et gagner facilement.
Je veut bien croire que l'ia a mis en place des stratégie pour se déplacer ce qui est bien d'un point de vue technique, mais la victoire contre des humains n'a aucune valeur avec une ia qui fait du oneshot.


j'en viens a ma question ultime, par rapport aux bots de quake3 régler en mode nightmare de quake3, qui gagne l'ia de google ou l'ia codé il y'a 15ans ?
le résultat pourrais être intéressant... ce serait marrant qu'en 15ans, un simple bot qui dois consommer 50mo de ram soit meilleur qu'une ia de google alimenter par de gros datacenter
ce qui prouverais encore une fois qu'en informatique il faut pas utiliser un bulldozer si une pelle suffit

Tu n'as rien compris a l’intérêt de la chose, ni du type d'IA dont on parle.
L'IA crée par deepmind n'a accès à aucune donnée du jeu autre que l'écran, comme un joueur normal, et réussi à évoluer sans qu'on ai justement a définir son comportement. Elle apprend toute seule, c'est l’intérêt recherché dans l'intelligence artificielle.
Les bots dont tu parles sont écrits a la main, et ont accès a toutes les structures de données du jeu, ce n'est juste pas comparable.

L'avantage de ce genre d'IA c'est que:
- tu peux l'adapter a différents jeux, voir même types de jeux, pas forcement des FPS
- tu peux l'intégrer dans un robot, dans le monde réel, qui n'a accès qu'a l'environnement qui l'entoure via une camera et quelques autres capteurs

[onilink_]

Au final, ils ont réussi à faire des bots intelligents dans la mesure ou ils ont découvert automatiquement quelques stratégies. Mais la phrase c'est juste du flan. Leur bots se font probablement complètement défoncé en CTF traditionnel.

Moi ça me gène vraiment ce genre de "papier" ou l'accroche promet tellement plus que le résultat final. Si leur bots possèdent un minimum d'intelligence alors ils devraient découvrir et mettre au point les techniques de déplacement typique de Q3 (stafe/circle/rocket jumping) ce qui ne semble pas être le cas ou du moins être capable d’identifier la technique et de la reproduire quand elle est exécuté par un jouer humain. Donc leur intelligence est toute relative et venir frimer que l'on arrive à battre des joueurs humains alors que l'on a jeté 80% du jeu à la poubelle c'est nous prendre pour des cons.

Oui, il y a un peu de mauvaise foi comme pour l'IA Dota 2. Mais bon, ils peuvent se le permettre je pense, l'important c'est la méthode d'apprentissage, ça évolue énormément, et je pense que ce n'est qu'une petite question de temps avant que cela fonctionne parfaitement sans ajouter de contraintes.

Je sais pas si vous vous rendez compte, mais un type d'IA capable d'apprendre avec pour seule base l'image d'output d'un jeu, y a encore quelques années c'était a la limite de la science fiction.
Faut pas trop cracher dans la soupe non plus.

[codec_abc]

Oui, il y a un peu de mauvaise foi comme pour l'IA Dota 2. Mais bon, ils peuvent se le permettre je pense, l'important c'est la méthode d'apprentissage, ça évolue énormément, et je pense que ce n'est qu'une petite question de temps avant que cela fonctionne parfaitement sans ajouter de contraintes.

Je sais pas si vous vous rendez compte, mais un type d'IA capable d'apprendre avec pour seule base l'image d'output d'un jeu, y a encore quelques années c'était a la limite de la science fiction.
Faut pas trop cracher dans la soupe non plus.

Je ne gagne pas ma vie avec de l'IA donc je ne crache pas dans la soupe. Et avoir une vraie IA (qui gagnerait face aux meilleurs joueurs grâce à sa science de jeu et non pas grâce à une visée ou des réflexes hors normes) pour un jeu à la Q3 c'est pas demain qu'on l'aura. L'IA c'est un peu comme la blockchain en moins pire. C'est hype mais au final ce n'est pas la révolution que l'on veut nous faire croire. D'ailleurs le terme "IA" me choque, c'est plus de la statistique que de l'intelligence. Une vrai IA serait capable d'apprendre de ses adversaires, de s'adapter et de se remettre en question en moins d'une partie. Je suis certain que toutes les IA actuelles manquent ces capacités qui sont quand même la base d'un processus cognitif et donc d'intelligence. L'IA d'aujourd'hui n'a rien de révolutionnaire. Le fait qu'il y a quelques années on considérait ça de la science-fiction était avant tout car le matériel d'époque ne le permettait pas.

[onilink_]

Rien de révolutionnaire?
Je ne sais pas si c'est un manque d’intérêt dans le domaine qui te fais dire ça, mais il y a clairement eu un pre et un "post" deep learning.
La puissance a toujours joué un rôle majeur dans l'IA, et oui IA est un terme qui peut sembler étrange, mais ce n'est pas comme si l'intelligence était une notion parfaitement définie.
Le deep learning nous montre justement que ce que l'on croyait être propre a l'intelligence humaine ne l'est en fait pas:
- alpha go et ses successeurs imbattables au go, un des challenges de l'IA moderne
- la reconnaissance d'image
- la modification d'image (transfert de style)
- la generation d'images a partir d'exemples

Contrairement a ce que l'on pourrait penser, les perceptrons multicouches sont connus depuis un moment (années 70 je crois), mais la révolution a été les réseaux de neurones à convolution et leur méthode d'apprentissage, qui eux sont très récents.
Ça a fait exploser le domaine de la vision par ordinateur, chose qui était la plus inaccessible jusque la, et ça continue d'évoluer encore et toujours, sans avoir besoin de matos toujours plus puissant puisque c'est au niveau structurel/algorithmique qu'on s'améliore avant tout.
Ce n'est pas du tout qu'une histoire de puissance.

On a pas encore d'IA totalement généraliste, mais le fait de pouvoir faire des IA capables de telles prouesses dans des domaines particulier est je trouve tout bonnement bluffant.
Je pense que c'est vraiment la première étape, et qu'on est en train de la franchir.

D'ailleurs le terme "IA" me choque, c'est plus de la statistique que de l'intelligence. Une vrai IA serait capable d'apprendre de ses adversaires, de s'adapter et de se remettre en question en moins d'une partie.

Pour la partie comparative a de la statistique, je ne suis pas du tout d'accord. On parle de traitement d'informations avec des milliers de dimensions, sans avoir besoin forcément de tant de données que ça (comparé au nombre de dimensions). Un truc bêtement statistique serait juste inutilisable (et ça existe d'ailleurs, mais ça n'est pas utilisé pour cette raison).

Une vrai IA serait capable d'apprendre de ses adversaires, de s'adapter et de se remettre en question en moins d'une partie.

Donc pour toi une vrai IA est totalement généraliste quelque soit le domaine. Sauf que le terme actuel pour l'IA définis plus la capacité d’exécuter une tache de manière très efficace tout en pouvant s'adapter a des situations (dans le même domaine) inconnues (donc généraliste mais dans un seul domaine). Et pour cela ça fonctionne très bien.

Je suis certain que toutes les IA actuelles manquent ces capacités qui sont quand même la base d'un processus cognitif et donc d'intelligence.

Je ne suis pas expert dans le domaine, mais je pense que notre intelligence est composé de très nombreux modules, ayant chacun une tâche bien précise (en tout cas cela fonctionne comme ça au niveau du cerveau).
En IA, on arrive a créer des modules du même genre, mais on a encore jamais réussi a faire un assemblage parfait pour avoir une IA "forte" (car au final c'est de ça que tu parles).

Mais avant de pouvoir faire cet assemblage, il faut quand même les morceaux. Et c'est la qu'est la révolution, les morceaux on les a enfin, et c'était impensable il y a peu de temps d'avoir un ordinateur capable de comprendre une image, d'avoir une notion de contexte, d'apprendre aussi bien juste à partir de données.


Pour te donner une idée vague de ce que l'on est capable de faire en IA de nos jours, tu as cette chaîne qui est très intéressante: https://www.youtube.com/user/keeroyz/videos

Et quelques vidéos que j'aime beaucoup (je poste dans du code car on peut pas mettre de lien URL sans avoir une preview de la vidéo):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
Agrandissement d'image avec ajout de détails:
https://youtu.be/WovbLx8C0yA
Une version différente (méthode plus vielle et moins efficace) existe en ligne, tout bonnement bluffant: https://letsenhance.io/
 
Une méthode qui permet a une IA de s’entraîner d'après ses propres souvenirs (un peu comme de l'apprentissage dans un rêve):
https://youtu.be/gvjCu7zszbQ
 
Transfert de style ultra rapide qui utilise un auto encodeur:
https://youtu.be/v1oWke0Qf1E
 
Suppression de bruit dans une image pré-calculée a coup de lancer de rayon (permet de ne lancer que très peu de rayons pour avoir un résultat nickel):
https://youtu.be/YjjTPV2pXY0

Bref, ce n'est pas peu dire que les IA d'aujourd'hui comprennent vraiment la notion d'image, de contexte, et sont capable de généraliser très efficacement dans une domaine particulier.
D'ailleurs une belle évolution qui montre que tout ne dépend pas que de la puissance, c'est AlphaGo Zero, qui est une amélioration de l'algorithme d'alpha go:
- il n'a plus besoin d'avoir accès a des données de parties d'humains pour apprendre
- il a besoin de beaucoup moins de puissance
- il est beaucoup plus puissant qu'alpha go (il bat AlphaGo Master a plate couture)

On est plus si loin des IA "intelligentes" comme tu dit :p

[codec_abc]

Rien de révolutionnaire?


Pour la partie comparative a de la statistique, je ne suis pas du tout d'accord. On parle de traitement d'informations avec des milliers de dimensions, sans avoir besoin forcément de tant de données que ça (comparé au nombre de dimensions). Un truc bêtement statistique serait juste inutilisable (et ça existe d'ailleurs, mais ça n'est pas utilisé pour cette raison).

Pas tant de données que ça ? Les agents ont fait entre 75 000 et 150 000 parties pour vaguement apprendre à jouer à Quake (sur une version ultra-simplifié), soit plus que tout ce qu'un humain fera dans sa vie.

Donc pour toi une vrai IA est totalement généraliste quelque soit le domaine. Sauf que le terme actuel pour l'IA définis plus la capacité d’exécuter une tache de manière très efficace tout en pouvant s'adapter a des situations (dans le même domaine) inconnues (donc généraliste mais dans un seul domaine). Et pour cela ça fonctionne très bien.

Non pour moi une IA n'est pas généraliste. Mais la pour le cas qui nous intéresse si je joue contre cet IA et que le lui met ça fessé parce que je maitrise des techniques qu'elle ne connait pas alors une preuve d'intelligence serait de changé complètement de stratégie quand elle se rend compte que sa stratégie ne marche pas. Je doute vraiment que celle la le fasse.

Bref, ce n'est pas peu dire que les IA d'aujourd'hui comprennent vraiment la notion d'image, de contexte, et sont capable de généraliser très efficacement dans une domaine particulier.
D'ailleurs une belle évolution qui montre que tout ne dépend pas que de la puissance, c'est AlphaGo Zero, qui est une amélioration de l'algorithme d'alpha go:
- il n'a plus besoin d'avoir accès a des données de parties d'humains pour apprendre
- il a besoin de beaucoup moins de puissance
- il est beaucoup plus puissant qu'alpha go (il bat AlphaGo Master a plate couture)

On est plus si loin des IA "intelligentes" comme tu dit :p

Tu peux regarder ca pour te rendre compte que les IAs ont un niveau de compréhension assez faible des données quelques, qui n'arrive probablement pas au niveau d'un enfant de 6 ans, même si elles arrivent à donner souvent une bonne réponse.

Bref, on est loin de skynet, et bien que certains cas d'usages sont sympa (quand pas critique) les limites du systèmes sont souvent assez vite apparentes (comme l'IA de Uber qui a tué le piéton parce qu'elle la classifié 3 fois différent en l'espace de quelques secondes).

[onilink_]

Pas tant de données que ça ? Les agents ont fait entre 75 000 et 150 000 parties pour vaguement apprendre à jouer à Quake (sur une version ultra-simplifié), soit plus que tout ce qu'un humain fera dans sa vie.

Sauf qu'un humain a un bagage évolutif derrière lui + tout le bagage de sa vie.
Quand je parle de données, c'est des données a fournir a l'IA, avec des tags etc, ici, c'est procédural, l'IA joue contre elle même, il y a vraiment peu de choses a faire et c'est tout l'avantage.

Non pour moi une IA n'est pas généraliste. Mais la pour le cas qui nous intéresse si je joue contre cet IA et que le lui met ça fessé parce que je maitrise des techniques qu'elle ne connait pas alors une preuve d'intelligence serait de changé complètement de stratégie quand elle se rend compte que sa stratégie ne marche pas. Je doute vraiment que celle la le fasse.

Alpha go le fait, ainsi que de nombreuses IA de jeux complexes. Après est ce qu'il y a une vrai stratégie derrière? Probablement non, c'est une optimisation de l'algorithme quand il a testé toutes les combinaisons intéressantes.

Tu peux regarder ca pour te rendre compte que les IAs ont un niveau de compréhension assez faible des données quelques, qui n'arrive probablement pas au niveau d'un enfant de 6 ans, même si elles arrivent à donner souvent une bonne réponse.

Il y a même pire, il existe des attaques ou la modification d'un seul pixel permet de faire voir a une IA presque ce que l'on veut. Mais ça évolue, il existe de plus en plus de techniques et de parades (je me souviens plus le nom mais un système met en compétition plusieurs réseaux de neurones différents pour améliorer les résultats).

Bref, on est loin de skynet, et bien que certains cas d'usages sont sympa (quand pas critique) les limites du systèmes sont souvent assez vite apparentes (comme l'IA de Uber qui a tué le piéton parce qu'elle la classifié 3 fois différent en l'espace de quelques secondes).

Ah ben, personne n'a dit que les IA d'aujourd'hui étaient proche de la conscience humaine ou réellement "intelligentes" selon le point de vue simplifié que l'on a de l'intelligence.
Mais ça marche quand même très bien dans la majorité des applications, même dans les voitures autonomes malgré les bourdes (puis je ne connais pas le niveau de fiabilité de l'IA d'Uber comparé a d'autres dans le secteur).


Personnellement je suis très impressionné des progressions dans le domaine. Chaque jour y a un nouveau "paper" qui tombe avec de nouvelles méthodes, ça va vraiment très vite.
Si c'est vendu en tant que révolution, je pense aussi que c'est parce que tous les acteurs du domaine sont sur d'eux quand a la possibilité de régler tout ces problèmes, vu ce que l'on arrive déjà a faire d'une année a l'autre...