Discussion :

[Michael Guilloux]

Elon Musk appelle les Nations Unies à bannir les robots tueurs dans une lettre ouverte
signée par 116 spécialistes de l’IA et la robotique

Le patron de Tesla Elon Musk a plusieurs fois mis en garde contre les dangers de l’intelligence artificielle. Le milliardaire de la tech estime que les armes nucléaires sont potentiellement moins dangereuses que l’IA et à certaines occasions, il n’a pas manqué non plus de dire que l’intelligence artificielle pose « beaucoup plus de risques » que le régime de Kim Jong Un. L’une de ses dernières interventions sur les dangers de l’IA a eu lieu en juillet dernier lors du National Governors Association Summer Meeting, une conférence des gouverneurs américains. À cette occasion, Elon Musk a encore qualifié l’IA comme un risque fondamental pour l'existence de la civilisation humaine, en expliquant par la suite que son désir de coloniser Mars était en partie un plan de secours au cas où l’IA parvient à prendre le dessus sur l’Homme sur Terre.

Lors d’une récente conférence sur l'intelligence artificielle à Melbourne, Elon Musk s’est encore attaqué à l’IA et la robotique, notamment aux armes autonomes. Il faut en effet noter qu’aujourd’hui, plus d'une dizaine de pays – y compris les États-Unis, la Chine, Israël, la Corée du Sud, la Russie et la Grande-Bretagne – développent actuellement des systèmes d'armes autonomes, selon un rapport de Human Rights Watch. Face à cette menace mondiale, Elon Musk et Mustafa Suleyman de Google, à la tête d’un groupe de 116 spécialistes de l’IA et la robotique, ont appelé les Nations Unies à interdire les armes autonomes, à travers une lettre ouverte.

Dans la lettre ouverte, Elon Musk et son groupe reconnaissent leur rôle indirect dans le développement d’armes autonomes en tant qu’entreprises qui développent des technologies de l’IA et de la robotique. Ces technologies « peuvent être réorientées pour développer des armes autonomes [et] nous nous sentons particulièrement responsables de lancer cette alerte », disent-ils.

La Conférence des Nations Unies sur la Convention sur certaines armes classiques (CCW) a décidé de mettre en place un groupe d'experts gouvernementaux (GGE) sur les systèmes d'armes autonomes létales ; une initiative qui est d’ailleurs saluée par ces spécialistes de l’IA et la robotique. Mais « beaucoup de nos chercheurs et ingénieurs souhaitent donner des conseils techniques dans vos délibérations », disent-ils dans la lettre ouverte adressée aux Nations Unies et qui arrive avant une réunion des experts gouvernementaux sur les armes autonomes.

« Les armes autonomes létales menacent de devenir la troisième révolution dans la guerre. Une fois développées, elles vont propulser les conflits armés à une échelle plus grande que jamais, et à des échelles de temps plus rapides que les humains puissent comprendre. Celles-ci peuvent être des armes de terreur, des armes que les despotes et les terroristes utilisent contre des populations innocentes et des armes détournées pour se comporter de manière indésirable. Nous n'avons pas assez de temps pour agir », ont-ils averti. « Une fois que cette boîte de Pandore est ouverte, il sera difficile de la fermer. »

« Contrairement à d'autres manifestations potentielles de l'IA, qui restent dans le domaine de la science-fiction, les systèmes d'armes autonomes sont à la pointe du développement en ce moment et ont un potentiel très réel pour causer des dommages importants aux personnes innocentes et une instabilité mondiale », a ajouté Ryan Gariepy, le fondateur de Clearpath Robotics et la première personne à signer la lettre.

Dans la lettre, ils demandent donc « aux Hautes Parties contractantes qui participent au GGE d'empêcher une course aux [armes autonomes létales] » et de « trouver un moyen de protéger les civils de leur mauvaise utilisation et éviter les effets déstabilisants de ces technologies » ; ce qui devrait être possible s’ils associent les experts de l’IA et la robotique dans leurs prises de décision.

Sources : CNN, The Guardian, Lettre ouverte

Et vous ?

Que pensez-vous de cette lettre ouverte ?

Voir aussi :

Elon Musk considère l'IA comme un risque fondamental pour l'existence de la civilisation humaine et sa colonisation de Mars comme un plan de secours
Robots militaires : les États-Unis testent l'efficacité de leurs prototypes dans le Pacifique, l'armée irakienne présente son robot mitrailleur

[Grimly]

C'est le moment d'investir dans un EMP ou de préparer à faire sauter des bombes atomiques dans la stratosphère (qui pourrait croire qu'une bombe atomique pourrait sauver l'humanité un jour)

[hotcryx]

Il va falloir redéfinir c'est quoi un robot tueur.

Dans leurs navires de guerres, leurs avions de combat n'ont-t'ils pas des tourelles, canons qui recherchent, ciblent et tirent automatiquement...?

[hunyka]

Autonomes mais dans quel sens. Comme le souligne hotcryx, il y déjà des technologies de tire automatique, donc si nous parlons de IA puis de robotique et d'arme autonomes, ces armes seront autonomes dans quoi exactement les décisions ? Cela peut-être rassurant afin d'éviter une bavure ( c'est déjà arrivé que l'armé abatte l'un des leurs, suite à une erreur), d'un autre coté l'IA est encore loin d'avoir une compréhension des choses, des événements alors avoir une parfaite maîtrise des soucis geopolitique de notre monde afin d'être autonome dans la protection d'un pays, la bavure existe toute autant voir peut-être plus.

Il peut y avoir des lettres ouvertes, des traités, malgré toute la prudence que certain spécialiste avance, il y a un moment où nous y arriverons ou il y aura des robots intelligent partout. Chaque évolution positive soit t-elle, amène ses évolutions négative. En tout cas une chose est sûr je suis née 100-200 ans trop tôt.

[MikeRowSoft]

Que pensez-vous de cette lettre ouverte?

Cela s'apparente à une acte de noblesse. Bien sur historiquement cela n'est pas vraiment quelque chose de charitable.

P.S. : À chaque monument commémoratif du mal son monument commémoratif du bien ? C'est trop tard on dirait...

[Saverok]

Autonomes mais dans quel sens.

Pour ce que j'ai lu pour le moment, il s'agit de drones qui non seulement volent en autonomie sur un territoire donné mais sont capable d'identifier une cible (un responsable de daech, par exemple) et de "décider" automatiquement de lancer une attaque pour éliminer ladite cible.

Du coup, l'humain n'intervient que pour désigner la cible et le secteur de recherche.
Le drone se chargeant ensuite de faire le reste.

Le méga hic, en dehors des robots-tueurs, est que ces drones ne sont pas d'une précision de sniper.
Ils sont armés de missiles capables de raser un immeuble et que le qualificatif de dommage collatéral acceptable et particulièrement difficile à définir au sein de l'IA...
Que va "décider" l'IA lorsque la cible est entourée d'enfants ou se trouve à proximité d'un hôpital ?

[joublie]

C'est le moment d'investir dans un EMP ou de préparer à faire sauter des bombes atomiques dans la stratosphère (qui pourrait croire qu'une bombe atomique pourrait sauver l'humanité un jour)

C'est amusant, j'y pensais à cette idée-là il y a quelques jours. Le problème est qu'une bombe atomique à très puissante impulsion électromagnétique renverrait - pour ainsi dire - au Moyen-Age le pays au-dessus duquel elle exploserait...

Imaginons que les centraux de télécommunications, les centrales électriques, les usines, les automobiles récentes, les camions et les trains, ainsi qu'à peu près tout ce qui comporte de l'électronique soit fortement endommagé par la bombe : il serait impossible de faire redémarrer rapidement ces équipements, les dégâts seraient beaucoup trop nombreux. En pratique, la famine arriverait en quelques jours, la pénurie d'eau potable aussi. L'armée US a fait un rapport à ce sujet : les conséquences seraient beaucoup plus létales qu'une bombe explosant au-dessus d'une métropole comme New-York ou Los Angeles.

Passer par l'ONU est peut-être une manière rusée d'échapper aux groupes de pression industriels très influents, mais suffira-t-elle ? De toute façon, les Etats-Unis font ce que bon leur semble, et s'ils refusent de signer, quid des Russes ou des Chinois ?

A mon sens, il devrait toujours y avoir un être humain pour valider par son propre jugement l'emploi d'une arme partiellement automatisée, c'est-à-dire quelqu'un capable d'évaluer in situ et a priori les conséquences de l'utilisation de l'arme. Il ne s'agit pas seulement de circonscrire le potentiel de destruction des armes (limiter les " dégâts collatéraux ", comme dirait l'autre), mais bel et bien d'éviter que des machines intelligentes retournent leurs armes contre des humains. A ce jour il n'y a pas de risque, mais dans quelques décennies, qui sait ?

[hotcryx]

Regardez cette vidéo: balles intelligentes...

[koyosama]

Si je comprends bien la lettre ouverte. Ce n'est pas les robots tueurs qui sont mis en compte mais des armes avec des calculs si rapides, si puissantes qu'aucun humain ne puisse vraiment comprendre ou l’arrêter.

Pour être franc, je suis d'accord. Prenons l'exemple de Iron Man, si Stark avait vendu et industrialisé son arme alors je peux dire qu'on serait dans une ère un peu où les seigneurs de guerres seraient partout.
Prenons un exemple concret pour expliquer mon exemple débile, et l'arme parfaite serait le AK-47 ou Kalachnikov. Cette arme se vend comme un petit pain dans tous les pays en guerre ou tous les pays qu'ils veulent faire la guerre.

Ici je vois les gens citent les armes automatiques sur les bateaux de guerre, etc. Trump avait déclaré par exemple que l'arsenal nucléaire utilisait encore des disquettes. Est-ce que vous voyez où je veux en venir ? Les armes actuelles coûtent la peau du cul, prennent du temps à construire. C'est pour ça qu'elles ne représentent pas un danger. Le mistral a mis entre un et deux ans avant de le livrer à la Russie. Le drone américain a coûté des milliards au contribuable américain. Et ces armes sont aujourd'hui difficile à industrialiser facilement.

Il n'y pas eu de troisième guerre mondiale grâce a la bombe atomique, c'est pour cela qu'on a jamais fait de conflit direct pendant la guerre froide. Si la bombe nucléaire n'avaient pas existé, on serait encore en guerre. Parce que l'humain est incapable de s'entendre et encore moins de vouloir une bonne société et surtout de la partager.

Où est le problème alors ?
Simplement imaginez si on peut construire des armes de plus en plus petites, moins chères et moins difficiles à fabriquer. Alors là on est vraiment dans la merde.

On a des conventions pour les prisonniers de guerre (la convention de Genève), pourquoi on aurait pas une limite pour la création automatique des armes de guerre. J'ai même vu qu'on a une convention pour ne pas installer de base militaire ou armement sur la Lune.

Conséquence Attendue
Les conséquences de genre de d'actes est plus important qu'on ne le croit. Un des proches de Trump a dit récemment: "on a perdu, la Corée du Nord a gagné. C'est fini".
La Corée du Nord peut maintenant désintégrer son voisin (japon, Chine, Corée du Sud) si cela l'enchante, on parle de millions de gens. Cela veut dire quoi, la Corée du Nord restera pour un bout de temps une dictature.
Donc on pourrait se trouver dans une situation où le peuple ne sera pas capable de renverser un pouvoir.

Si vous comprenez pas trop le phénomène simplement, pensez à la planète des singes ou encore Walking Dead. Donnez naissance a une entité ou organisme capable d'autonomie et avec un risque de propagation mondiale en quelques jours. Le ransomware "WannaCry" est le parfaite exemple.

Votre prochaine menace ne viendra peut-être même pas d’où vous croyez :

• Votre enfant peut devenir un anonymous ou autre type de hacker et se prendre pour "Mr Robot";
• Des activistes russes qui veut que défendre la Russie;
• Des hackers de ISIS;
• Des banquiers qui ont hacker le mauvais système pour implémenter des mines de bitcoin;
• Une mauvaise ligne de code;
• ...

L'ordinateur quantique par exemple peut cracker n'importe quel mot type de communication, quand je dis n'importe lequel, c'est n'importe lequel. Après tout un chiffrage c'est juste une communication cachée. Mais l'ordinateur quantique sera capable de déchiffrer toutes les formes de communication possible. Je me rappelle encore d'alphago qui gagne tout le temps, c'est plus marrant car il se trompe jamais.

Plus on va trop loin dans la recherche sans limite, plus on peut arriver à des choses absurdes et dévastatrices.

[_Alain_]

L'oracle de la Silicon Valley Silly Valley pourrait peut-être d'abord s'intéresser à ce "petit" problème.

[10_GOTO_10]

Et si on interdisait tout simplement de tuer ou de blesser pendant les guerres ? Ça éviterait le "risque fondamental pour l'existence de la civilisation humaine", non ?

[_Alain_]

Il y a déjà la première loi (de bon sens *) de la robotique, formulée par Isaac Asimov:

Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.

Avant d'appliquer cette loi aux robots, "peut-être" pourrions nous commencer par l'appliquer à nous-même?

Fais ce que je dis pas ce que je fais
Fais ce que je dis pas ce que je fais
Fais ce que je dis
Si tu fais comme moi, tu es fou
Tu es fou

Ou l'espèce "humaine" est-elle elle-même désespérément et irrémédiablement buggée?

* pas besoin de poly-tiques et bureauc-rats pour cela.

[AoCannaille]

Il y a déjà la première loi (de bon sens *) de la robotique, formulée par Isaac Asimov:

Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.

On cites souvent les lois d'Asimov comme un standard à atteindre alors que le contenu même de ses romans est de montrer qu'elles ne fonctionnent pas.
La conclusion étant que L'être Humain s'expose seul au danger, et que pour éviter ça, il faut supprimer le libre arbitre humain.

Concernant les armes "automatiques" actuelles, il y a beaucoup de fanstasme dans ce que je lis. c'est interdit par les conventions de genèves le tir automatique. Aujourd'hui les systèmes repèrent, traquent, asservissent les canons sur les cibles, mais il y a bien un humain au bout qui dit "vas-y, tire". Et cette action là, de manière éthique, n'est pas encore supprimée. (du moins de ce que j'ai vu dans mes missions dans le domaine militaire).

[gaspar.koenig]

Et dire que les armes électromagnétiques sont dans la catégorie des armes non-létales.... HéHéHééééééé
(en plus de ne laisser quasiement aucune trace... HéHéHéééé)

[mchurlet]

L'intelligence est la force de l'humanité et sa bêtise se trouve dans les choix de son application.

[omegalabab]

Bonjour,
Je pense qu'une I.A. doit être conçue pour être un partenaire de l'homme,
en offrant surtout une complémentarité en terme de rapidité de recherche d'une information.

Bien sûr, une autonomie est souhaitée pour des robots envoyés en mission spatiale lointaine,
ou chargés d'extraire des minerais ou de construire des dômes pour accueillir des cosmonautes humains.

Par contre, construire un robot pour jouer au ping-pong est une perte de temps.

Pouvez-vous tester cette I.A.? http://www.specialistes.be

C'est du 100% fait maison, mais cela donne déjà l'impression de raisonner.
Il y a encore beaucoup de travail, relatif au fait de retenir les posts précédents le premier,
afin d'orienter le processus de raisonnement.
Bien à vous tous.
Omeg

[Saverok]

Par contre, construire un robot pour jouer au ping-pong est une perte de temps.

Avant de savoir courir, il faut savoir marcher.
Avant de savoir marcher, il faut savoir se tenir débout.
etc.

Construire un robot avec une IA pour jouer au ping pong n'est pas du tout un fin en soi mais un exercice aux contours finis qui permet de progresser et de se donner un objectif simple à évaluer.

Avant de s'attaquer au GO, on a fait des IA pour les échecs.
De même qu'avant les échecs, on a sans doute fait les dames et d'autres jeux aussi simple.
Et cela n'a pas du tout été inutile car cela a permis d'apprendre plein de choses.

Quand tu débutes en alpinisme, vas-tu tenter en premier l'Everest ou vas-tu débuter par des cols plus raisonnable ?

[omegalabab]

Avant de savoir courir, il faut savoir marcher.
Avant de savoir marcher, il faut savoir se tenir débout.

Je suis d'accord avec cette stratégie.

Mais je crois que les GAFAM prennent tous le problème par le mauvais sens:
Ils commencent par les détails (synthèse vocale, traitement des images et du son, servo-moteurs miniatures etc...)
en laissant à plus tard de donner une esprit vraiment logique à une I.A.
N'oublions pas l'échec retentissant d'une I.A. de Microsoft, devenue raciste après quelques semaines.
(Pas terrible, le "Deep Learning"...)

On peut les comprendre, les GAFAM sont forts en technique, et ils ont de gros moyens.

En un sens, cela m'arrange, ils résolvent ce qui me manque, et parfois le code-source est gratos.

Mais leurs bots pédalent dans la choucroute quand on poste quelque chose du genre:
"Quel est le plus gros: Une poule ou un poussin?"
Il y a un visiteur chez Conrad qui a posté: "Combien de tentacules a une pieuvre?" - Waow!
C'était imprévu, mais je vois comment résoudre ce genre de questions
pou tous genres de bestioles.

Je constate quand même, qu'un petit cheval, quelques minutes après sa naissance,
sait déjà tenir sur ses 4 pattes, et où têter le lait de sa mère. => C'est l'instinct.

Je conçois donc une Intelligence artificielle comme un partenaire de l'homme,
et disposant d'un minimum de logique basé sur des données classifiées intelligemment dans mysql.
A moins un minimum de données.
=> Ce serait aussi quelque chose d'instinctif.

Après, il y a moyen de construire ce qu'on veut par dessus,
puis laisser à l'I.A. prendre des initiatives sur sa programmation..

Bon, ma démarche n'est pas de montrer que je suis plus malin que les autres.
Disons que le résultat peut être rapidement lucratif pour remplacer les FAQ chez les sites des banques et des assurances
par quelque chose d'un peu plus interactif si pas ludique.

Il y a une boîte lancée par quelques jeunes qui a levé un capital important pour ça,
mais je crois qu'ils vont vite arriver à un cul-de-sac, et décevoir leurs investisseurs...

Hé puis, les jeunes utilisateurs de smartphones commencent en avoir marre des "apps".

Tiens, les forums sur l'intelligence artificielle, ce n'est pas facile à trouver...
Tu en connais, toi ? (en français et/ou en anglais)
Si oui, merci de quelques liens.

A+