Discussion :

[Mathis Lucas]

Sam Altman cherche désormais à s'emparer de la réglementation sur l'IA et à réaliser des profits illimités
il est accusé de vouloir verrouiller le marché pour préserver la position d'OpenAI

Sam Altman, PDG d'OpenAI, continue d'insister sur la nécessité de réglementer l'IA et met en garde contre ses impacts potentiels sur les élections présidentielles de 2024 aux États-Unis. Il a déclaré dans une interview début novembre que l'IA représente non seulement un risque existentiel pour l'humanité, mais qu'elle peut également permettre de manipuler les électeurs. Il estime que les politiques doivent introduire rapidement des règles pour prévenir ces risques, mais il est accusé de vouloir s'appuyer sur la réglementation pour verrouiller le marché et dicter la marche à suivre aux acteurs existants. Ce qui lui permettrait de gagner plus d'argent avec ses produits.

Altman appelle les politiques à protéger les élections contre les capacités de l'IA

Sam Altman a donné au début du mois de novembre, quelques semaines avant le chaos momentané chez OpenAI, une interview qui est passée presque inaperçue. La discussion a porté sur les dangers potentiels des technologies d'IA émergentes et s'inscrit dans le cadre de l'événement "Joy Buolamwini and Sam Altman : Unmasking the Future of AI", organisé par Deepa Seetharaman, journaliste technologique au Wall Street Journal, au Commonwealth Club de San Francisco. Altman a déclaré lors de l'interview que l'IA progresse rapidement et a davantage d'impact sur des aspects comme les normes sociétales, la protection de la vie privée et la démocratie.

Il a déclaré que l'IA pourrait être utilisée à mauvais escient lors des élections présidentielles de 2024 aux États-Unis d'une manière que le monde n'avait encore jamais vue auparavant. L'une des utilisations malveillantes les plus répandues de l'IA est les deepfakes, mais Altman affirme que ce n'est pas la chose qui l'effraie le plus. Il a déclaré que l'IA peut être utilisée pour personnaliser le discours, ce qui permet à attaquant d'avoir un pouvoir de "persuasion redoutable" sur sa victime. Selon Altman, les électeurs connaissent les deepfakes et peuvent les repérer en faisant preuve de vigilance, mais ils n'ont jamais été confrontés à une telle menace par le passé.

« Je suis très inquiet de l'impact que cela aura sur les élections. Mais la principale inquiétude que j'ai n'est pas celle qui est la plus médiatisée. Tout le monde parle des deepfakes. Et je pense que les deepfakes constituent un problème politique dans la société de bien d'autres manières. Toutefois, dans un certain sens, c'est la dernière guerre. Nous connaissons les deepfakes. Les gens ont un certain degré d'anticorps contre eux. Nous avons une certaine vigilance sociétale. Lorsque les gens regardent une image, une vidéo ou toute autre chose, ils savent qu'il se peut que ce ne soit pas réel », a-t-il déclaré malgré les défis persistants liés aux deepfakes. Il a ajouté :

« Et tout le monde pense qu'il n'y est pas sensible. C'est juste quelqu'un d'autre qui l'est. Nous sommes probablement tous un peu sensibles, mais c'est au moins un problème connu. Ce qui me préoccupe vraiment, pour cette prochaine élection et les suivantes, et plus généralement, c'est la capacité de persuasion personnalisée et individuelle de ces nouveaux modèles. C'est une chose nouvelle pour laquelle nous n'avons pas un antidote et je pense que nous y serons tous plus sensibles que nous ne le pensons ». La présentatrice a ensuite demandé à Altman ce à quoi cette manipulation pourrait ressembler à l'avenir, mais sa réponse n'a pas été très approfondie.

« À quoi cela ressemble-t-il ? Comme si ChatGPT essayait de vous convaincre pour qui voter ? », a demandé la journaliste. Ce à quoi Altman a répondu : « probablement pas. Si vous demandez à ChatGPT pour qui voter lors des élections, j'ai d'autres questions à vous poser », faisant réagir le public. Toutefois, il a ajouté : « cela signifie que des systèmes sur Internet pilotés par l'IA à des degrés divers vous influencent subtilement ». Altman n'a pas développé sa pensée, mais laisser supposer que l'IA pourrait permettre à un acteur de la menace de créer des campagnes ciblées - remplies d'infox sur un candidat, par exemple - pour influencer certains électeurs.

À la question de savoir comment OpenAI tente de résoudre ce problème, Altman a répondu : « sur notre système, nous faisons beaucoup pour résoudre ce problème, mais il y aura d'autres modèles que les gens utiliseront dans le monde et que je ne pense pas que nous (ni aucun autre modèle) puissions détecter. Une seule entreprise, par exemple, peut les détecter. La question qui se pose est la suivante : peut-on utiliser un système d'IA pour détecter les résultats d'un autre système d'IA ? Pouvez-vous les marquer d'un filigrane ? Pouvez-vous faire quelque chose même si les systèmes ne sont pas filigranés ? Pouvez-vous détecter les bons modèles ? ».

Pour Altman, ce sont les questions les plus "effrayantes" sur lesquelles il faut réfléchir : « je pense franchement que ces capacités sont quelque peu exagérées. Mais c'est comme si un adversaire étranger avait formé son propre système d'IA dont personne ne connaît l'existence. C'est ce genre de choses qui m'inquiète ». Il estime que les politiques doivent rapidement intervenir pour établir des règles pour l'industrie : « nous [chez OpenAI] avons appelé à une réglementation gouvernementale, je pense que nous sommes les premiers et les plus bruyants de toutes les entreprises. Nous avons absolument besoin que le gouvernement joue un rôle dans ce domaine ».

Altman torpille les initiatives de l'UE visant à établir une réglementation sur l'IA

Dans la communauté, beaucoup ne croient pas aux discours d'Altman. Il est accusé de tenir des discours alarmistes pour susciter la peur chez son auditoire et pour inciter les politiques à adopter une législation prématurée. De plus, les critiques affirment qu'Altman se met en scène afin de pouvoir influencer la réglementation et veiller à ce qu'elle soit favorable à OpenAI. Certains critiques estiment qu'à l'heure actuelle, une réglementation risquerait de relever considérablement les barrières d'entrée sur le marché, ce qui nuirait à la concurrence et à l'innovation. Pour eux, Altman ne se préoccupe pas du bien-être de l'humanité, mais bien de celui de son entreprise.

En octobre dernier, Yann LeCun, responsable de l'IA chez Meta, a publié sur X un message dans lequel il a dénoncé les multiples appels d'Altman à une réglementation et a fustigé les personnes qui appellent à l'interdiction des projets d'IA open source : « Altman, Hassabis et Amodei sont ceux qui exercent actuellement un lobbying massif auprès des entreprises. Ce sont eux qui tentent de s'emparer de l'industrie de l'IA par le biais d'une réglementation. Vous, Geoff et Yoshua, donnez des munitions à ceux qui font pression pour interdire la R&D ouverte en matière d'IA ». LeCun, pionnier de l'IA et prix Turing 2018, semble convaincu qu'Altman se joue de l'industrie.

« Je vous l'ai dit. La route de l'argent est son objectif. Au diable les gens qui ont menacé de démissionner quand ce type est parti », a écrit un critique. Altman trouve néanmoins du soutien auprès de plusieurs de ces pairs, ainsi que de son interlocutrice Joy Buolamwini lors de l'événement. « Les entreprises ont un rôle à jouer, mais c'est là que je vois que les gouvernements doivent intervenir parce que leur intérêt devrait être l'intérêt public », note-t-elle. Buolamwini est informaticienne et activiste numérique au MIT. Elle est la fondatrice de "Algorithmic Justice League", une organisation qui combat les préjugés dans les processus de décision des logiciels.

Lors de l'événement, certains membres de l'auditoire ont critiqué les commentaires des orateurs, en particulier ceux d'Altman. « J'ai trouvé que certains des propos de Sam étaient un peu idéalisés et pas vraiment fondés sur ce que son outil [ChatGPT] a produit », a noté Emma Charity, membre du Laboratoire de technologie d'intérêt public de Stanford. Faisant écho à Charity, Emily Tianshi, qui étudie la science des données et les systèmes sociaux, a déclaré : « Altman parlait comme s'il n'avait pas de contrôle direct sur les préjudices dont il s'inquiète ». Sur la toile, d'autres ont rappelé le double jeu d'Altman en ce qui concerne la réglementation européenne.

En effet, Altman appelle publiquement à une réglementation sur l'IA, mais torpille les tentatives de l'Union européenne d'imposer une réglementation stricte aux entreprises. L'association bruxelloise Corporate Europe Observatory a classé OpenAI, Microsoft et Google parmi les cinq plus grands lobbyistes qui font pression contre la législation de l'UE. Ces géants technologiques recherchent en fait un environnement juridique leur permettant une liberté totale pour développer et déployer ces technologies sans surveillance stricte. Cela se fait en coulisse, mais en public, ils chantent à qui veut bien l'entendre qu'ils souhaitent être réglementés.

La loi européenne sur l'IA devait être le premier texte législatif d'envergure au monde en matière d'IA. Mais les trois grands États membres - la France, l'Allemagne et l'Italie - ont décidé de supprimer la partie de la loi qui vise à réglementer les modèles de base. Les modèles de base sous-tendent les logiciels d'IA les plus puissants au monde, comme ChatGPT d'OpenAI et Bard de Google. Ces logiciels d'IA sont souvent complexes et se comportent d’une manière qui peut surprendre même leurs propres développeurs. Avec lobbying intense, la France, l'Italie et l'Allemagne veulent laisser les fournisseurs de modèles de base se réguler eux-mêmes.

Au cours de leur discussion, Buolamwini a demandé à Altman : « avez-vous quelque chose [à dire] qui pourrait apaiser les inquiétudes des gens ? ». Ce à quoi Altman a répondu : « je pense que je vous mentirais en apaisant vos inquiétudes. Je suis moi-même assez nerveux à ce sujet. Ce qui est le plus difficile à comprendre, c'est que nous sommes en train de construire une technologie qui, si elle continue, si elle suit cette courbe, peut être la meilleure ou la pire chose que l'humanité ait jamais construite ». Enfin, Altman déplore également le fait qu'il n'y a que très peu d'investissements productifs dans ce qu'il a appelé : le risque existentiel.

Et vous ?

Que pensez-vous de l'appel incessant d'Altman à une réglementation sur l'IA ?
Que pensez-vous des propos d'Altman sur les impacts potentiels de l'IA sur les élections ?
Pourquoi appelle-t-il à la réglementation de l'IA et combat dans le même temps la législation de l'UE ?
Altman se livre-t-il à un jeu de dupe ? Que pensez-vous des allégations portées par Yann LeCun contre Altman ?

Voir aussi

Le responsable de l'IA chez Meta affirme que les modèles d'IA open source sont le seul moyen d'empêcher que le secteur soit contrôlé par un petit groupe d'entreprises et s'oppose à la réglementation

La nouvelle loi européenne sur l'IA est menacée par le lobbying intense des grandes entreprises technologiques, elles font pression pour retirer "les modèles de base" de la réglementation

« L'AGI est le mensonge de l'année. L'intelligence artificielle générale n'existe pas », selon un critique qui affirme que ce mensonge est raconté pour des raisons financières et politiques

[Anthony]

Le PDG d'OpenAI, Sam Altman, met en garde contre les "désalignements sociétaux" qui pourraient rendre l'IA dangereuse et faire des ravages dans les systèmes, ce qui l'empêche de dormir la nuit

Le PDG d'OpenAI, créateur de ChatGPT, a déclaré ce mardi 13 février que les dangers qui l'empêchent de dormir en ce qui concerne l'intelligence artificielle sont les "désalignements sociétaux très subtils" qui pourraient faire des ravages dans les systèmes.

Sam Altman, qui s'exprimait par appel vidéo lors du Sommet mondial des gouvernements à Dubaï, a réitéré son appel à la création d'un organisme tel que l'Agence internationale de l'énergie atomique pour superviser l'IA, qui progresse probablement plus vite que le monde ne le prévoit.

"Il y a là-dedans des choses faciles à imaginer et où les choses tournent vraiment mal. Et je ne suis pas très intéressé par les robots tueurs qui se promènent dans les rues et qui risquent de mal tourner", a déclaré M. Altman. "Je m'intéresse beaucoup plus aux désalignements sociétaux très subtils, où nous avons simplement ces systèmes dans la société et sans mauvaise intention particulière, les choses tournent horriblement mal."

Toutefois, M. Altman a souligné que l'industrie de l'IA, comme OpenAI, ne devrait pas être aux commandes lorsqu'il s'agit d'élaborer des réglementations régissant l'industrie.

"Nous en sommes encore au stade des discussions. Tout le monde organise une conférence. Tout le monde a une idée, un document d'orientation, et c'est très bien ainsi", a déclaré M. Altman. "Je pense que nous sommes encore à une époque où le débat est nécessaire et sain, mais à un moment donné dans les prochaines années, je pense que nous devons nous diriger vers un plan d'action avec une véritable adhésion dans le monde entier."

OpenAI, une jeune entreprise d'intelligence artificielle basée à San Francisco, est l'un des leaders dans ce domaine. Microsoft a investi environ 1 milliard de dollars dans OpenAI. L'Associated Press a signé un accord avec OpenAI pour lui permettre d'accéder à ses archives d'actualités. De son côté, le New York Times a intenté un procès à OpenAI et à Microsoft pour avoir utilisé ses articles sans autorisation afin d'entraîner les chatbots d'OpenAI.

Le succès d'OpenAI a fait de M. Altman le visage public de la commercialisation rapide de l'IA générative - et des craintes que suscite cette nouvelle technologie.

Les Émirats arabes unis, fédération autocratique de sept cheikhs régis par l'hérédité, présentent des signes de ce risque. La liberté d'expression y est étroitement contrôlée. Ces restrictions affectent le flux d'informations exactes - les mêmes détails sur lesquels les programmes d'IA comme ChatGPT s'appuient en tant que systèmes d'apprentissage automatique pour fournir leurs réponses aux utilisateurs.

Les Émirats disposent également de la société G42 d'Abou Dhabi, supervisée par le puissant conseiller à la sécurité nationale du pays. Le G42 possède ce que les experts considèrent comme le meilleur modèle d'intelligence artificielle en langue arabe au monde. L'entreprise a fait l'objet d'allégations d'espionnage en raison de ses liens avec une application de téléphonie mobile identifiée comme un logiciel espion. Elle a également fait l'objet d'allégations selon lesquelles elle aurait pu recueillir secrètement du matériel génétique d'Américains pour le compte du gouvernement chinois.

Le G42 a déclaré qu'elle couperait ses liens avec les fournisseurs chinois en raison des inquiétudes des Américains. Toutefois, la discussion avec M. Altman, animée par Omar al-Olama, ministre d'État des Émirats arabes unis chargé de l'intelligence artificielle, n'a abordé aucune des préoccupations locales.

Pour sa part, M. Altman s'est dit encouragé de voir que les écoles, où les enseignants craignaient que les élèves n'utilisent l'IA pour rédiger leurs devoirs, considèrent désormais cette technologie comme cruciale pour l'avenir. Il a toutefois ajouté que l'IA n'en était encore qu'à ses balbutiements.

"Je pense que la raison en est que la technologie dont nous disposons actuellement est comparable au tout premier téléphone portable dont l'écran était en noir et blanc", a déclaré M. Altman. "Il faut donc nous laisser un peu de temps. Mais je pense que dans quelques années, la technologie sera bien meilleure qu'aujourd'hui. Et dans une décennie, ce sera tout à fait remarquable".

Source : Sam Altman, lors du Sommet mondial des gouvernements à Dubaï

Et vous ?

Quel est votre avis sur le sujet ?

Trouvez-vous que les craintes soulevées par M. Altman sont justifiées ou pertinentes ?

Voir aussi :

Le PDG d'OpenAI, Sam Altman, déclare au Congrès américain qu'il craint que l'IA ne soit "nuisible" au monde, il ajoute qu'une réglementation de l'IA est urgente afin d'éviter une catastrophe

Le PDG d'OpenAI, Sam Altman, se dit effrayé par sa propre invention, l'IA pourrait être utilisée pour diffuser largement de fausses informations, ou encore lancer une nouvelle course à l'armement

Le PDG d'OpenAI craint que les autres développeurs d'IA qui travaillent sur des outils de type ChatGPT ne mettent pas de limites de sécurité, il estime que cela pourrait créer une IA plus diabolique

[Anthony]

Sam Altman, PDG d'OpenAI, estime qu'une agence internationale devrait surveiller les IA "les plus puissantes" pour garantir une "sécurité raisonnable", car ces systèmes peuvent "causer d'importants dommages"

Le développement rapide de l'intelligence artificielle (IA) a suscité un débat mondial sur son impact potentiel et sur la nécessité d'un développement responsable. L'un des aspects essentiels de ce débat est la réglementation de l'IA, les experts s'interrogeant sur la manière de garantir une utilisation sûre et éthique de l'IA. Sam Altman, PDG d'OpenAI, une société de recherche axée sur le développement d'une intelligence artificielle générale sûre et bénéfique, est l'un des principaux acteurs de ce débat.

Samuel Harris Altman est un entrepreneur et investisseur américain surtout connu pour être le PDG d'OpenAI depuis 2019 (il a été brièvement licencié et réintégré en novembre 2023). Il est également directeur général d'AltC Acquisition Corp depuis 2021. Altman est considéré comme l'une des figures de proue du boom de l'IA. Il a abandonné l'université de Stanford au bout de deux ans et a fondé Loopt, un service de réseau social mobile, levant plus de 30 millions de dollars en capital-risque. En 2011, Altman a rejoint Y Combinator, un accélérateur de startups, dont il a été le président de 2014 à 2019.

Dans une récente interview podcast, M. Altman a plaidé en faveur de la création d'une agence internationale chargée de contrôler et de garantir la « sécurité raisonnable » des puissants systèmes d'IA.

Pourquoi une agence internationale ?

La proposition d'Altman de créer une agence internationale découle de sa conviction que les systèmes d'IA les plus puissants auront le potentiel de causer des dommages importants à l'échelle mondiale. Il estime que les effets négatifs d'une IA aussi avancée pourraient dépasser les frontières nationales et qu'il serait donc difficile pour les pays de les réglementer efficacement par eux-mêmes.

Dans le cadre du podcast All-In, M. Altman s'est dit préoccupé par l'avenir proche, déclarant qu'« il arrivera un moment [...] où les systèmes d'IA d'avant-garde seront capables de causer des dommages importants à l'échelle mondiale ».

Il envisage la création d'une agence internationale chargée d'examiner les systèmes les plus puissants et de garantir des tests de sécurité raisonnables.

M. Altman reconnaît toutefois la nécessité d'une approche équilibrée. Il souligne les dangers d'une « réglementation excessive » et cherche un cadre qui permette d'éviter les restrictions excessives tout en atténuant les risques. Il souligne les pièges potentiels de la sous-réglementation et de la sur-réglementation.

Les lois ne peuvent pas rattraper les progrès de l'IA

Ce débat sur la réglementation de l'IA coïncide avec les efforts législatifs en cours dans le monde entier. L'Union européenne a récemment adopté la loi sur l'intelligence artificielle, qui vise à catégoriser les risques liés à l'IA et à interdire les applications inacceptables. De même, aux États-Unis, le président Biden a signé un décret visant à promouvoir la transparence des modèles d'IA puissants. La Californie s'est également imposée comme chef de file en matière de réglementation de l'IA, les législateurs examinant une multitude de projets de loi pertinents.

M. Altman estime qu'une agence internationale offre une plus grande adaptabilité qu'une législation nationale. Il souligne le rythme rapide du développement de l'IA, suggérant que des lois rigides deviendraient rapidement obsolètes. Il exprime son scepticisme quant à la capacité des législateurs à élaborer des réglementations à l'épreuve du temps, déclarant : « Ce qui est écrit dans la loi, c'est que dans 12 mois, tout sera écrit de travers. »

En termes plus simples, M. Altman compare la surveillance de l'IA à la réglementation en matière de sécurité aérienne. Il explique : « Lorsque des pertes importantes de vies humaines sont une possibilité sérieuse [...] comme dans les avions [...], je pense que nous sommes heureux de disposer d'une sorte de cadre de tests. » Son scénario idéal implique un système dans lequel les utilisateurs, comme les passagers d'un avion, peuvent faire confiance à la sécurité de l'IA sans avoir besoin d'en comprendre les moindres détails.

Pourquoi n'y a-t-il pas encore de véritable réglementation de l'IA ?

Malgré ces efforts continus, l'élaboration d'un cadre réglementaire réellement efficace pour l'IA présente plusieurs défis.

L'un des principaux obstacles est le rythme rapide du développement de l'IA. Le domaine est en constante évolution et il est donc difficile pour les réglementations de suivre le rythme des avancées technologiques. Les lois rédigées aujourd'hui peuvent être insuffisantes pour faire face aux risques posés par les systèmes d'IA développés demain.

Un autre défi réside dans la complexité des systèmes d'IA. Ces systèmes peuvent être incroyablement complexes et difficiles à comprendre, même pour les experts. Cette complexité fait qu'il est difficile pour les régulateurs d'identifier et d'atténuer les risques potentiels.

En outre, il n'existe pas de consensus mondial sur la manière de réglementer l'IA. Les priorités et la tolérance au risque varient d'un pays à l'autre en ce qui concerne le développement de l'IA. Il est donc difficile d'établir un cadre international unifié.

Enfin, il existe une inquiétude quant à la possibilité d'étouffer l'innovation. Des réglementations trop restrictives pourraient entraver le développement d'applications bénéfiques de l'IA.

Il est essentiel de trouver un juste équilibre entre la sécurité, l'innovation et la coopération internationale pour élaborer des réglementations efficaces en matière d'IA.

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous le point de vue de M. Altman crédible ou pertinent ?

Voir aussi :

Le PDG d'OpenAI, Sam Altman, déclare au Congrès américain qu'il craint que l'IA ne soit "nuisible" au monde, il ajoute qu'une réglementation de l'IA est urgente afin d'éviter une catastrophe

OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle, cela sera-t'il suffisant ?

[Stéphane le calme]

Des employés d'OpenAI exigent des protections pour alerter sur les « risques sérieux de l'IA » sans subir de représailles,
ils mettent en garde contre les risques graves que la technologie fait peser sur l'humanité

Un groupe d’employés actuels et anciens d’OpenAI et de Google DeepMind réclame une protection contre les représailles pour avoir exprimé leurs inquiétudes concernant les risques potentiels des technologies développées par ces entreprises. Ils affirment que de larges accords de confidentialité les empêchent d’exprimer leurs préoccupations, sauf auprès des entreprises elles-mêmes.

Selon une lettre ouverte intitulée « Un droit d'alerte sur l'intelligence artificielle avancée » et signée par 13 personnes ayant travaillé dans ces entreprises, dont sept ont inclus leurs noms, « tant qu’il n’y a pas de surveillance gouvernementale efficace de ces sociétés, les employés actuels et anciens sont parmi les rares personnes capables de les tenir responsables devant le public ». Les entreprises de pointe en IA ont « de forts incitatifs financiers à éviter une surveillance efficace », mais elles ont « seulement de faibles obligations » de partager les véritables dangers de leurs systèmes d’IA avec le public.

Une poignée d'employés actuels et anciens d'OpenAI et d'autres grandes entreprises d'intelligence artificielle ont mis en garde contre les risques graves que la technologie fait peser sur l'humanité dans une lettre publiée mardi, appelant les entreprises à mettre en œuvre des changements radicaux pour garantir la transparence et favoriser une culture de débat public.

La lettre, signée par 13 personnes, dont des employés actuels et anciens d'Anthropic, DeepMind (Google) et OpenAI indique que l'IA peut exacerber les inégalités, accroître la désinformation et permettre aux systèmes d'IA de devenir autonomes et de provoquer des décès importants. Bien que ces risques puissent être atténués, les entreprises qui contrôlent les logiciels ont de « fortes incitations financières » à limiter la surveillance, ont-ils déclaré.

L'IA n'étant que faiblement réglementée, la responsabilité repose sur les initiés de l'entreprise, écrivent les employés, qui demandent aux entreprises de lever les accords de non-divulgation et d'accorder aux travailleurs des protections leur permettant de faire part de leurs inquiétudes de manière anonyme.

Cette décision intervient alors qu'OpenAI est confrontée à un exode de son personnel

De nombreux critiques ont vu dans les départs importants - notamment ceux du cofondateur d'OpenAI, Ilya Sutskever, et du chercheur principal Jan Leike - une réprimande des dirigeants de l'entreprise, qui, selon certains employés, recherchent le profit au détriment de l'amélioration de la sécurité des technologies d'OpenAI.

Daniel Kokotajlo, un ancien employé d'OpenAI, a déclaré avoir quitté la start-up en raison de l'indifférence de l'entreprise à l'égard des risques liés à l'intelligence artificielle. « J'ai perdu l'espoir qu'ils agissent de manière responsable, en particulier dans leur quête d'intelligence artificielle générale », a-t-il déclaré dans un communiqué, faisant référence à un terme très contesté désignant des ordinateurs dont la puissance est équivalente à celle des cerveaux humains. « Ils ont adhéré, comme d'autres, à l'approche qui consiste à aller vite et à tout casser, ce qui va à l'encontre de ce qui est nécessaire pour une technologie aussi puissante et aussi mal comprise », a ajouté Kokotajlo.

Liz Bourgeois, porte-parole d'OpenAI, a déclaré que l'entreprise était d'accord pour dire qu'un « débat rigoureux est crucial compte tenu de l'importance de cette technologie ». Les représentants d'Anthropic et de Google n'ont pas répondu immédiatement à une demande de commentaire.

Les employés ont déclaré qu'en l'absence de contrôle gouvernemental, les travailleurs de l'IA sont les « rares personnes » à pouvoir demander des comptes aux entreprises. Ils affirment qu'ils sont paralysés par de « larges accords de confidentialité » et que les protections ordinaires des dénonciateurs sont « insuffisantes » parce qu'elles se concentrent sur les activités illégales et que les risques qu'ils signalent ne sont pas encore réglementés.

Quatre principes

La lettre demande aux entreprises d'IA de s'engager à respecter quatre principes afin d'améliorer la transparence et la protection des lanceurs d'alerte. Ces principes sont les suivants : s'engager à ne pas conclure ou appliquer des accords interdisant de critiquer les risques ; demander la mise en place d'une procédure anonyme permettant aux employés actuels et anciens de faire part de leurs préoccupations ; soutenir une culture de la critique ; et promettre de ne pas exercer de représailles à l'encontre des employés actuels et anciens qui partagent des informations confidentielles pour lancer des alertes « après l'échec d'autres procédures ».

Nous appelons donc les entreprises d'IA avancée à s'engager à respecter les principes suivants :

• L'entreprise ne conclura ni n'appliquera aucun accord interdisant le « dénigrement » ou la critique de l'entreprise pour des problèmes liés aux risques, ni n'exercera de représailles pour des critiques liées aux risques en entravant tout avantage économique acquis ;
• L'entreprise facilitera la mise en place d'un processus anonyme vérifiable permettant aux employés actuels et anciens de faire part de leurs préoccupations en matière de risques au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire ;
• L'entreprise soutiendra une culture de critique ouverte et autorisera ses employés actuels et anciens à faire part au public, au conseil d'administration de l'entreprise, aux autorités de réglementation ou à une organisation indépendante compétente de leurs préoccupations concernant les risques liés à ses technologies, pour autant que les secrets commerciaux et autres intérêts de propriété intellectuelle soient protégés de manière appropriée ;
• L'entreprise ne prendra pas de mesures de rétorsion à l'encontre des employés actuels et anciens qui partagent publiquement des informations confidentielles liées à des risques après que d'autres processus ont échoué. Nous admettons que tout effort visant à signaler des problèmes liés à des risques doit éviter de divulguer inutilement des informations confidentielles. Par conséquent, dès lors qu'il existe une procédure adéquate permettant de faire part anonymement de préoccupations au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire, nous acceptons que les préoccupations soient initialement soulevées par le biais d'une telle procédure. Toutefois, tant qu'une telle procédure n'existe pas, les employés actuels et anciens doivent conserver leur liberté de faire part de leurs préoccupations au public.

En décembre, les médias ont rapporté que des cadres supérieurs d'OpenAI avaient exprimé des craintes de représailles de la part du PDG Sam Altman - des avertissements qui ont précédé l'éviction temporaire de ce dernier. Dans une récente interview podcast, Helen Toner, ancien membre du conseil d'administration d'OpenAI, a déclaré qu'une partie de la décision de l'organisation à but non lucratif de démettre Altman de ses fonctions de PDG à la fin de l'année dernière était due à son manque de communication franche au sujet de la sécurité.

« Il nous a donné des informations inexactes sur le petit nombre de processus de sécurité formels mis en place par l'entreprise, ce qui signifie qu'il était tout simplement impossible pour le conseil d'administration de savoir si ces processus de sécurité fonctionnaient bien », a-t-elle déclaré lors de l'émission « The TED AI Show » en mai.

En mai, un article de Kelsey Piper publié dans Vox a soulevé des inquiétudes concernant l'utilisation par OpenAI d'accords de non-divulgation restrictifs pour les employés qui quittent l'entreprise, qui menaçaient de révoquer les droits acquis si les anciens employés critiquaient l'entreprise. Le PDG d'OpenAI, Sam Altman, a répondu à ces allégations en déclarant que l'entreprise n'avait jamais récupéré les actions acquises et qu'elle ne le ferait pas si les employés refusaient de signer l'accord de séparation ou la clause de non-dénigrement.

Mais les critiques sont restées insatisfaites et OpenAI a rapidement fait volte-face publiquement sur la question, déclarant qu'elle supprimerait la clause de non-dénigrement et les dispositions relatives à la récupération des actions de ses accords de séparation, reconnaissant que ces termes étaient inappropriés et contraires aux valeurs déclarées de transparence et de responsabilité de l'entreprise. Cette décision de l'OpenAI est probablement à l'origine de la présente lettre ouverte.

Margaret Mitchell, chercheuse en éthique de l'IA chez Hugging Face, qui a été licenciée de Google en 2021 après avoir soulevé des questions sur la diversité et la censure au sein de l'entreprise, a parlé des défis auxquels sont confrontés les lanceurs d'alerte dans l'industrie technologique. « En théorie, vous ne pouvez pas faire l'objet de représailles légales pour avoir dénoncé un problème. Dans la pratique, il semble que ce soit le cas », a déclaré Mitchell. « Les lois soutiennent les objectifs des grandes entreprises au détriment des travailleurs. Elles ne sont pas en faveur des travailleurs ».

Mitchell a souligné les conséquences psychologiques d'une action en justice contre une grande entreprise : « Vous devez essentiellement renoncer à votre carrière et à votre santé psychologique pour obtenir justice contre une organisation qui, du fait qu'elle est une entreprise, n'éprouve pas de sentiments et dispose des ressources nécessaires pour vous détruire ». Elle a ajouté : « Rappelez-vous qu'il vous incombe, en tant que personne licenciée, de prouver que vous avez été victime de représailles - une personne seule, sans source de revenus après avoir été licenciée - face à une entreprise de plusieurs milliards de dollars disposant d'une armée d'avocats spécialisés dans les préjudices causés aux travailleurs exactement de cette manière. »

Conclusion

Cette lettre, intitulée “Un droit d’alerte sur l’intelligence artificielle avancée”, souligne l’importance d’un débat rigoureux sur les risques liés à l’IA, étant donné la signification de cette technologie. Elle met en lumière les défis auxquels sont confrontés les employés qui cherchent à protéger le public tout en travaillant pour des entreprises puissantes et influentes.

Elle a reçu le soutien d'éminentes personnalités de la communauté de l'IA, dont Yoshua Bengio, Geoffrey Hinton (qui a déjà mis en garde contre l'IA par le passé) et Stuart J. Russell. Il convient de noter que des experts en IA, comme Yann LeCun de Meta, ont contesté les affirmations selon lesquelles l'IA représente un risque existentiel pour l'humanité, et que d'autres experts estiment que le thème de la « prise de contrôle de l'IA » détourne l'attention des méfaits actuels de l'IA, tels que les préjugés et les hallucinations dangereuses.

Même si l'on ne s'accorde pas sur les dommages précis que pourrait causer l'IA, Mitchell estime que les préoccupations soulevées par la lettre soulignent le besoin urgent d'une plus grande transparence, d'un meilleur contrôle et d'une meilleure protection pour les employés qui dénoncent les risques potentiels : « Bien que j'apprécie et approuve cette lettre », dit-elle, « il faut apporter des changements significatifs aux lois qui soutiennent de manière disproportionnée les pratiques injustes des grandes entreprises au détriment des travailleurs qui font ce qu'il faut ».

Source : lettre ouverte

Et vous ?

Quels sont les avantages et les inconvénients de l’IA ? Quels aspects positifs et négatifs de l’IA voyez-vous dans notre société ?
Comment pouvons-nous garantir la transparence et la responsabilité dans le développement de l’IA ? Explorez les mécanismes de surveillance et de régulation nécessaires pour éviter les dérives potentielles.
Quelles sont les implications éthiques de l’IA ? Discutez des dilemmes éthiques liés à l’automatisation, à la vie privée et à la discrimination.
Devrions-nous craindre une IA superintelligente ? À l’instar d’OpenAI qui se prépare à une IA qui pourrait surpasser l’intelligence humaine via son département Superalignement, quelles pourraient en être les conséquences ?
Comment pouvons-nous impliquer davantage le grand public dans les discussions sur l’IA ? Explorez des moyens d’éduquer et d’informer le public sur les enjeux liés à l’IA.

[marsupial]

A la lecture de l'article et à la suite des différentes communications des entreprises dans cette course effrénée à l'IA générale, le résultat d'un appât du gain et de surfinancement à coup de machines dépassant les 9 chiffres sur le chèque sont la preuve que je préfère largement discuter avec ma machine sans IA qu'un être humain en général : elle est plus facile à comprendre et à maîtriser. Et surtout plus saine en valeur morale pour mon libre-arbitre. La faim dans le monde c'est 6 milliards de budget par an. Google Deepmind a investi 100 milliards dans une machine pour faire un chatbot qui hallucine 20% du temps au lieu de répondre je ne sais pas. Investissement complètement vain dans le but d'atteindre l'IA générale si l'on se contente de LLM pré entrainé. Quel gâchis de temps, d'argent, de cerveaux et surtout d'énergie. Du grand n'importe quoi : le retour à la réalité va coûter combien de centrale nucléaire d'ici là ? L'humanité consomme la production de 2 planètes par an en moyenne. Il faudrait peut-être leur expliquer qu'ils ont perdu tout sens des valeurs et revenir sur Terre vite fait.

[Kannagi]

Mais il est tout simplement coincé, ce monde fonctionne avec le capitalisme et même le communisme est du capitalisme qui ne dit pas son nom.

C'est là que je me dis que y'a des gens qui comprenne rien en économie !
Non le communisme n'est pas un capitalisme déguisé.
Si tu fais référence au communisme de l'URSS , oui c'était un capitalisme d'état , mais c'était à peine caché.
Quand les gens ont imaginé comment passer du capitalisme au communisme , ils ont imaginé une phase transitoire qui est que dans un premier temps l'état récupère tout les systeme de production pour ensuite les redistribués.
Bon en URSS et consort, ça s'est arrêté à la première phase parce que Staline et Mao trouvait ça très bien d'avoir autant de pouvoir...

[Patrick Ruiz]

Un ex employé d'OpenAI estime qu'il y a 70 % de chances que l'IA détruise l'humanité ou lui nuise de manière catastrophique
Les puissants modèles d’IA ne doivent donc pas être open source, d’après des tiers

Lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. David Kokotajlo estime qu’il y a de fortes chances que l’IA détruise l’humanité ou lui nuise de manière catastrophique. C’est d’ailleurs la raison de la publication d’une lettre ouverte, à l’intention des grandes enseignes technologiques, aux fins de lancer à nouveau l’alerte à propos des dangers de cette technologie et de lister des principes auxquels les entreprises de la filière technologique doivent se soumettre pour éviter le pire.

L’intégralité de la lettre

Nous sommes d'anciens et d'actuels employés d'entreprises d'avant-garde dans le domaine de l'intelligence artificielle et nous croyons au potentiel de la technologie de l'IA pour apporter des avantages sans précédent à l'humanité.

Nous sommes en sus conscients des risques sérieux que posent ces technologies. Ces risques vont du renforcement des inégalités existantes à la manipulation et à la désinformation, en passant par la perte de contrôle des systèmes d'IA autonomes, qui pourrait entraîner l'extinction de l'humanité. Les entreprises spécialisées dans l'IA ont elles-mêmes reconnu ces risques, tout comme les gouvernements du monde entier et d'autres experts de l'intelligence artificielle.

Nous espérons que ces risques pourront être atténués de manière adéquate si la communauté scientifique, les décideurs politiques et le public fournissent des conseils suffisants. Cependant, les entreprises d'IA ont de fortes incitations financières qui ont un impact sur les aspects de sûreté des développements, et nous ne pensons pas que les structures de gouvernance d'entreprise habituelles soient suffisantes pour changer cette situation.

Les entreprises de la filière de l’intelligence artificielle possèdent des informations non publiques substantielles sur les capacités et les limites de leurs systèmes, sur l'adéquation de leurs mesures de protection et sur les niveaux de risque des différents types de dommages. Cependant, elles n'ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile. Nous ne pensons pas que l'on puisse compter sur elles pour les partager volontairement.

Tant qu'il n'y aura pas de contrôle gouvernemental efficace de ces entreprises, les employés actuels et anciens font partie des rares personnes qui peuvent les obliger à rendre des comptes au public. Pourtant, de larges accords de confidentialité nous empêchent d'exprimer nos préoccupations, sauf auprès des entreprises mêmes qui ne s'attaquent pas à ces problèmes. Les protections ordinaires des dénonciateurs sont insuffisantes parce qu'elles se concentrent sur les activités illégales, alors que bon nombre des risques qui nous préoccupent ne sont pas encore réglementés. Certains d'entre nous craignent à juste titre diverses formes de représailles, compte tenu de l'historique de ces affaires dans l'ensemble du secteur. Nous ne sommes pas les premiers à rencontrer ces problèmes ou à en parler.

Nous appelons donc les entreprises de la filière IA à s'engager à respecter les principes suivants :

L'entreprise ne conclura ni n'appliquera aucun accord interdisant le « dénigrement » ou la critique de l'entreprise pour des problèmes liés aux risques, ni n'exercera de représailles pour des critiques liées aux risques en entravant tout avantage économique acquis ;

L'entreprise facilitera la mise en place d'un processus anonyme vérifiable permettant aux employés actuels et anciens de faire part de leurs préoccupations en matière de risques au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire ;

L'entreprise soutiendra une culture de critique ouverte et autorisera ses employés actuels et anciens à faire part au public, au conseil d'administration de l'entreprise, aux autorités de régulation ou à une organisation indépendante compétente de leurs préoccupations concernant les risques liés à ses technologies, pour autant que les secrets commerciaux et autres intérêts de propriété intellectuelle soient protégés de manière appropriée ;

L'entreprise ne prendra pas de mesures de représailles à l'encontre des employés actuels et anciens qui partagent publiquement des informations confidentielles liées à des risques après que d'autres processus ont échoué. Nous admettons que tout effort visant à signaler des problèmes liés à des risques doit éviter de divulguer inutilement des informations confidentielles. Par conséquent, dès lors qu'il existe une procédure adéquate permettant de faire part anonymement de préoccupations au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire, nous acceptons que les préoccupations soient initialement soulevées par le biais d'une telle procédure. Toutefois, tant qu'une telle procédure n'existe pas, les employés actuels et anciens doivent conserver leur liberté de faire part de leurs préoccupations au public.

14/15: Some of us who recently resigned from OpenAI have come together to ask for a broader commitment to transparency from the labs. You can read about it here: https://t.co/EoApH8484I

— Daniel Kokotajlo (@DKokotajlo67142) June 4, 2024

Une sortie cohérente avec la position du scientifique en chef d’OpenAI sur le danger que l’intelligence artificielle représente pour l’humanité

Le scientifique en chef d’OpenAI est lui-même d’avis que l’intelligence artificielle représente une menace pour les humains. Il craint que l’intelligence artificielle générale ne finisse par traiter les Hommes comme des animaux et ainsi ravive des craintes sur un futur où les robots les domineront.

« Je pense qu'une bonne analogie serait la façon dont les humains traitent les animaux. Ce n'est pas que nous détestons les animaux. Je pense que les humains aiment les animaux et ont beaucoup d'affection pour eux. Mais lorsqu'il s'agit de construire une autoroute entre deux villes, nous ne demandons pas la permission aux animaux. Nous le faisons simplement parce que c'est important pour nous. Je pense que, par défaut, c'est le type de relation qui s'établira entre nous et l’intelligence artificielle générale (AGI) », souligne-t-il dans un documentaire.

On parle d’un stade d’évolution des machines où elles seront alors dotées de « bon sens. » Au stade d’intelligence artificielle générale, elles seraient capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. » C’est ce palier que les équipes de recherche dans le domaine visent.

« Certaines préoccupations en matière d’intelligence artificielle ne sont pas simplement techniques. Par exemple, il y a la menace posée par les humains armés d'intelligence artificielle. Comme la plupart des inventions, l'intelligence artificielle peut être utilisée à des fins bénéfiques ou maléfiques. Les gouvernements doivent travailler avec le secteur privé sur les moyens de limiter les risques.

Il y a aussi la possibilité que les IA deviennent incontrôlables. Une machine pourrait-elle décider que les humains constituent une menace, conclure que ses intérêts sont différents des nôtres ou simplement cesser de se préoccuper de nous ? C'est possible, mais ce problème n'est pas plus urgent aujourd'hui qu'il ne l'était avant les développements de l'IA de ces derniers mois », souligne Bill Gates.

Ce sont des points de vue qui rejoignent ceux de Michael Osborne et Michael Cohen de l’université d’Oxford : « L’intelligence artificielle est susceptible de devenir plus intelligente que les Hommes contre lesquels elle pourra donc se retourner et les exterminer. »

Le professeur Osborne fait une prédiction à ce sujet : « Il y a toutes les raisons de s'attendre à ce que, même ce siècle, nous puissions voir une IA qui soit au moins aussi capable que les êtres humains et très probablement plus capable que tout être humain aujourd'hui. »

Ces craintes sont la raison d’être d’un débat sur la question de savoir si les modèles d’IA doivent être open source ou demeurer propriétaires

Yann LeCun, responsable de l'IA chez Meta, est l'un des rares éminents chercheurs en IA qui n'épousent pas le discours dominant qui présente l'IA comme une menace existentielle pour l'humanité. Lors d'une récente interview, il a réitéré ses propos selon lesquels « l'IA n'est pas intelligente et est encore plus bête que les chats », ajoutant qu'il est complètement absurde de penser que l'IA pourrait éradiquer l'espèce humaine. Il affirme qu'une réglementation prématurée de l'IA s'avérera un frein pour la recherche et l'innovation dans le domaine, renforcera la domination des grandes entreprises technologiques (OpenAI, Google, etc.) et ne laissera aucune place à la concurrence. C’est la raison pour laquelle il milite pour la transparence en matière de développement de l’intelligence artificielle au travers de l’open source.

Au début de l'année dernière, l'entreprise spécialisée en cybersécurité CheckPoint a noté que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. L'IA d'OpenAI pouvait également produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme a rapporté en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint a estimé que ChatGPT ouvrait ces possibilités à des individus avec de très faibles connaissances techniques. Puis OpenAI a amélioré son chatbot IA, lui imposant des limites éthiques et restreignant certaines fonctionnalités. C'était sans compter sur l'ingéniosité de certains intervenants de la sphère qui ont fini par mettre sur pied WormGPT. C’est un chatbot conçu pour aider les cybercriminels à développer des logiciels malveillants. WormGPT représente l’entrée en matière des possibilités qui seront accessibles aux cybercriminels au fur et à mesure de l’évolution des modèles d’intelligence artificielle. C’est la raison pour laquelle la question revient avec acuité sur la table : Faut-il ouvrir le code source et opter pour la transparence totale des mécanismes d’entraînement des IA ou opter pour des systèmes fermés pour lesquels les grandes entreprises technologiques prétendent que l’avantage sera d’éviter de mettre de puissants outils entre les mains de monsieur Tout-le-monde ? C’est en réponse à cette question que le scientifique en chef d’OpenAI est d’avis que les grandes entreprises technologiques doivent s’abstenir d’ouvrir le code source de leurs intelligences artificielles afin d’éviter de mettre de puissantes armes entre les mains de tiers malveillants.

Et vous ?

Les modèles d’intelligence artificielle doivent-ils rester fermés au motif de ce que l’ouverture est susceptible de mettre de puissants outils entre les mains de tiers malveillants ?
Systèmes d’intelligence artificielle propriétaire ou open source : de quel bord êtes-vous ? Et pour quelles raisons ?

Voir aussi :

« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk dont une société développe des puces à insérer dans le cerveau pour contrer l'IA

Le projet de législation européenne sur l'intelligence artificielle mettrait en péril la compétitivité et la souveraineté technologique de l'Europe, selon plus de 160 dirigeants d'entreprises

Les législateurs de l'UE progressent dans leurs négociations cruciales sur les nouvelles règles en matière d'IA

[Jules34]

Je sais pas si on est à 70% de chance de destruction mais on est sur du 100 % South Park oui