Discussion :

[Stéphane le calme]

Google, OpenAI et d'autres s'opposent au projet de loi californien SB 1047 visant à réguler le développement de l'IA
arguant qu’il pourrait freiner l’innovation

Un projet de loi en Californie, visant à réguler le développement des modèles d’intelligence artificielle (IA), a déclenché une vive controverse à Silicon Valley. Le projet de loi SB 1047, également connu sous le nom de “Safe and Secure Innovation for Frontier Artificial Intelligence Models Act”, propose des mesures strictes pour garantir la sécurité des modèles d’IA avancés. Cependant, des géants de la technologie comme Google et OpenAI s’y opposent fermement, arguant qu’il pourrait freiner l’innovation.

Le projet de loi sur la sécurité de l'IA, SB 1047, imposerait davantage de responsabilités à tout développeur dépensant plus de 100 millions de dollars pour construire un modèle d'IA. Les exigences comprennent des tests de sécurité, la mise en œuvre de mesures de protection et la possibilité pour le procureur général de l'État de prendre des mesures à l'encontre du développeur de tout modèle d'IA qui cause un « préjudice grave », tel que des pertes massives ou des incidents entraînant des dommages d'une valeur de 500 millions de dollars ou plus.

Les entreprises doivent accepter de se soumettre à des audits par des tiers et mettre en place un dispositif permettant de désactiver la technologie à tout moment. Le projet de loi propose également des protections pour les dénonciateurs.

Le sénateur de l'État de Californie Scott Wiener, coauteur du projet de loi, a accusé certains opposants de « semer la peur » pour tenter d'empêcher l'adoption de la législation de l'État.

« Il y a eu beaucoup de drames, de déclarations dramatiques et d'inexactitudes de la part de certains opposants », a déclaré Wiener. « Les grands laboratoires se sont engagés à plusieurs reprises et de manière véhémente à effectuer des évaluations de la sécurité de leurs grands modèles, et c'est ce que ce projet de loi exige. Il s'agit de prendre un engagement volontaire et de le rendre obligatoire ».

OpenAI entre dans la danse

OpenAI a critiqué le projet de loi qui vise à garantir que l'intelligence artificielle puissante soit déployée en toute sécurité et a suggéré que de nouveaux contrôles menaceraient sa croissance dans l'État, se joignant à une frénésie de lobbying de dernière minute par les investisseurs et les groupes d'IA pour bloquer la législation.

Le projet de loi SB 1047 menace « le statut unique de la Californie en tant que leader mondial de l'intelligence artificielle », a écrit Jason Kwon, directeur de la stratégie de l'entreprise, dans une lettre adressée à Scott Wiener, le sénateur de l'État de Californie à l'origine du projet de loi. Il ajoute que cela pourrait « ralentir le rythme de l'innovation et inciter les ingénieurs et les entrepreneurs californiens de classe mondiale à quitter l'État à la recherche de meilleures opportunités ailleurs ».

Le projet de loi SB 1047 a divisé la Silicon Valley. Si la nécessité de limiter les risques liés aux nouveaux modèles d'IA puissants est largement admise, les critiques ont fait valoir que les propositions de Wiener étoufferaient les start-ups, profiteraient aux rivaux américains et compromettraient la position centrale de la Californie dans l'essor de l'IA.

OpenAI est la dernière start-up à s'opposer à des éléments du projet de loi, et la plus importante, en grande partie grâce à la popularité de son chatbot ChatGPT et à un engagement de 13 milliards de dollars de la part de son partenaire Microsoft. OpenAI soutient les dispositions visant à garantir que les systèmes d'IA sont développés et déployés en toute sécurité, mais affirme dans la lettre que la législation devrait venir du gouvernement fédéral, et non des États individuels.

Un projet de loi « bien intentionné mais mal informé », selon Nancy Pelosi

Dans une réponse mercredi, Wiener a souligné qu'OpenAI ne « critique pas une seule disposition du projet de loi ». Il ajoute que l'affirmation de la société selon laquelle les entreprises quitteront la Californie à cause du SB 1047 « n'a aucun sens étant donné que le SB 1047 n'est pas limité aux entreprises ayant leur siège en Californie ». En effet, le projet de loi SB 1047 concerne tous les développeurs de modèles d'IA qui exercent leurs activités en Californie et qui atteignent certains seuils de taille. En d'autres termes, qu'une entreprise d'IA soit basée à San Jose ou à San Antonio, si elle laisse les Californiens utiliser ses produits, elle sera soumise à ces restrictions.

Wiener a également déclaré qu'il était d'accord pour que le gouvernement fédéral prenne l'initiative, mais qu'il était « sceptique » quant à la volonté du Congrès d'agir. Il a également critiqué « l'argument éculé » selon lequel les jeunes entreprises technologiques se délocaliseraient si le projet de loi était adopté et a déclaré que les entreprises basées en dehors de l'État devraient toujours se conformer au projet de loi pour faire des affaires au niveau local.

L'assemblée de l'État de Californie devrait voter sur le projet de loi d'ici la fin de la semaine. S'il est adopté, le gouverneur Gavin Newsom décidera alors de la signer ou d'y opposer son veto.

Les groupes technologiques et les investisseurs de la Silicon Valley, dont Anthropic, Andreessen Horowitz et YCombinator, ont intensifié leur campagne de lobbying contre les propositions de Wiener en faveur d'un cadre de sécurité strict. Nancy Pelosi, ancienne présidente de la Chambre des représentants et représentante de la Californie, a également publié la semaine dernière une déclaration d'opposition au projet de loi, le qualifiant de « bien intentionné mais mal informé ».

Parmi les éléments les plus controversés des propositions initiales du sénateur figuraient l'obligation pour les entreprises d'IA de garantir à un nouvel organisme public qu'elles ne développeront pas de modèles dotés d'une « capacité dangereuse » et de créer un « interrupteur d'arrêt » pour désactiver leurs modèles puissants.

Les opposants ont affirmé que le projet de loi se concentrait sur des risques hypothétiques et ajoutait un risque de responsabilité « extrême » pour les fondateurs.

Le soutien au projet de loi

La semaine dernière, le projet de loi a été modifié pour assouplir certaines de ces exigences, notamment en limitant les responsabilités civiles qu'il avait initialement imposées aux développeurs d'IA et en réduisant le champ d'application de ces règles.

Toutefois, les critiques affirment que le projet de loi impose toujours aux jeunes entreprises des exigences onéreuses et parfois irréalistes. Lundi, Anna Eshoo et Zoe Lofgren, membres de la Chambre des représentants des États-Unis, ont écrit dans une lettre à Robert Rivas, président de l'assemblée californienne, qu'il y avait « encore des problèmes substantiels avec la structure sous-jacente du projet de loi », appelant plutôt à « se concentrer sur les règles fédérales pour contrôler les outils physiques nécessaires à la création de ces menaces physiques ».

Malgré les critiques formulées par d'éminents universitaires spécialisés dans l'IA, tels que Fei-Fei Li et Andrew Ng, de Stanford, qui ont dirigé des projets d'IA chez Google (Alphabet) et Baidu (Chine), le projet de loi a reçu le soutien de certains « parrains de l'IA », tels que Geoffrey Hinton, de l'université de Toronto, et Yoshua Bengio, professeur d'informatique à l'université de Montréal.

« En résumé, le SB 1047 est un projet de loi très raisonnable : SB 1047 est un projet de loi très raisonnable qui demande aux grands laboratoires d'IA de faire ce qu'ils se sont déjà engagés à faire, à savoir tester leurs grands modèles pour détecter les risques de sécurité catastrophiques », a écrit Wiener mercredi.

Lundi, Elon Musk (propriétaire de la grande entreprise de modèles d'IA xAI) s'est prononcé en faveur du projet de loi, en postant sur X « C'est une décision difficile et qui va contrarier certaines personnes, mais, tout bien considéré, je pense que la Californie devrait probablement adopter le projet de loi SB 1047 sur la sécurité de l'IA. Depuis plus de 20 ans, je plaide en faveur d'une réglementation de l'IA, tout comme nous réglementons tout produit/technologie présentant un risque potentiel pour le public ».

This is a tough call and will make some people upset, but, all things considered, I think California should probably pass the SB 1047 AI safety bill.

For over 20 years, I have been an advocate for AI regulation, just as we regulate any product/technology that is a potential risk…

— Elon Musk (@elonmusk) August 26, 2024

Un équilibre délicat

Le débat autour du projet de loi SB 1047 met en lumière le défi de trouver un équilibre entre la promotion de l’innovation et la garantie de la sécurité. Alors que certains voient dans ce projet de loi une menace pour l’innovation, d’autres y voient une étape cruciale pour prévenir les risques potentiels associés à l’IA. Les partisans du projet de loi soutiennent que sans régulation, les modèles d’IA pourraient causer des dommages irréparables, tant sur le plan individuel que sociétal.

Un contexte réglementaire plus large

Le débat sur la réglementation de l'IA ne se limite pas à la Californie. Les gouvernements du monde entier s'efforcent de gérer les progrès rapides de la technologie de l'IA. En octobre, le président américain Joe Biden a publié un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. Le gouvernement britannique a également présenté des projets de réglementation de l'IA, et l'Union européenne a adopté une législation complète visant à mettre en place des garde-fous pour cette technologie.

Edward Snowden, le lanceur d'alerte qui a révélé les programmes de surveillance mondiale du gouvernement américain, s'est exprimé sur la question lors d'un appel vidéo à l'occasion de l'événement SuperAI à Singapour. Il a mis en garde contre une réglementation excessive en déclarant : « Nous assistons à la naissance d'un enfant doté d'une technologie entièrement nouvelle, et nous voyons déjà les loups-garous commencer à tourner en rond. » Snowden s'est dit préoccupé par le fait que les efforts de réglementation pourraient étouffer le potentiel de l'IA, ajoutant : « La panique liée à la sécurité de l'IA en général est quelque chose qui me pose problème. »

La croissance rapide et l'énorme potentiel de l'IA ont suscité des inquiétudes quant à la sécurité de cette technologie. L'année dernière, le milliardaire Elon Musk, investisseur de la première heure dans la société OpenAI, productrice de ChatGPT, l'a qualifiée de « menace existentielle » pour l'humanité. Plus tôt cette année, un groupe d'anciens et d'actuels employés d'OpenAI a publié une lettre ouverte dans laquelle ils avertissent que les « entreprises d'IA pionnières » ne sont pas suffisamment surveillées par les gouvernements et qu'elles posent de « graves risques » pour l'humanité.

Sources : le sénateur répond aux préoccupations d'OpenAI, vidéo dans le texte, Nancy Pelosi, lettre ouverte d'Anthropic

Et vous ?

Pensez-vous que les mesures de sécurité proposées dans le projet de loi sont suffisantes pour prévenir les risques liés à l’IA ? Pourquoi ou pourquoi pas ?
Comment les startups et les petites entreprises peuvent-elles s’adapter aux exigences du projet de loi sans compromettre leur capacité à innover ?
Selon vous, quelles pourraient être les conséquences à long terme de l’absence de régulation stricte de l’IA ?
Le projet de loi pourrait-il inspirer d’autres États ou pays à adopter des régulations similaires ? Quels en seraient les impacts ?
Comment équilibrer la nécessité de réguler l’IA pour garantir la sécurité tout en favorisant l’innovation technologique ?
Quels autres aspects de l’IA devraient être pris en compte dans les régulations futures ?
Pensez-vous que les grandes entreprises technologiques ont trop d’influence sur les décisions politiques concernant l’IA ? Pourquoi ou pourquoi pas ?

[Jade Emy]

Le projet de loi controversé sur l'IA en Californie est adopté par l'assemblée législative et attend la signature du gouverneur, alors que Google et OpenAI s'y opposent fermement

Le projet de loi controversé sur l'IA en Californie prévoit des tests de sécurité pour les modèles d'IA avancés. Il a été adopté par l'assemblée législative et doit maintenant être signé par le gouverneur de Californie. Les entreprises technologiques, notamment Google, Meta et OpenAI, s'y opposent largement, arguant qu'il pourrait freiner l'innovation.

Un projet de loi en Californie, visant à réguler le développement des modèles d’intelligence artificielle (IA), a déclenché une vive controverse à Silicon Valley. Le projet de loi, connu sous le nom de "Safe and Secure Innovation for Frontier Artificial Intelligence Models Act", propose des mesures strictes pour garantir la sécurité des modèles d’IA avancés. Le projet de loi imposerait davantage de responsabilités, notamment des tests de sécurité et la mise en œuvre de mesures de protection. Les entreprises doivent également accepter de se soumettre à des audits par des tiers.

Les législateurs californiens ont adopté ce projet de loi très controversé sur la sécurité de l'IA, qui devait encore faire l'objet d'un vote avant d'être remis entre les mains du gouverneur. Le gouverneur Gavin Newsom a jusqu'au 30 septembre pour décider de le promulguer ou d'y opposer son veto.

Les entreprises technologiques qui développent l'IA générative - capable de répondre à des messages sous forme de texte, d'images ou de sons entièrement formés et d'exécuter des tâches répétitives avec un minimum d'intervention - se sont largement opposées à cette loi, appelée SB 1047, estimant qu'elle pourrait pousser les entreprises d'IA à quitter l'État et à entraver l'innovation.

Certains démocrates du Congrès américain, dont la représentante Nancy Pelosi, s'y sont également opposés. Parmi les partisans de cette mesure figure le PDG de Tesla, Elon Musk, qui dirige également une entreprise d'IA appelée xAI et a déclaré qu'il soutenait le projet de loi.

La mesure impose des tests de sécurité pour un grand nombre des modèles d'IA les plus avancés dont le développement coûte plus de 100 millions de dollars ou qui nécessitent une quantité définie de puissance de calcul. Les développeurs de logiciels d'IA opérant dans l'État doivent également présenter des méthodes permettant de désactiver les modèles d'IA en cas de dérapage, ce qui revient à mettre en place un interrupteur d'arrêt.

Le projet de loi donne également au procureur général de l'État le pouvoir d'intenter des poursuites si les développeurs ne se conforment pas à la loi, en particulier en cas de menace permanente, par exemple si l'IA prend le contrôle de systèmes gouvernementaux tels que le réseau électrique. En outre, le projet de loi exige des développeurs qu'ils engagent des auditeurs tiers pour évaluer leurs pratiques en matière de sécurité et offre des protections supplémentaires aux dénonciateurs qui dénoncent les abus de l'IA.

L'auteur du projet de loi, le sénateur démocrate Scott Wiener, représente la ville de San Francisco, où se trouvent OpenAI et de nombreuses start-ups qui développent ce puissant logiciel. Il a déclaré qu'il était nécessaire de légiférer pour protéger le public avant que les progrès de l'IA ne deviennent trop lourds ou incontrôlables.

Martin Casado, associé général de la société de capital-risque Andreessen Horowitz, a déclaré avant le vote qu'il espérait que M. Newsom opposerait son veto. "Il s'agit de l'opposition la plus large et la plus bipartisane que j'aie jamais vue", a-t-il déclaré.

Google d'Alphabet, OpenAI, soutenu par Microsoft, et Meta Platforms ont exprimé leurs préoccupations dans des lettres adressées à M. Wiener. Anthropic, soutenu par Amazon, a déclaré que les avantages du projet de loi l'emportaient probablement sur les coûts, bien qu'il ait ajouté que certains aspects semblaient encore préoccupants ou ambigus.

Et vous ?

Pensez-vous que ce projet de loi est crédible ou pertinent ?
Quel est votre avis sur la suite de cette affaire ?

Voir aussi :

Le projet de loi californien sur l'IA menace-t-il l'innovation ou protège-t-il la société ? Google, Meta et OpenAI s'y opposent, arguant qu'il pourrait freiner l'innovation, tandis qu'Elon Musk le soutient

Les Big Tech (GAFAM) veulent réglementer l'IA, mais les autres entrepreneurs sont sceptiques. Selon eux leur réelle volonté serait juste de geler le marché de l'IA pour conserver leur monopole

AI Act : les nouvelles règles européennes en matière d'intelligence artificielle entrent en vigueur. L'objectif déclaré est d'encourager le développement et l'adoption de systèmes IA sûrs et fiables en UE

Exode chez OpenAI : près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise. Sam Altman, qui a réclamé une réglementation de l'IA, s'y oppose lorsqu'elle est implémentée

[Stéphane le calme]

Les États-Unis, le Royaume-Uni et l'Union européenne signent le premier traité juridiquement contraignant sur l'IA
visant à promouvoir le progrès tout en gérant les risques potentiels de l’IA

Dans une avancée historique pour la gouvernance mondiale de l’intelligence artificielle (IA), les États-Unis, le Royaume-Uni et l’Union Européenne ont signé le premier traité international juridiquement contraignant sur l’IA. Ce traité, élaboré sous l’égide du Conseil de l’Europe, vise à garantir que l’utilisation de l’IA respecte les droits de l’homme, la démocratie et l’état de droit.

Contexte et objectifs du traité

Le traité, signé le 5 septembre 2024 à Vilnius, en Lituanie, marque une étape cruciale dans la régulation de l’IA. Il s’agit de la première convention internationale qui impose des obligations légales aux signataires pour encadrer le cycle de vie complet des systèmes d’IA. L’objectif principal est de promouvoir le progrès et l’innovation tout en gérant les risques potentiels que l’IA peut poser aux droits de l’homme, à la démocratie et à l’état de droit.

« La Convention-cadre du Conseil de l’Europe sur l’intelligence artificielle et les droits de l’homme, la démocratie et l’État de droit est le premier instrument international juridiquement contraignant dans ce domaine. Elle vise à garantir que les activités menées dans le cadre du cycle de vie des systèmes d’intelligence artificielle sont pleinement compatibles avec les droits humains, la démocratie et l’État de droit, tout en étant propice au progrès et aux innovations technologiques.

« La Convention-cadre complémente les normes internationales existantes relatives aux droits humains, à la démocratie et à l’État de droit, et a pour but de palier à tout vide juridique qui pourrait résulter des avancées technologiques rapides. Afin de résister au temps, la Convention-cadre ne régule pas la technologie et est essentiellement neutre sur le plan technologique ».

Historic moment! The #CoE opens the first-ever legally binding global treaty on #AI and human rights.

Signed by EU 🇦🇩 🇬🇪 🇮🇸 🇳🇴🇲🇩🇸🇲 🇬🇧 🇮🇱 🇺🇸, this Framework Convention ensures AI aligns with our values.

#HumanRights #Innovation #Democracy #GlobalTreaty

— Council of Europe (@coe) September 5, 2024

Le premier traité international juridiquement contraignant sur l'IA

Les droits de l'homme, la démocratie et l'État de droit seront davantage protégés contre les menaces potentielles posées par l'intelligence artificielle (IA) en vertu d'un nouvel accord international. Le nouveau cadre adopté par le Conseil de l'Europe engage les parties à prendre des mesures collectives pour gérer les produits de l'IA et protéger le public d'une éventuelle utilisation abusive.

L'IA est susceptible d'apporter des avantages significatifs, tels que la stimulation de la productivité et l'augmentation des taux de détection du cancer. Toutefois, la nouvelle convention prévoit d'importantes mesures de protection contre les risques qu'elle comporte, tels que la diffusion de fausses informations ou l'utilisation de données biaisées susceptibles d'influer sur les décisions.

Le traité garantira que les pays surveillent son développement et que toute technologie soit gérée dans le cadre de paramètres stricts. Il comprend des dispositions visant à protéger le public et ses données, les droits de l'homme, la démocratie et l'État de droit. Il engage également les pays à prendre des mesures contre les activités qui ne respectent pas ces paramètres afin de lutter contre l'utilisation abusive des modèles d'IA qui présentent un risque pour les services publics et le grand public.

La Convention-cadre a été signée par Andorre, la Géorgie, l’Islande, la Norvège, la République de Moldova, Saint-Marin, le Royaume-Uni ainsi qu’Israël, les États-Unis d’Amérique et l’Union européenne.

« Nous devons faire en sorte que l’essor de l’intelligence artificielle se fasse au service et dans le respect de nos normes, et non pas à leur détriment. La Convention-cadre a été conçue dans cette optique. Ce texte solide et équilibré est le fruit de l’approche ouverte et inclusive qui a présidé à sa rédaction et qui a permis de s’assurer qu’il bénéficie des points de vue d’un vaste éventail de spécialistes. La Convention-cadre est un traité ouvert, de portée potentiellement mondiale. J’espère que ces signatures seront les premières d’une longue série et qu’elles seront rapidement suivies de ratifications, afin que le traité puisse entrer en vigueur dans les meilleurs délais » a déclaré la Secrétaire Générale du Conseil de l’Europe, Marija Pejčinović Burić.

Le traité établit un cadre juridique qui couvre l’ensemble du cycle de vie des systèmes d’intelligence artificielle. Il encourage le progrès et l’innovation dans ce domaine tout en atténuant les risques que l’IA peut poser pour les droits humains, la démocratie et l’État de droit. Pour résister à l’épreuve du temps, ce traité est neutre sur le plan technologique.

La Convention-cadre a été adoptée par le Comité des Ministres du Conseil de l’Europe le 17 mai 2024. Les 46 États membres du Conseil de l’Europe, l’Union européenne ainsi que 11 États non membres (l’Argentine, l’Australie, le Canada, le Costa Rica, les États-Unis d’Amérique, Israël, le Japon, le Mexique, le Pérou, le Saint-Siège et l’Uruguay) ont participé à la négociation du traité. Des représentant·es du secteur privé, de la société civile et du monde universitaire y ont contribué en qualité d’observateurs.

Le traité entrera en vigueur le premier jour du mois qui suit l’expiration d’une période de trois mois après la date à laquelle cinq signataires, dont au moins trois États membres du Conseil de l’Europe, l’auront ratifié. Les pays du monde entier pourront y adhérer et s’engager à en respecter les dispositions.

Quelles sont les obligations des états en vertu de la Convention-cadre ?

Les signataires du traité s’engagent à adopter ou à maintenir des mesures garantissant que l’utilisation de l’IA est conforme aux valeurs fondamentales de la société. Les principaux engagements incluent :

• Protection des droits de l’homme : Assurer que les données des individus sont utilisées de manière appropriée, que leur vie privée est respectée et que l’IA ne discrimine pas.
• Préservation de la démocratie : Prendre des mesures pour empêcher que les institutions et processus publics ne soient compromis par l’IA.
• Respect de l’état de droit : Réguler les risques spécifiques à l’IA, protéger les citoyens contre les dommages potentiels et garantir une utilisation sûre de la technologie

Il faut noter qu'il y a d'autres axes, notamment :

• des recours, droits procéduraux et garanties :
  
  • Documenter les informations pertinentes concernant les systèmes d’IA et leur utilisation, et les mettre à la disposition des personnes concernées ;
  • Les informations doivent être suffisantes pour permettre aux personnes concernées de contester la ou les décisions prises par le biais de l’utilisation du système ou fondées en grande partie sur celui-ci, et de contester l’utilisation du système lui-même ;
  • Possibilité effective de former un recours auprès des autorités compétentes ;
  • Mise à disposition des personnes affectées de garanties, de protections et de droits procéduraux effectifs lorsqu’un système d’intelligence artificielle a un impact significatif sur la jouissance des droits humains et des libertés fondamentales ;
  • Notification aux personnes concernées du fait qu’elles interagissent avec des systèmes d’intelligence artificielle et non avec un humain.
• des exigences en matière de gestion des risques et des impacts
  
  • Conduite d’évaluations des risques et des impacts, qu’ils soient réels ou potentiels sur les droits humains, la démocratie et l’État de droit, menées de manière itérative ;
  • Mise en place des mesures de prévention et d’atténuation suffisantes résultant de la mise en œuvre de ces évaluations ;
  • Possibilité pour les autorités d’instaurer un moratoire ou une interdiction pour certaines utilisations de systèmes d’IA (« lignes rouges »).

À qui s’applique la Convention-cadre ?

La Convention-cadre couvre l’utilisation des systèmes d’IA par les pouvoirs publics – y compris les acteurs privés qui agissent pour leur compte – et les acteurs privés.

La Convention-cadre offre aux Parties deux modalités pour se conformer à ses principes et obligations pour la régulation du secteur privé : elles peuvent choisir d’être directement obligées par les dispositions pertinentes de la Convention-cadre, ou de prendre d’autres mesures pour se conformer aux dispositions du traité tout en respectant pleinement leurs obligations internationales en matière de droits de l’homme, de démocratie et d’État de droit.

Les Parties à la Convention-cadre ne sont pas tenues d’appliquer les dispositions du traité aux activités liées à la protection de leurs intérêts de sécurité nationale, mais doivent veiller à ce que ces activités respectent le droit international et les institutions et processus démocratiques. La Convention-cadre ne s’applique pas aux questions de défense nationale ni aux activités de recherche et de développement, sauf lorsque les essais de systèmes d’intelligence artificielle risquent de porter atteinte aux droits de l’homme, à la démocratie ou à l’État de droit.

Réactions et perspectives

La signature de ce traité a été saluée comme une avancée majeure par de nombreux experts et responsables politiques. Marija Pejcinovic Buric, Secrétaire Générale du Conseil de l’Europe, a déclaré : « Nous devons nous assurer que l’essor de l’IA soutient nos normes, plutôt que de les saper ».

Le Lord Chancellor et secrétaire d'État à la justice, Shabana Mahmood, a déclaré :

« L'intelligence artificielle a la capacité d'améliorer radicalement la réactivité et l'efficacité des services publics et de donner un coup de fouet à la croissance économique.

« Cependant, nous ne devons pas laisser l'IA nous façonner - nous devons façonner l'IA.

« Cette convention est une étape importante pour garantir que ces nouvelles technologies puissent être exploitées sans éroder nos valeurs les plus anciennes, comme les droits de l'homme et l'État de droit ».

Cependant, certains observateurs ont exprimé des préoccupations quant à l’applicabilité et à l’efficacité des dispositions du traité. Francesca Fanucci, experte juridique au Centre Européen pour le Droit des Organisations à but non lucratif, a souligné que certaines formulations du traité étaient trop larges et comportaient des exceptions pour les systèmes d’IA utilisés à des fins de sécurité nationale

Pourquoi c'est important ? La signature de ce traité intervient à un moment où la sécurité de l'IA est un sujet brûlant

En début d'année, il a été rapporté qu'OpenAI, parent du ChatGPT, a renforcé son équipe de lobbying afin d'élaborer des réglementations en matière d'IA dans un contexte de préoccupations croissantes en matière de sécurité.

Notons d'ailleurs qu'OpenAI a supplié le Parlement britannique de l'autoriser à utiliser des œuvres protégées par le droit d'auteur, car il lui serait « impossible » d'entraîner ses modèles d'intelligence artificielle - et de poursuivre la croissance de son entreprise, qui pèse plusieurs milliards de dollars - sans ces œuvres.

Le mois dernier, la législature californienne a approuvé un projet de loi controversé sur la sécurité de l'IA, qui s'est heurté à la résistance de l'industrie technologique. Selon le marché des prédictions Polymarket, le projet de loi, soutenu par Elon Musk, a 53 % de chances d'être signé par le gouverneur Gavin Newsom.

Conclusion

Le traité sur l’IA signé par les États-Unis, le Royaume-Uni et l’Union Européenne représente une avancée significative vers une régulation mondiale de l’intelligence artificielle. En établissant des normes juridiquement contraignantes, ce traité vise à garantir que l’IA est développée et utilisée de manière éthique et responsable, tout en protégeant les valeurs fondamentales de la société.

Sources : convention-cadre du Conseil de l'Europe sur l'intelligence artificielle et les droits de l’homme, Commission européenne, gouvernement britannique, PolyMarket, le Conseil de l’Europe ouvre à la signature le premier traité mondial sur l’IA

Et vous ?

Pensez-vous que ce traité est suffisant pour encadrer les risques liés à l’IA, ou faut-il des mesures supplémentaires ?
Quels aspects du traité trouvez-vous les plus importants pour la protection des droits de l’homme ?
Comment les gouvernements peuvent-ils garantir que les entreprises respectent les dispositions de ce traité ?
Quels pourraient être les défis majeurs pour la mise en œuvre de ce traité dans les différents pays signataires ?
Voyez-vous des domaines où l’IA pourrait encore poser des risques malgré ce traité ?
Comment ce traité pourrait-il influencer l’innovation et le développement technologique dans le domaine de l’IA ?
Pensez-vous que d’autres pays devraient rejoindre ce traité ? Pourquoi ou pourquoi pas ?
Quels mécanismes de surveillance et de contrôle devraient être mis en place pour assurer le respect du traité ?
Comment ce traité pourrait-il affecter la compétitivité des entreprises technologiques dans les pays signataires par rapport à celles des pays non signataires ?
Quelles sont vos préoccupations principales concernant l’IA et comment pensez-vous que ce traité y répond ?

[eddy72]

"Le traité entrera en vigueur le premier jour du mois qui suit l’expiration d’une période de trois mois après la date à laquelle cinq signataires,

dont au moins trois États membres du Conseil de l’Europe, l’auront ratifié."

Vive la simplicité !!!

[Fluxgraveon]

En établissant des normes juridiquement contraignantes, ce traité vise à garantir que l’IA est développée et utilisée de manière éthique et responsable, tout en protégeant les valeurs fondamentales de la société.

Quelles "valeurs" ?

[Patrick Ruiz]

Des dizaines de travailleurs de la filière IA se retournent contre leurs patrons et signent une lettre de soutien au projet de loi californien sur l'IA
Susceptible de freiner les géants technologiques

Des dizaines d’employés d’entreprises parmi lesquelles on compte OpenAI, Google Deepmind et Meta font face à leurs patrons pour appeler à une pause dans le développement de l’intelligence artificielle et à la mise sur pied d’un cadre réglementaire plus strict en la matière. Ils le font savoir dans une lettre dans laquelle ils expriment leur soutien au projet de loi californien sur l’intelligence artificielle dénommé SB 1047.

Cher gouverneur Newsom,

En tant qu'anciens et actuels employés d'entreprises d'intelligence artificielle pionnières telles que OpenAI, Google DeepMind, Anthropic, Meta et xAI, nous vous écrivons à titre personnel pour exprimer notre soutien au projet de loi 1047 du Sénat californien.

Nous pensons que les modèles d'intelligence artificielle les plus puissants pourraient bientôt présenter des risques graves, tels qu'un accès élargi aux armes biologiques et des cyberattaques sur les infrastructures critiques. Il est possible et approprié pour les entreprises pionnières de l'IA de tester si les modèles d'IA les plus puissants peuvent causer des dommages graves, et pour ces entreprises de mettre en œuvre des mesures de protection raisonnables contre ces risques.

Malgré l'incertitude inhérente à la réglementation des technologies avancées, nous pensons que le projet de loi SB 1047 représente une avancée significative. Nous vous recommandons de promulguer le projet de loi SB 1047.

Nous vous prions d'agréer, Monsieur le Président, l'expression de nos salutations distinguées.

Many AI company employees came out in favor of SB 1047 (@GavinNewsom)https://t.co/WicgvWlrcY pic.twitter.com/9WuE5if4RN

— Dan Hendrycks (@DanHendrycks) September 9, 2024

Certaines entreprises derrière les modèles d’intelligence artificielle les plus en vue reconnaissent ne pas avoir la maîtrise totale de leur fonctionnement

Le PDG de l'entreprise, Sam Altman, a déclaré qu'OpenAI n'avait pas besoin de comprendre parfaitement son produit pour en publier de nouvelles versions. Lors d'un entretien le 30 mai avec Nicholas Thompson, PDG de The Atlantic, au sommet mondial AI for Good de l'Union internationale des télécommunications (UIT) à Genève, en Suisse, Altman a parlé de la sécurité de l'IA et du potentiel de la technologie pour le bien de l'humanité. Toutefois, le PDG n'a pas semblé avoir une bonne réponse à la question fondamentale du fonctionnement de GPT.

« Nous n'avons certainement pas résolu la question de l'interprétabilité », a déclaré Altman. Dans le domaine de l'intelligence artificielle, l'interprétabilité - ou l'explicabilité - consiste à comprendre comment les systèmes d'IA et d'apprentissage automatique prennent des décisions, selon le Centre pour la sécurité et les technologies émergentes de l'université de Georgetown.

« Si vous ne comprenez pas ce qui se passe, n'est-ce pas un argument pour ne pas continuer à publier de nouveaux modèles plus puissants ? a demandé Thompson. Altman a éludé la question et a fini par répondre que, même en l'absence d'une cognition complète, « ces systèmes sont généralement considérés comme sûrs et robustes ».

Voici son raisonnement : GPT, comme le cerveau humain, génère du contenu en se basant sur des ensembles de données existants et peut apprendre au fil du temps. Cependant, il ne possède pas d’intelligence émotionnelle ni de conscience humaine. Malgré cela, il peut être difficile de comprendre comment les algorithmes, tout comme notre cerveau, parviennent à leurs conclusions.

« Nous ne comprenons pas ce qui se passe dans votre cerveau, neurone par neurone, et pourtant nous savons que vous pouvez suivre certaines règles et nous pouvons vous demander d'expliquer pourquoi vous pensez quelque chose », a déclaré Altman. En comparant le GPT au cerveau humain, Altman a évoqué la présence d'une boîte noire, ou d'un sentiment de mystère derrière sa fonctionnalité. À l'instar du cerveau humain, la technologie d'IA générative telle que GPT crée de nouveaux contenus sur la base d'ensembles de données existants et est censée apprendre au fil du temps.

C’est la raison des appels de certains manifestants à « Arrêter la course, car les développements de l’IA ne sont pas sûrs »

À Londres, une vingtaine de manifestants se sont postés devant le ministère britannique de la science, de l'innovation et de la technologie, scandant des slogans tels que « arrêtez la course, ce n'est pas sûr » et « l'avenir de qui ? notre avenir », dans l'espoir d'attirer l'attention des décideurs politiques. Les manifestants affirment que leur objectif est d'inciter les gouvernements à réglementer les entreprises qui développent des modèles d'IA d'avant-garde, notamment le Chat GPT d'OpenAI. Ils affirment que les entreprises ne prennent pas suffisamment de précautions pour s'assurer que leurs modèles d'IA sont suffisamment sûrs pour être diffusés dans le monde.

« Les entreprises d'IA ont prouvé à maintes reprises que l'on ne pouvait pas leur faire confiance, à travers la manière dont elles traitent leurs employés et le travail des autres, en le volant littéralement et en le jetant dans leurs modèles », a déclaré Gideon Futerman, un étudiant d'Oxford qui a prononcé un discours lors de la manifestation.

L'une des manifestantes, Tara Steele, rédactrice indépendante qui travaille sur des blogs et des contenus de référencement, a déclaré qu'elle avait constaté l'impact de la technologie sur ses propres moyens de subsistance. « J'ai remarqué que depuis l'apparition de ChatGPT, la demande de travail en freelance a considérablement diminué », explique-t-elle. « Personnellement, j'adore écrire... J'ai vraiment adoré ça. Et c'est un peu triste, émotionnellement ».

Elle explique que sa principale raison de protester est qu'elle craint que les modèles d'intelligence artificielle d'avant-garde n'aient des conséquences encore plus dangereuses à l'avenir. « Nous avons une foule d'experts hautement qualifiés, des lauréats du prix Turing, des chercheurs en intelligence artificielle très cités et les PDG des entreprises d'intelligence artificielle eux-mêmes [qui affirment que l'intelligence artificielle pourrait être extrêmement dangereuse] ».

Elle est particulièrement préoccupée par le nombre croissant d'experts qui mettent en garde contre les conséquences catastrophiques d'une IA mal maîtrisée. Un rapport commandé par le gouvernement américain, publié en mars, met en garde contre « l'essor de l'IA avancée et de l'IAG [intelligence artificielle générale], qui pourrait déstabiliser la sécurité mondiale d'une manière qui rappelle l'introduction des armes nucléaires ». Actuellement, les plus grands laboratoires d'IA tentent de construire des systèmes capables de surpasser les humains dans presque toutes les tâches, y compris la planification à long terme et la pensée critique. S'ils y parviennent, de plus en plus d'aspects de l'activité humaine pourraient être automatisés, qu'il s'agisse de choses banales comme les achats en ligne ou de l'introduction de systèmes d'armes autonomes qui pourraient agir d'une manière que nous ne pouvons pas prédire. Cela pourrait conduire à une « course aux armements » qui augmenterait la probabilité « d'accidents mortels à l'échelle mondiale et à l'échelle des ADM [armes de destruction massive], de conflits interétatiques et d'escalade », selon le rapport.

Source : Lettre

Et vous ?

Quelles sont les principales préoccupations que vous avez concernant le développement rapide de l’intelligence artificielle ?
Comment les gouvernements devraient-ils réguler l’IA pour équilibrer l’innovation et la sécurité publique ?
Quel rôle le public doit-il jouer dans la décision des limites de l’IA ?
Les avantages de l’IA l’emportent-ils sur les risques potentiels pour l’emploi et la vie privée ?
Devrions-nous craindre une ‘course à l’IA’ entre les entreprises et les nations, et si oui, comment pouvons-nous la prévenir ?
Quelles mesures de sécurité spécifiques les entreprises d’IA devraient-elles mettre en place avant de lancer de nouveaux produits ?
Comment l’IA a-t-elle affecté votre vie professionnelle ou personnelle, et quelles sont vos attentes pour l’avenir ?
Quelles sont les responsabilités éthiques des développeurs d’IA, et comment peuvent-ils s’assurer qu’ils les respectent ?

Voir aussi :

Craignant l'extinction de l'humanité, un groupe de protestation milite pour l'arrêt du développement de l'IA jusqu'à ce que des mesures de sécurité adéquates soient établies