Discussion :

[Stéphane le calme]

Les entreprises technologiques se sont mises d'accord sur la mise en place d'un « interrupteur d'arrêt » de l'IA pour éviter les risques du type Terminator.
Elles s'engagent à ne pas dépasser les limites, mais lesquelles ?

Les plus grandes entreprises d’intelligence artificielle (IA) du monde ont récemment pris une mesure importante pour atténuer les craintes liées au développement incontrôlé de l’IA. Lors d’un sommet à Séoul, 16 entreprises influentes, dont Anthropic, Microsoft et OpenAI, ont convenu d’un « interrupteur d’arrêt » pour leurs modèles d’IA les plus avancés. Mais qu’est-ce que cela signifie exactement et comment cela pourrait-il affecter notre avenir?

Il n'est pas question de remettre l'IA dans la boîte de Pandore, mais les plus grandes entreprises d'IA du monde collaborent volontairement avec les gouvernements pour répondre aux plus grandes craintes liées à cette technologie et apaiser les inquiétudes selon lesquelles le développement incontrôlé de l'IA pourrait conduire à des scénarios de science-fiction dans lesquels l'IA se retournerait contre ses créateurs. Toutefois, sans dispositions juridiques strictes renforçant les engagements des gouvernements en matière d'IA, les conversations n'iront pas plus loin.

Plus tôt ce mois-ci, 16 entreprises d'IA influentes, dont Anthropic, Microsoft et OpenAI, 10 pays et l'UE se sont réunis lors d'un sommet à Séoul pour définir des lignes directrices sur le développement responsable de l'IA. L'un des principaux résultats du sommet est que les entreprises d'IA présentes se sont mises d'accord sur ce que l'on appelle un « kill switch », c'est-à-dire une politique selon laquelle elles arrêteraient le développement de leurs modèles d'IA les plus avancés s'ils étaient considérés comme ayant franchi certains seuils de risque. Il est toutefois difficile de savoir si cette politique est réellement efficace, étant donné qu'elle n'est pas assortie d'un poids juridique réel ou qu'elle ne définit pas de seuils de risque spécifiques. De plus, les autres entreprises d'IA non présentes, ou concurrentes de celles qui ont accepté les termes de l'accord dans l'esprit, ne seraient pas soumises à l'engagement.

« À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système si des mesures d'atténuation ne peuvent pas être appliquées pour maintenir les risques en dessous des seuils », peut-on lire dans le document d'orientation signé par les entreprises d'IA, dont Amazon, Google et Samsung.

Concernant l'identification et la gestion des risques, voici d'autres éléments qui sont ressortis de ce sommet :

1. Évaluer les risques posés par leurs modèles ou systèmes d'avant-garde tout au long du cycle de vie de l'IA, y compris avant le déploiement du modèle ou du système et, le cas échéant, avant et pendant la formation. Les évaluations des risques devraient tenir compte des capacités des modèles et du contexte dans lequel ils sont développés et déployés, ainsi que de l'efficacité des mesures d'atténuation mises en œuvre pour réduire les risques associés à leur utilisation prévisible et à leur mauvaise utilisation. Elles devraient également prendre en compte les résultats des évaluations internes et externes, le cas échéant, telles que celles effectuées par des évaluateurs tiers indépendants, par leurs gouvernements d'origine et par d'autres organismes que leurs gouvernements jugent appropriés.
2. Fixer des seuils à partir desquels les risques graves posés par un modèle ou un système, s'ils ne sont pas atténués de manière adéquate, seraient jugés intolérables. Évaluer si ces seuils ont été franchis, et notamment contrôler dans quelle mesure un modèle ou un système est proche d'un tel franchissement. Ces seuils doivent être définis avec l'aide d'acteurs de confiance, y compris, le cas échéant, les gouvernements nationaux respectifs des organisations. Ils doivent être alignés sur les accords internationaux pertinents auxquels leurs gouvernements d'origine sont parties. Ils doivent également être accompagnés d'une explication de la manière dont les seuils ont été fixés et d'exemples spécifiques de situations dans lesquelles les modèles ou les systèmes présenteraient un risque intolérable.
3. Expliquer comment les mesures d'atténuation des risques seront identifiées et mises en œuvre pour maintenir les risques dans les limites définies, y compris les mesures d'atténuation des risques liés à la sûreté et à la sécurité, telles que la modification du comportement des systèmes et la mise en œuvre de contrôles de sécurité robustes pour les pondérations de modèle non publiées.
4. Définir des processus explicites qu'ils ont l'intention de suivre si leur modèle ou leur système présente des risques qui atteignent ou dépassent les seuils prédéfinis. Il s'agit notamment de processus visant à poursuivre le développement et le déploiement de leurs systèmes et modèles uniquement s'ils estiment que les risques résiduels resteront en deçà des seuils. À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système s'il est impossible d'appliquer des mesures d'atténuation pour maintenir les risques en deçà des seuils.
5. Investir en permanence dans l'amélioration de leur capacité à mettre en œuvre les engagements i-iv, y compris l'évaluation et l'identification des risques, la définition des seuils et l'efficacité des mesures d'atténuation. Cela devrait inclure des processus permettant d'évaluer et de contrôler l'adéquation des mesures d'atténuation et d'identifier des mesures d'atténuation supplémentaires, le cas échéant, afin de garantir que les risques restent inférieurs aux seuils prédéfinis. Ils contribueront aux meilleures pratiques émergentes, aux normes internationales et aux travaux scientifiques sur l'identification, l'évaluation et l'atténuation des risques liés à l'IA, et tiendront compte de ces éléments.

Un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle

Ce sommet faisait suite au sommet de Bletchley Park sur la sécurité de l'IA, qui s'est tenu en octobre dernier et qui a rassemblé un groupe similaire de développeurs d'IA. Il a été critiqué pour son manque d'engagements concrets à court terme visant à protéger l'humanité de la prolifération de l'IA.

À la suite de ce sommet, un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle du forum et le rôle prépondérant des entreprises d'IA dans la promotion de la réglementation dans leur propre secteur. « L'expérience a montré que la meilleure façon de s'attaquer à ces problèmes est de mettre en place des mandats réglementaires exécutoires, et non des mesures d'autorégulation ou volontaires », peut-on lire dans la lettre.

D'abord dans la science-fiction, et maintenant dans la vie réelle, des écrivains et des chercheurs ont mis en garde contre les risques d'une intelligence artificielle puissante depuis des décennies. L'une des références les plus connues est le « scénario Terminator », théorie selon laquelle, si elle n'est pas maîtrisée, l'IA pourrait devenir plus puissante que ses créateurs humains et se retourner contre eux. Cette théorie tire son nom du film d'Arnold Schwarzenegger de 1984, dans lequel un cyborg remonte le temps pour tuer une femme dont le fils à naître luttera contre un système d'IA destiné à déclencher un holocauste nucléaire.

« L'IA offre d'immenses possibilités de transformer notre économie et de résoudre nos plus grands défis, mais j'ai toujours été claire sur le fait que ce potentiel ne peut être pleinement exploité que si nous sommes capables de maîtriser les risques posés par cette technologie complexe qui évolue rapidement », a déclaré Michelle Donelan, secrétaire d'État britannique à la technologie.

Les entreprises spécialisées dans l'IA reconnaissent elles-mêmes que leurs offres les plus avancées s'aventurent dans des eaux technologiques et morales inexplorées. Le PDG d'OpenAI, Sam Altman, a déclaré que l'intelligence artificielle générale (IAG), qu'il définit comme une IA qui dépasse l'intelligence humaine, est « pour bientôt » et qu'elle comporte des risques.

« L'IAG s'accompagnerait également d'un risque sérieux de mauvaise utilisation, d'accidents graves et de perturbations sociétales », peut-on lire dans un billet de blog d'OpenAI. « Parce que le potentiel de l'IAG est si important, nous ne pensons pas qu'il soit possible ou souhaitable pour la société d'arrêter son développement pour toujours ; au contraire, la société et les développeurs de l'IAG doivent trouver le moyen de bien faire les choses ».

Des difficultés à mettre en place des cadres réglementaires mondiaux autour de l'IA

Jusqu'à présent, les efforts visant à mettre en place des cadres réglementaires mondiaux autour de l'IA ont été dispersés et, pour la plupart, dépourvus d'autorité législative. Un cadre politique des Nations unies demandant aux pays de se prémunir contre les risques de l'IA pour les droits de l'homme, de surveiller l'utilisation des données personnelles et d'atténuer les risques liés à l'IA a été approuvé à l'unanimité le mois dernier, mais il n'était pas contraignant. La déclaration de Bletchley, pièce maîtresse du sommet mondial sur l'IA qui s'est tenu en octobre dernier au Royaume-Uni, ne contenait aucun engagement tangible en matière de réglementation.

Entre-temps, les entreprises du secteur de l'IA ont commencé à créer leurs propres organisations en faveur d'une politique de l'IA. Par exemple, Amazon et Meta ont rejoint la Frontier Model Foundation, une organisation à but non lucratif « dédiée à l'amélioration de la sécurité des modèles d'IA d'avant-garde », selon son site web. Ils rejoignent les membres fondateurs Anthropic, Google, Microsoft et OpenAI. L'organisation à but non lucratif n'a pas encore présenté de propositions politiques fermes.

Conclusion

L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».

Sources : Engagements en matière de sécurité de l'IA d'avant-garde, Sommet de Séoul sur l'IA 2024, AI Now se joint aux groupes de la société civile dans une déclaration appelant à une réglementation pour protéger le public, des leaders mondiaux décident de lancer le premier réseau international d'instituts de sécurité de l'IA afin de stimuler la coopération en matière d'IA, OpenAI, l'Assemblée générale des Nations unies (AGNU) a adopté la première résolution mondiale sur l'intelligence artificielle, Amazon et Meta rejoignent le Frontier Model Forum pour promouvoir la sécurité de l'IA

Et vous ?

Pensez-vous que les entreprises d’IA devraient être autorisées à réguler elles-mêmes leurs propres technologies, ou devrions-nous compter davantage sur des réglementations gouvernementales ?
Quels critères devraient être utilisés pour déterminer si un modèle d’IA est trop risqué et doit être arrêté ?
Quelles autres mesures pourraient être prises pour prévenir les risques liés à l’IA, en plus de l’interrupteur d’arrêt ?
Croyez-vous que l’accord sur l’interrupteur d’arrêt est suffisant pour protéger l’humanité contre les risques de l’IA, ou faut-il aller plus loin ?
Comment pouvons-nous équilibrer les avantages de l’IA avec les préoccupations légitimes concernant la sécurité et l’éthique ?

[Fluxgraveon]

Et le vivant à les mêmes problématique que la conscience, malgré qu'on connaît tout de leur processus physique , cela ne nous apprend rien sur "comment ça marche".

Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?
De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.


Et aussi :

Conclusion
L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».

Pour faire bref, le fait que l'inscription " Γνῶθι σεαυτόν" ("connais-toi toi même") soit gravée à l'entrée du temple de Delphes (c'est la plus ancienne) indique une condition initiale pour être en capacité de recevoir l'oracle proféré par la Πυθία (Pythie) et s'affranchir de l'interprétation des prêtres (voilà que je deviens hérétique, tiens).
L'IA (peu importe ici ce dont il s'agit) est une création humaine (comme le syndrome terminator), peut-être l'externalisation d'une fonctionnalité nécessaire à ce moment technologique, qui du fait même de la technologie (agressive pour le moins) risque de nous emporter tous (voire même par inadvertance) : sommes-nous capables de nous connaître nous-mêmes ?

[Kannagi]

Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?

André Pichot ( biologiste et épistémologiste ) supposé lui aussi que la vision purement "mécanisme" était une impasse :

Selon lui la biologie moderne est dans une impasse théorique qu'elle masque à l'aide d'opérations médiatiques et de débauche technologique (Téléthon, annonces fracassantes de thérapies miracles, séquençage du génome humain, etc).

La domination du néo-darwinisme de la génétique et de la biologie moléculaire (constituée de « dogmes » selon certains biologistes, et notamment Francis Crick) aurait, selon Pichot, stérilisé presque toute tentative de penser le vivant autrement que comme une machine.
L'analogie mécaniste remonte au XVIIe siècle et n'était alors qu'une métaphore commode, faite faute de mieux ; aujourd'hui selon lui la machine serait devenue le modèle exclusif par lequel les scientifiques tentent d'appréhender le vivant.

Or une telle conception du vivant est très critiquable. Selon Pichot, tant que cette conception du vivant comme machine ne sera pas critiquée et tant qu'il n'y aura pas de théorie sur la nature des êtres vivants qui reconnaisse leur spécificité par rapport aux objets inanimés et aux machines, il ne sortira rien de la biologie moderne

De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.

Je ne suis pas biologiste , je parlais des neurones du cerveau , mais j'ai presque envie de dire "peu imposte" , ce que je voulais relevé était qu'un neurone est un peu plus complexe que la vision actuel qu'on en fait qui est une sorte de multriplication de matrice (IA) , avec de simple "entre sortie" multiple.

Pareil pour l'ADN qui n'est pas un "programme" (que André Pichot critiquais d'ailleurs).

Je pense que nos grandes méconnaissance du vivant sur ces nombreux point sont quelque chose de plus significatif.
Le soucis de la vision mécanisme , ce n'est pas tant pour moi que le vivant n'est pas une "machine" , mais que nous la voyant comme des rouages qui ont chaqu'un leur propre mécanisme indépendant, comme une voiture qu'on pourrait changer de pièce , et que chaque pièce étant totalement indépendant.
Ce qui conduit à la conclusion actuel que le cerveau c'est juste un "algorithme" en effaçant toute la partie vivante comme si cela n'avait aucun impact.

Alors que j'ai des forts doutes sur cette vision, au contraire, j'ai l'impression que chaque rouage du vivant partage plus ou moins les mêmes "mécanismes" mais en plus sont fortement dépendant entre elle.
Et le cerveau et la conscience en font partie intégrante de ce mécanisme entremelée.

[Fluxgraveon]

Je ne suis pas biologiste , je parlais des neurones du cerveau , mais j'ai presque envie de dire "peu imposte" , ce que je voulais relevé était qu'un neurone est un peu plus complexe que la vision actuel qu'on en fait qui est une sorte de multriplication de matrice (IA) , avec de simple "entre sortie" multiple

Tout à fait, il ne suffit que de consulter l'entrée "microtubule" dans wikipedia (j'aime beaucoup la référence à la kinésine) et les récentes découvertes concernant la myéline (pour ma part, la chimérisation est une voie importante de l'agencement cellulaire du vivant), quoique cela ne nous renseigne pas vraiment sur l'agentivité à l’œuvre.

Ce qui conduit à la conclusion actuel que le cerveau c'est juste un "algorithme" en effaçant toute la partie vivante comme si cela n'avait aucun impact.

Alors que j'ai des forts doutes sur cette vision, au contraire, j'ai l'impression que chaque rouage du vivant partage plus ou moins les mêmes "mécanismes" mais en plus sont fortement dépendant entre elle.
Et le cerveau et la conscience en font partie intégrante de ce mécanisme entremelée.

Comme une interdépendance des phénomènes ? Ce qui pourrait constituer un pas vers l'intégration de l'agentivité en question et court-circuiter la réification technologique (nécessaire à une configuration de type IoT cela dit) : il manque encore quelque chose disons "de plus rentable que la rentabilité elle-même", peut-être quelque chose de ... vital ?

[Kannagi]

Comme une interdépendance des phénomènes ? Ce qui pourrait constituer un pas vers l'intégration de l'agentivité en question et court-circuiter la réification technologique (nécessaire à une configuration de type IoT cela dit) : il manque encore quelque chose disons "de plus rentable que la rentabilité elle-même", peut-être quelque chose de ... vital ?

Ce n'est pas trop compris , et qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?

[Fluxgraveon]

Agencement, agentivité, génétique, épigénétique, etc. : il s'agit de recontextualiser en fait, sortir du laboratoire (quand bien même celui-ci est installé à ciel ouvert parfois) et "s'approprier" les dynamismes plutôt que les "choses".

qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?

En substance et au vu de ce vers quoi les humains convergent, qui est pour le moins toxique, un risque d'extinction de l'espèce (cf. les expériences de cloaque comportemental : des "répliques" d'un séisme de dépopulation de masse amenant finalement l'extinction de la population toute entière).

[Fluxgraveon]

J'ajoute :
La surabondance de données disponibles (qu'elles soient vraies, fausses, vraies et fausses, ni vraies et ni fausses - tétralemme nagarjunien pour l'au-delà d'une dualité complètement dépassée en regard des capacités qu'offre un outil d'intellection algorithmique ouvert -) génère un effet distanciateur et dissociateur comme l'hyperréalisme graphique ou la photographie par exemple (testé hier avec un individu lambda), qui empêche, à proprement parler de "voir".

Voir quoi ? Que c'est en train de se produire (cloaque comportemental) à tout le moins sur le plan de l'intellect (que nous pouvons dissocier du reste, n'est-ce-pas ?).

Ce qui nous différencie (dans cet échange) est que ce que vous appelez "conscience" (que je qualifie "d'effet" - consciousness effect -, de notre présence -awareness - au "monde") comme étant un fait du vivant est, de mon point de vue, non une probabilité (sans doute parce que cela est mesurable) mais une certitude (rien à mesurer).
Je vais même au-delà : l'intelligence est le fait même du vivant, de son expression (nous sommes des expressions du vivant parmi d'autres)

[Kannagi]

J'ajoute :
Je vais même au-delà : l'intelligence est le fait même du vivant, de son expression (nous sommes des expressions du vivant parmi d'autres)

C'est ce que j'ai dit sur un de mes premier messages
La plus grosse erreur est d'avoir séparé la conscience du vivant, ce qui est sur , c'est qu’on n'en saura rien de notre vivant vu cette mode de "l'ia" et la fable qu'un ordinateur créera une conscience.

Mon avis est que la conscience a "hérité" des processus du vivant , je pense qu'il y'a forcément des processus "similaire" en amont, ce n'est pas un processus qui est "spontané" et "singulier" du cerveau.

[Fluxgraveon]

C'est ce que j'ai dit sur un de mes premier messages
La plus grosse erreur est d'avoir séparé la conscience du vivant, ce qui est sur , c'est qu’on n'en saura rien de notre vivant vu cette mode de "l'ia" et la fable qu'un ordinateur créera une conscience.

Mon avis est que la conscience a "hérité" des processus du vivant , je pense qu'il y'a forcément des processus "similaire" en amont, ce n'est pas un processus qui est "spontané" et "singulier" du cerveau.

"Séparer la conscience du vivant" n'est pas une erreur "conventionnelle", c'est une erreur "nécessaire" et qui a un caractère itératif, de la même façon que cette discussion qui débouche sur une "mise au point à l'infini" (focométrie) : jusqu'à comprendre ce que cela ... recèle.
Ce qui est aussi la raison de votre émission d'un point de Godwin (Loi de Godwin étendue) ; ici, cela réside dans : "ce qui est sur , c'est qu’on n'en saura rien de notre vivant". En fait, vous ne me lisez pas, vous confirmez votre point de vue (cela ne me dérange pas du tout).
Quant à "la fable qu'un ordinateur créera une conscience", j'ai, pour faire bref, rencontré dans un bar un quadra actif, qui m'a affirmé considérer (ceci n'est pas du tout une blague) que son laptop est vivant.
Or quelqu'un a dit justement : " le reflet est vous, cela dit vous n'êtes pas le reflet", ce qui résout, au passage, la question d'Hamlet.
Mmm, à vous lire sur : "je pense qu'il y'a forcément des processus "similaire" en amont".
Cordialement

[Kannagi]

Ce qui est aussi la raison de votre émission d'un point de Godwin (Loi de Godwin étendue) ; ici, cela réside dans : "ce qui est sur , c'est qu’on n'en saura rien de notre vivant". En fait, vous ne me lisez pas, vous confirmez votre point de vue (cela ne me dérange pas du tout).
Mmm, à vous lire sur : "je pense qu'il y'a forcément des processus "similaire" en amont".
Cordialement

Je ne vois pas en quoi c'est un point Godwin étendu , ni même une affirmation de ce que vous dites.
Bien sur , il peut y'avoir une révolution scientifique de notre vivant , mais si je pense le contraire , c'est que en ayant lu pas mal de livre en épistémologie, je doute que cette révolution aura lieu prochainement.
L'approche actuel que nous faisons à permis de grand progrès , mais elle est aussi une impasse sur certaine observation, et repenser un paradigme qui serait cohérent sur l'ensemble des observation que nous en faisant est tout sauf trivial.

Expliquer la conscience demanderai pas mal de nouvelle connaissance, et actuellement nous en avons commencé aucune parce que nous ignorons complètement certain processus de la nature.

Mmm, à vous lire sur : "je pense qu'il y'a forcément des processus "similaire" en amont".

Je l'ai déjà expliqué , le vivant , la génétique ce sont pour moi des processus en amont.
La conscience comme je l'ai dit n'est pas un processus spontané , mais un agréa de phénomènes, je dirais que le soucis actuellement est que nous considérant comme "élémentaire" , les seuls processus physiques (voir moléculaire) , mais il y'a à mon avis de forte probabilité qu'un "systeme" s'étend bien au delà de la molécule.
Et si il y'a des systemes existant (d'un point de vue de la nature) , alors on peut éventuellement expliquer des processus bien plus complexe comme le vivant , le morphisme des animaux ou de la conscience.

[Stéphane le calme]

Les entreprises de la tech s'attaquent au projet de loi californien incluant la création d’un « interrupteur d’arrêt »
pour désactiver leurs modèles d’IA les plus puissants

Les géants de l’intelligence artificielle en Californie sont montés au créneau contre un projet de loi de l’État qui imposerait aux entreprises technologiques de se conformer à un cadre de sécurité strict, incluant la création d’un « interrupteur d’arrêt » pour désactiver leurs modèles d’IA les plus puissants. Cette proposition législative, qui a suscité une vive réaction de la part des poids lourds de la Silicon Valley, soulève des questions cruciales sur l’équilibre entre l’innovation et la sécurité dans le domaine de l’IA.

Le 7 février 2024, le Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act (SB 1047) a été présenté au Sénat californien. Le projet de loi vise à imposer une diligence raisonnable, des tests et des conclusions supplémentaires pour certains modèles d'intelligence artificielle couverts avant leur utilisation commerciale, publique ou à grande échelle.

La proposition de loi impose aux développeurs de systèmes d'intelligence artificielle de s'assurer que leurs modèles ne possèdent pas de capacités dangereuses, telles que la création d'armes biologiques ou nucléaires ou l'aide aux attaques de cybersécurité. Le projet de loi, qui a déjà été adopté par le Sénat de l'État le 21 mai 2024 et devrait être soumis au vote de l'assemblée générale en août, exige également des développeurs qu'ils rendent compte de leurs tests de sécurité et qu'ils mettent en place un « interrupteur d'arrêt » pour désactiver leurs modèles en cas de besoin.

Le projet de loi vise les grandes start-ups d'IA comme OpenAI, Anthropic et Cohere, ainsi que les grands modèles de langage des géants de la technologie tels que Meta. Le sénateur démocrate de l'État, Scott Wiener, qui a présenté le projet de loi, a souligné la nécessité de mesures de sécurité proactives en déclarant : « Fondamentalement, je souhaite que l'IA réussisse et que l'innovation se poursuive, mais essayons d'anticiper tout risque en matière de sécurité ». Il a décrit le projet de loi comme une mesure « légère » visant à garantir des évaluations de sécurité de base et l'atténuation des risques.

L'opposition de l'industrie

La proposition de loi a suscité une vive opposition de la part de l'industrie technologique, en particulier dans la Silicon Valley. Ses détracteurs estiment qu'elle pourrait étouffer l'innovation et pousser les jeunes pousses de l'IA à quitter la Californie. Andrew Ng, éminent informaticien et membre du conseil d'administration d'Amazon, a critiqué le projet de loi en déclarant : « Si quelqu'un voulait élaborer des réglementations pour étouffer l'innovation, il pourrait difficilement faire mieux. Il crée des responsabilités massives pour des risques de science-fiction, et alimente ainsi la peur chez tous ceux qui osent innover ».

Arun Rao, chef de produit pour l'IA générative chez Meta, a également fait part de ses inquiétudes, qualifiant le projet de loi « d'irréalisable » et avertissant qu'il pourrait « mettre fin à l'open source en [Californie] ». Il a ajouté que l'impact économique pourrait être substantiel, coûtant potentiellement des milliards lorsque les entreprises et les travailleurs hautement rémunérés quitteront l'État.

Malgré les réactions négatives, Wiener reste attaché au projet de loi, déclarant : « Il s'agit du secteur technologique, qui n'aime pas les réglementations, et je ne suis donc pas du tout surpris qu'il y ait des réactions négatives ». Il a également fait part de son intention d'amender le projet de loi afin d'en clarifier le champ d'application, notamment en exemptant les modèles open source de l'obligation de « kill switch » et en limitant l'application du projet de loi aux grands modèles dont la formation a coûté au moins 100 millions de dollars.

Scott Wiener, législateur démocrate au Sénat de l'État de Californie, propose une législation visant à réglementer l'IA

Un contexte réglementaire plus large

Le débat sur la réglementation de l'IA ne se limite pas à la Californie. Les gouvernements du monde entier s'efforcent de gérer les progrès rapides de la technologie de l'IA. En octobre, le président américain Joe Biden a publié un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. Le gouvernement britannique a également présenté des projets de réglementation de l'IA, et l'Union européenne a adopté une législation complète visant à mettre en place des garde-fous pour cette technologie.

Edward Snowden, le lanceur d'alerte qui a révélé les programmes de surveillance mondiale du gouvernement américain, s'est exprimé sur la question lors d'un appel vidéo à l'occasion de l'événement SuperAI à Singapour. Il a mis en garde contre une réglementation excessive en déclarant : « Nous assistons à la naissance d'un enfant doté d'une technologie entièrement nouvelle, et nous voyons déjà les loups-garous commencer à tourner en rond. » Snowden s'est dit préoccupé par le fait que les efforts de réglementation pourraient étouffer le potentiel de l'IA, ajoutant : « La panique liée à la sécurité de l'IA en général est quelque chose qui me pose problème. »

Le président américain Joe Biden a présenté en octobre un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. En avril, le gouvernement britannique a fait part de son intention d'élaborer une nouvelle législation pour réglementer l'IA.

La croissance rapide et l'énorme potentiel de l'IA ont suscité des inquiétudes quant à la sécurité de cette technologie. L'année dernière, le milliardaire Elon Musk, investisseur de la première heure dans la société OpenAI, productrice de ChatGPT, l'a qualifiée de « menace existentielle » pour l'humanité. Cette semaine, un groupe d'anciens et d'actuels employés d'OpenAI a publié une lettre ouverte dans laquelle ils avertissent que les « entreprises d'IA pionnières » ne sont pas suffisamment surveillées par les gouvernements et qu'elles posent de « graves risques » pour l'humanité.

Le projet de loi californien a été coparrainé par le Center for AI Safety (CAIS), une organisation à but non lucratif basée à San Francisco et dirigée par l'informaticien Dan Hendrycks, qui est le conseiller en matière de sécurité de xAI, la start-up de Musk spécialisée dans l'IA. Le CAIS entretient des liens étroits avec le mouvement de l'altruisme efficace, qui a été rendu célèbre par Sam Bankman-Fried, un dirigeant de crypto-monnaie emprisonné.

Pourtant, fin mai, les entreprises de la tech se sont accordées sur la mise en place d'un « interrupteur d'arrêt » de l'IA

Il n'est pas question de remettre l'IA dans la boîte de Pandore, mais les plus grandes entreprises d'IA du monde collaborent volontairement avec les gouvernements pour répondre aux plus grandes craintes liées à cette technologie et apaiser les inquiétudes selon lesquelles le développement incontrôlé de l'IA pourrait conduire à des scénarios de science-fiction dans lesquels l'IA se retournerait contre ses créateurs. Toutefois, sans dispositions juridiques strictes renforçant les engagements des gouvernements en matière d'IA, les conversations n'iront pas plus loin.

En mai, 16 entreprises d'IA influentes, dont Anthropic, Microsoft et OpenAI, 10 pays et l'UE se sont réunis lors d'un sommet à Séoul pour définir des lignes directrices sur le développement responsable de l'IA. L'un des principaux résultats du sommet est que les entreprises d'IA présentes se sont mises d'accord sur ce que l'on appelle un « kill switch », c'est-à-dire une politique selon laquelle elles arrêteraient le développement de leurs modèles d'IA les plus avancés s'ils étaient considérés comme ayant franchi certains seuils de risque. Il est toutefois difficile de savoir si cette politique est réellement efficace, étant donné qu'elle n'est pas assortie d'un poids juridique réel ou qu'elle ne définit pas de seuils de risque spécifiques. De plus, les autres entreprises d'IA non présentes, ou concurrentes de celles qui ont accepté les termes de l'accord dans l'esprit, ne seraient pas soumises à l'engagement.

« À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système si des mesures d'atténuation ne peuvent pas être appliquées pour maintenir les risques en dessous des seuils », peut-on lire dans le document d'orientation signé par les entreprises d'IA, dont Amazon, Google et Samsung.

Cette décision contraste avec les débats en Californie qui, contrairement à ceux du sommet de Séoul, pourraient devenir contraignant si la proposition venait à devenir loi.

Conclusion

Le débat autour du projet de loi californien sur l’interrupteur d’arrêt d’urgence pour l’IA met en lumière les défis auxquels sont confrontés les législateurs et l’industrie de l’IA. Alors que la sécurité est une préoccupation légitime, il est essentiel de trouver un terrain d’entente qui permette à l’innovation de prospérer tout en protégeant la société contre les risques potentiels de l’IA.

Sources : SB 1047: Safe and Secure Innovation for Frontier Artificial Intelligence Models Act, FT

Et vous ?

Quelle est votre opinion sur l’obligation d’intégrer un « interrupteur d’arrêt » dans les systèmes d’IA ? Est-ce une mesure de précaution nécessaire ou une entrave à l’autonomie des technologies d’IA ?
Qu'est-ce qui peut, selon vous, expliquer le fait que les entreprises s'accordent pour intégrer un « interrupteur d'arrêt » lorsque cette décision n'est pas contraignante juridiquement, mais s'oppose farouchement à cette possibilité qui pourrait être ancrée dans la loi californienne ?
Comment les entreprises d’IA devraient-elles réagir face à des régulations qui pourraient limiter leur capacité d’innovation ?
Pensez-vous que le gouvernement devrait avoir le pouvoir de désactiver des systèmes d’IA, et dans quelles circonstances cela serait-il justifié ?
Quel impact pensez-vous que de telles lois auront sur l’avenir de l’industrie technologique en Californie et à l’échelle mondiale ?
Les craintes concernant les « capacités dangereuses » des IA sont-elles justifiées selon vous ? Quels seraient les risques et les avantages d’une telle technologie ?
En matière de sécurité des IA, quel rôle les citoyens devraient-ils jouer pour influencer les décisions législatives ?

[marsupial]

Je ne savais pas le 6 juin lorsque j'ai posté ceci :Mon avis sur le remplacement des emplois par l'IA que les entreprises technologiques de la Silicon Valley allaient faire du lobbying au près des sénateurs californiens pour empêcher le kill switch lors de certains résultats de l'IA. Oui l'IA américaine va devenir dangereuse à cause de ses hallucinations que nous ne pourrons détecter puisque inaccessibles à la compréhension humaine à la différence de certaines IA européennes qui resteront explicables et plus intelligentes que les IA américaines et chinoises.

[Jules34]

Je ne savais pas le 6 juin lorsque j'ai posté ceci :[URL="https://www.developpez.net/forums/d2146262-2/general-developpement/algorithme-mathematiques/intelligence-artificielle/penser-l-ia-creera-utopie-laquelle-n-aurions-travailler-d-naivete-inouie/#post12027851"]l'IA américaine va devenir dangereuse à cause de ses hallucinations que nous ne pourrons détecter puisque inaccessibles à la compréhension humaine à la différence de certaines IA européennes qui resteront explicables et plus intelligentes que les IA américaines et chinoises.

J'ai peur qu'on ai juste les même IA que les américains mais avec un vernis par dessus, comme le RGPD, qui ne sert à rien si ce n'est faire du bullshit job en dessous de la couche logicielle américaine qui au final pompe toute les données possibles et imaginables, rgpd ou pas.

[Anthony]

Elon Musk prévoit "10 à 20 % de risques" de catastrophe mondiale due à l'IA, mais le plus probable serait l'abondance, avec des biens et des services disponibles pour tous, et où travailler deviendrait inutile

Elon Musk a prédit un risque de catastrophe lié à l'IA de l'ordre de "10 à 20 %". Il a également insisté sur la liberté d'expression face aux demandes de censure de la part des annonceurs.

Elon Reeve Musk est un homme d'affaires et un investisseur connu pour ses rôles clés dans la société spatiale SpaceX et la société automobile Tesla, Inc. Il est également propriétaire de X Corp, anciennement Twitter, et a participé à la création de The Boring Company, xAI, Neuralink et OpenAI. Il est l'une des personnes les plus riches du monde ; en juin 2024, Forbes estime sa valeur nette à 214 milliards de dollars américains.

M. Musk, qui s'exprimait le mercredi 19 juin lors de la cérémonie des Lions de Cannes, a déclaré : « Je suis plutôt d'accord avec Geoff Hinton, l'un des parrains de l'IA, qui pense qu'il y a une probabilité de 10 à 20 % que quelque chose de terrible se produise. »

Musk n'a pas précisé ce qu'il entendait par "terrible", ajoutant plutôt : « Le verre est plein à 80 %. Il faut voir le bon côté des choses. »

Il poursuit : « Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif ».

Il ajoute que cela pourrait entraîner « une crise de sens ».

« Si l'IA peut faire tout ce que vous pouvez faire, mais en mieux, à quoi bon faire les choses ? Je pense qu'il y aura une crise existentielle », a déclaré le propriétaire de X.

Parlant du "pire scénario" - l'anéantissement possible de l'homme par l'IA, Musk s'est interrogé : « Voudrais-je être là pour le voir ? Probablement, oui. »

Il a déclaré que nous vivions « la période la plus intéressante de l'histoire » et l'a répété à la fin devant un auditorium bondé, en disant à la salle : « Profitez du voyage. »

M. Musk s'est entretenu aux Lions de Cannes avec Mark Read, PDG de WPP, pour un vaste débat sur des sujets tels que le pouvoir de transformation de l'innovation technologique, la manière dont l'IA remodèle la créativité, le monde des affaires et la société, ainsi que l'avenir de sa plateforme de médias sociaux.

Doubler d'intensité sur la liberté d'expression

Il a réaffirmé son engagement en faveur de la liberté d'expression sur sa plateforme X, à la suite de batailles antérieures avec des annonceurs sur des questions de sécurité de la marque.

Musk a semblé heureux d'entrer dans la fosse aux lions des annonceurs, où il a été interrogé sur scène au sujet de son commentaire de novembre dernier selon lequel « les annonceurs peuvent aller se faire voir ».

Il a déclaré que sa remarque n'avait pas pour but de « cibler les annonceurs dans leur ensemble », ajoutant : « Je pense qu'il est important d'avoir une plateforme de liberté d'expression où des personnes de tous horizons peuvent exprimer leur point de vue. Dans certains cas, des annonceurs ont insisté sur la censure. S'il faut choisir entre la censure et l'argent et la liberté d'expression et la perte d'argent, nous choisirons la deuxième solution. »

Il poursuit : « Les annonceurs ont le droit d'apparaître à côté de contenus compatibles avec leurs marques, c'est tout à fait normal, mais ce qui n'est pas normal, c'est d'insister pour qu'il n'y ait pas de contenus avec lesquels ils ne sont pas d'accord sur la plateforme... La liberté d'expression est le fondement de la démocratie et pour que X soit la place publique du monde, elle doit être une plateforme de liberté d'expression - dans les limites de la loi. Je pense qu'il est impératif que les gens aient le droit de s'exprimer. »

À la question de savoir si, en tant que patron de X, il regrettait certains de ses propres commentaires sur la plateforme dans le passé, Musk a répondu : « Je me tire une balle dans le pied de temps en temps, mais au moins vous savez que c'est authentique, pas une sorte de relations publiques. Si vous parlez librement, il y aura des moments où vous serez stupide, bien sûr, mais si vous passez constamment par un filtre, vous n'êtes pas réel, alors je suppose qu'il vaut mieux être réel que de passer par un filtre ».

Il a souligné qu'il pensait que la plateforme restait le meilleur moyen pour quiconque dans le monde d'atteindre non seulement les influenceurs, mais aussi les "intellectuels".

« Si vous voulez atteindre les personnes les plus influentes du monde, pas seulement les influenceurs des médias sociaux, mais en fait (ceux) qui dirigent des entreprises, des pays, et les intellectuels du monde, les gens qui écrivent, la plateforme X est de loin la meilleure », a-t-il déclaré. « C'est presque le seul moyen d'atteindre ces personnes. Ils ne regardent pas la télévision, ils ne font pas de vidéos TikTok. X est plus petite que les autres plateformes de médias sociaux, mais ce sont les personnes les plus influentes au monde, donc si vous voulez les atteindre, c'est le meilleur endroit pour le faire. »

À l'approche des élections présidentielles américaines, M. Musk a déclaré qu'il accueillerait volontiers tout débat sur la plateforme X. Il ne s'est toutefois pas penché sur la discussion politique, se contentant de dire que « cela va être intéressant ».

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire, alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse

Elon Musk considère l'IA comme un risque fondamental pour l'existence de la civilisation humaine et sa colonisation de Mars comme un plan de secours

[_toma_]

Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif

Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?

Si l'IA peut faire tout ce que vous pouvez faire, mais en mieux, à quoi bon faire les choses ? Je pense qu'il y aura une crise existentielle

Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?

[kain_tn]

Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?


Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?

Il nous prend juste pour des abrutis. L'homme le plus riche du monde perdrait tout son pouvoir, s'il n'y avait plus besoin de travailler pour vivre.

[Jules34]

(promis je vais recycler ma blague )

[vanquish]

On a bien vu avec la robotisation des usines.
Les ouvriers n'ont plus eu besoin de travailler. Mais pas certains qu'ils aient été dans l'abondance du coup.
Comment ce populiste peut-ils avoir autant de fan ?

[Ryu2000]

Il poursuit : « Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif ».

Mais oui, on va être 8 milliards à avoir un bon niveau de vie, chacun aura sa maison (neuve, bien isolé, avec une grosse climatisation), sa voiture électrique, son smartphone, son PC de bureau, chaque année chaque personne prendra l'avion pour prendre des vacances loin de chez elle

Le gars doit être au courant qu'il ment, c'est impossible d'y croire. Ou il omet des étapes.
Si il n'y avait que 500 millions d'humains ce serait peut-être possible. (Georgia Guidestones)