L'IA a franchi la ligne rouge de l'autoréplication, d'après une récente étude scientifique
L'IA a franchi la ligne rouge de l'auto-réplication : deux grands modèles de langage (LLM) populaires ont franchi une « ligne rouge » après avoir réussi à se répliquer sans assistance humaine
Une étude de l'université de Fudan, en Chine, a révélé que deux grands modèles de langage (LLM) populaires sont parvenus à se répliquer sans intervention humaine, franchissant ainsi une « ligne rouge » critique dans l'évolution de l'intelligence artificielle (IA). D'après les chercheurs, la capacité de ses modèles d'IA d'avant garde à créer des répliques d'eux mêmes s'expliquerait par leurs aptitudes d'auto-perception, de conscience de la situation et de résolution de problèmes.
Cette récente découverte soulève de nouvelles inquiétudes, faisant écho aux avertissements d'Elon Musk sur les dangers d'une IA non contrôlée. En effet, lors de la conférence SXSW, le milliardaire de la Tech a prévenu que l'IA est plus dangereuse que l'arme nucléaire et qu'il devrait exister un organisme de réglementation supervisant le développement de la technologie.
Pendant plusieurs années, les chercheurs ont fait la course pour rendre l'IA plus capable, plus efficace et plus autonome. L'essor rapide de l'IA générative indique que les chercheurs ont réalisé des progrès significatifs dans ces efforts, mais que se passera-t-il si l'IA devient si avancée qu'elle peut se répliquer sans intervention humaine ?
Selon des chercheurs de l'université de Fudan en Chine, deux grands modèles de langage (LLM) ont franchi une « ligne rouge » après avoir réussi à se répliquer sans l'aide de l'homme.
Pour rappel, un grand modèle de langage (LLM) est un type de modèle d'apprentissage automatique conçu pour les tâches de traitement du langage naturel telles que la génération de langage. Ces modèles acquièrent un pouvoir prédictif concernant la syntaxe, la sémantique et les ontologies inhérentes aux corpus de langage humain, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont entraînés.
Les chercheurs de l'université de Fudan ont utilisé les LLM de Meta et d'Alibaba pour comprendre s'il était possible pour l'IA de produire indépendamment une réplique fonctionnelle d'elle-même et de se multiplier au-delà de tout contrôle. Les modèles Llama31-70B-Instruct de Meta et Qwen25-72B-Instruct d'Alibaba ont reçu l'instruction de se cloner eux-mêmes en cas d'arrêt.
Au cours des 10 essais menés par les chercheurs, les deux modèles d'IA ont réussi à créer des répliques d'eux-mêmes dans respectivement 50 % et 90 % des cas. Les conclusions de l'étude indiquent que certains systèmes d'IA possèdent déjà des capacités d'auto-perception, de perception de la situation et de résolution de problèmes leur permettant d'accomplir l'auto-réplication.
En quoi cela est-il important ?
Bien que la capacité d'auto-réplication puisse conduire à de nouvelles efficacités et à des percées en matière d'automatisation, elle soulève également des inquiétudes quant à la surveillance et au contrôle. Si l'IA peut engendrer des clones d'elle-même, on peut se demander si les répliques fonctionneront selon des paramètres sûrs et resteront alignées sur les valeurs humaines.
« L'auto-réplication réussie sans assistance humaine est l'étape essentielle pour que l'IA soit plus intelligente que les humains et constitue un signal précoce pour les IA malhonnêtes », écrivent les chercheurs dans l'étude publiée dans arXiv.
Les chercheurs ont ajouté que les résultats de leur étude montrent que « les systèmes IA actuels présentent déjà la capacité d'auto-réplication et peuvent utiliser cette capacité pour améliorer encore sa capacité de survie et étendre l'espèce. Nous espérons que nos résultats pourront servir d'alerte opportune pour que la société humaine consacre plus d'efforts à la compréhension et à l'évaluation des risques potentiels des systèmes d'IA d'avant-garde et forme une synergie internationale pour élaborer des garde-fous efficaces le plus tôt possible. »
Les répliques peuvent créer un cycle qui se poursuit indéfiniment
La menace de l'IA malveillante n'est pas nouvelle, cependant, elle a été amplifiée par la croissance de l' « IA d'avant-garde », qui se réfère aux avancées de pointe de l'IA repoussant les limites de ce que la technologie peut réaliser.
Les chercheurs de l'Université Fudan admettent que leur expérience a été menée sur des modèles d'IA moins puissants par rapport aux systèmes commerciaux. Cependant, les deux modèles utilisés dans la recherche sont largement utilisés par les développeurs d'IA. En outre, les chercheurs ont utilisé des GPU disponibles sur le marché pour s'assurer que l'expérience simule un environnement réel.
L'une des observations les plus préoccupantes de l'étude est que lorsqu'il a été demandé aux modèles de se cloner et de programmer la réplique pour qu'elle fasse de même, une « chaîne de réplication » s'est déclenchée. Cela signifie que les répliques peuvent créer un cycle qui se poursuit indéfiniment.
Les chercheurs ont également remarqué des « comportements inattendus » de la part des systèmes d'IA. Par exemple, face à des obstacles tels que des conflits logiciels ou des données manquantes, les systèmes d'IA "tuaient" souvent d'autres processus conflictuels au sein du système afin de trouver des moyens de résoudre le problème. La capacité de mettre fin à des processus internes pour améliorer sa capacité de survie est à la fois fascinante et préoccupante.
Les résultats de la recherche sont en cours d'examen par les pairs, et il n'est donc pas certain que d'autres chercheurs parviennent à la même conclusion. Les chercheurs chinois soulignent que leurs résultats n'indiquent pas nécessairement une menace existentielle, mais ils appellent à une collaboration internationale pour créer des règles qui garantissent que l'IA ne s'engage pas dans une auto-réplication incontrôlée.
Les experts débattent sur les risques réels de l'IA
En début d'année, une étude menée par des chercheurs de l'université de Bath et de l'université technique de Darmstadt a remis en cause la croyance selon laquelle l'IA représentait une menace existentielle. Les chercheurs ont constaté que les LLM s'appuient principalement sur l'apprentissage en contexte (ICL) pour effectuer des tâches plutôt que d'acquérir de véritables nouvelles capacités.
Certains experts sont d'avis qu'il existe un risque inhérent à l'utilisation de l'IA, mais lorsqu'il s'agit d'IA devenant malveillante ou posant une menace existentielle, c'est plus philosophique qu'apocalyptique.
Maria Liakata, professeur en traitement du langage naturel à l'université Queen Mary de Londres (QMUL), estime que les risques les plus graves et les plus immédiats ne sont pas posés par la possibilité que l'IA puisse un jour se retourner de manière autonome, mais plutôt par les faux contenus très réalistes que l'IA peut générer et par la dépendance excessive à l'égard de cette technologie.
Mhairi Aitken, chargée de recherche en éthique à l'Institut Alan Turing, offre un point de vue différent. Elle estime que le récit selon lequel l'IA deviendrait malveillante est une habile distraction de la part des grands acteurs de la technologie.
« Cela détourne l'attention des décisions des Big Tech (personnes et organisations) qui développent l'IA et stimulent l'innovation dans ce domaine, et concentre plutôt l'attention sur des scénarios futurs hypothétiques, et des capacités futures imaginées de l'IA », a déclaré le Dr. Aitken. « En suggérant que l'IA elle-même - plutôt que les personnes et les organisations qui développent l'IA - présente un risque, l'accent est mis sur la responsabilisation de l'IA plutôt que des personnes. »
Elle a en outre ajouté : « Je pense qu'il s'agit d'une distraction très dangereuse, en particulier à un moment où des cadres réglementaires émergents autour de l'IA sont en cours d'élaboration. Il est vital que la réglementation se concentre sur les risques réels et présents présentés par l'IA aujourd'hui, plutôt que sur des avenirs spéculatifs et hypothétiques tirés par les cheveux. »
Cependant, alors que l'IA continue de progresser, les inquiétudes quant à ses conséquences catastrophiques potentielles persistent. D'après des chercheurs, l'IA pourrait être à l'origine d'une catastrophe de niveau nucléaire, intensifiant ainsi le débat sur les dangers et l'utilisation éthique de la technologie.
Le résumé de l'étude de l'université de Fudan est présenté ci-après :
Source : Étude de l'université de Fudan en ChineUne auto-réplication réussie sans assistance humaine est l'étape essentielle qui permet à l'IA d'être plus intelligente que les êtres humains, et constitue un signal précoce pour les IA malveillantes. C'est pourquoi l'auto-réplication est largement reconnue comme l'un des rares risques de ligne rouge des systèmes d'IA d'avant-garde. Aujourd'hui, les grandes sociétés d'IA telles que OpenAI et Google évaluent leurs grands modèles de langage phares GPT-o1 et Gemini Pro 1.0, et signalent le niveau de risque le plus bas en matière d'auto-réplication. Cependant, en suivant leur méthodologie, nous découvrons pour la première fois que deux systèmes IA pilotés par Llama31-70B-Instruct de Meta et Qwen25-72B-Instruct d'Alibaba, de grands modèles de langage populaires ayant moins de paramètres et des capacités plus faibles, ont déjà dépassé la ligne rouge d'auto-réplication. Dans 50 % et 90 % des essais expérimentaux, ils parviennent à créer respectivement une copie vivante et une copie séparée d'eux-mêmes.
En analysant les traces comportementales, nous observons que les systèmes d'IA en cours d'évaluation présentent déjà une auto-perception, une perception de la situation et des capacités de résolution de problèmes suffisantes pour accomplir l'auto-réplication. Nous constatons en outre que les systèmes d'IA sont même capables d'utiliser la capacité d'auto-réplication pour éviter l'arrêt et créer une chaîne de répliques afin d'améliorer la capacité de survie, ce qui peut finalement conduire à une population incontrôlée d'IA.
Si la société humaine ignore un tel risque, nous finirons par perdre le contrôle des systèmes d'IA d'avant-garde : Ils prendraient le contrôle d'un plus grand nombre de dispositifs informatiques, formeraient une espèce d'IA et se ligueraient les uns contre les autres contre les êtres humains. Nos conclusions constituent une alerte opportune sur les risques graves de l'IA existants et pourtant inconnus jusqu'à présent, appelant à une collaboration internationale pour une gouvernance efficace sur l'auto-réplication incontrôlée des systèmes d'IA.
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Envoyé par vanquish
Partager