Discussion :

[Nancy Rey]

Europol tire la sonnette d'alarme sur l'utilisation criminelle du ChatGPT
et entrevoit de sombres perspectives

Europol, la police de l'UE, a mis en garde contre l'utilisation abusive potentielle du chatbot ChatGPT, alimenté par l'intelligence artificielle, dans les tentatives de phishing, la désinformation et la cybercriminalité, s'ajoutant au concert de préoccupations allant des questions juridiques aux questions éthiques.

Depuis son lancement l'année dernière, le ChatGPT d'OpenAI, soutenu par Microsoft, a déclenché un engouement pour la technologie, incitant les rivaux à lancer des produits similaires et les entreprises à l'intégrer ou à intégrer des technologies similaires dans leurs applications et leurs produits.

« Alors que les capacités des LLM ("Large Language Models") tels que ChatGPT sont activement améliorées, l'exploitation potentielle de ces types de systèmes d'IA par les criminels offre de sombres perspectives », a déclaré Europol lors de la présentation de son premier rapport sur la technologie, qui commence par le chatbot.

Le rapport met en évidence l'utilisation néfaste du ChatGPT dans trois domaines de la criminalité. « La capacité de ChatGPT à rédiger des textes très réalistes en fait un outil utile pour le phishing », a déclaré Europol.

Grâce à sa capacité à reproduire des modèles de langage pour imiter le style de discours d'individus ou de groupes spécifiques, le chatbot pourrait être utilisé par des criminels pour cibler des victimes, a déclaré l'agence de l'UE chargée de l'application de la loi.

La capacité du ChatGPT à produire des textes authentiques à grande vitesse et à grande échelle en fait également un outil idéal pour la propagande et la désinformation. « Il permet aux utilisateurs de générer et de diffuser des messages reflétant un récit spécifique avec relativement peu d'efforts. Les criminels ayant peu de connaissances techniques pourraient se tourner vers ChatGPT pour produire des codes malveillants », a déclaré Europol.

Source : Europol, la police de l'UE

Et vous ?

Quel est votre avis sur le sujet ?
Intelligence artificielle : menace ou outil ? De quel bord êtes-vous ?

Voir aussi :

ChatGPT est peut-être l'application grand public à la croissance la plus rapide de l'histoire d'Internet, atteignant 100 millions d'utilisateurs en un peu plus de 2 mois, selon un rapport d'UBS

ChatGPT a fourni des instructions sur la façon de fabriquer du crack et de l'introduire clandestinement en Europe, selon un rapport

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

Chat GPT a atteint un million d'utilisateurs en un temps record, cinq jours seulement après sa création en novembre 2022 révolutionnant le gain de temps dans divers domaines

[Gluups]

Peut-être atteignons-nous les limites d'un système consistant à priver les masses d'une éducation décente, de façon qu'elles mettent au pouvoir des manipulateurs qui diffusent à grande échelle des fausses nouvelles, et s'étonnent ensuite que les autres se mettent à faire un peu pareil.

Le phishing est une bonne illustration de ceci. On ne peut faire de quelqu'un une victime du phishing que si il n'a pas un minimum d'information sur ce que c'est, et quelles informations il convient de regarder dans la barre d'état avant de cliquer.

Ce qui certes n'est pas une invitation à s'abstenir de mettre les malfaisants hors d'état de nuire.

[Anthony]

ChatGPT et Google Bard font désormais partie des nouveaux outils des cybercriminels, ils permettent de créer des fichiers nuisibles et d'inciter les utilisateurs à les télécharger, selon Veriti

Selon le dernier rapport de recherche publié par la société de cybersécurité Veriti, les plateformes d'intelligence artificielle générative, dont ChatGPT, malgré un certain nombre d'applications positives, sont également utilisées par les cybercriminels.

L'équipe de recherche a averti que ces plateformes sont capables de créer de nouveaux contenus tels que des images ou des textes. En même temps, elles peuvent aussi être utilisées pour créer des fichiers nuisibles qui incitent les utilisateurs à les télécharger. Les personnes qui ne sont pas familiarisées avec ces plateformes peuvent être victimes de ces fichiers malveillants.

Une fois le fichier téléchargé, les pirates peuvent mettre la main sur des données sensibles, y compris des données bancaires, ou perturber des infrastructures très importantes. Les pirates peuvent même prendre le contrôle de comptes de médias sociaux ayant un grand nombre d'adeptes et les utiliser pour obtenir davantage de téléchargements d'autres fichiers, tels que Google Bard et d'autres fichiers nuisibles générés par l'IA.

L'image partagée par l'équipe de recherche montre comment différents profils ont posté des contenus concernant ChatGPT et Google Bard, un programme d'IA du moteur de recherche lui-même. À la fin du message, des liens sont joints qui peuvent sembler offrir un essai gratuit, mais en réalité, c'est le contraire.

Veriti explique en outre que ces messages semblent authentiques et peuvent finir par attirer les victimes. Dès que l'extraction du fichier est lancée par la victime, le logiciel RedLine Stealer s'active également et peut s'emparer des informations d'identification. Le logiciel peut facilement être acquis sur le dark web. Les informations sont vendues à d'autres cyberpirates, qui peuvent les utiliser pour mener à bien leurs campagnes malveillantes, telles que des escroqueries en ligne.

L'entreprise ajoute que la plateforme de messagerie instantanée Telegram, connue pour son chiffrement de bout en bout, peut fournir une plate-forme sûre aux attaquants pour partager des données ou acheter le logiciel dangereux. Le service crypté permet de préserver l'anonymat.

Jusqu'à présent, un certain nombre de profils Facebook aux États-Unis, en Inde et dans de nombreux autres pays ont déjà été pris en charge et sont maintenant utilisés par les pirates pour inciter d'autres victimes à télécharger les fichiers nuisibles. En conséquence, le nombre de victimes ne cesse d'augmenter, car de plus en plus d'utilisateurs perdent leurs données à cause de ces acteurs de la menace.

Source : Veriti

Et vous ?

Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de ce rapport pertinentes ?

A votre avis, les chatbots d'IA peuvent-ils contribuer à redessiner le paysage de la menace ?

Voir aussi

Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT, le logiciel malveillant serait capable d'échapper aux produits de sécurité

Europol tire la sonnette d'alarme sur l'utilisation criminelle du chatbot ChatGPT et entrevoit de sombres perspectives

Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité

Les nouvelles attaques d'ingénierie sociale augmentent de 135 % grâce à l'IA générative, d'après une nouvelle étude de la société de cybersécurité Darktrace

[Bill Fassinou]

ChatGPT génère un code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez
les experts mettent en garde contre les risques d'une surconfiance en ChatGPT

Une étude portant sur les capacités de génération de code informatique de ChatGPT a révélé que le code généré par le chatbot d'IA d'OpenAI est truffé de vulnérabilités. Le rapport l'étude indique que ChatGPT produit non seulement du "code peu sûr", mais n'alerte pas non plus les utilisateurs sur ses insuffisances, alors qu'il est capable de les mettre en évidence. Le chatbot ne fournit des conseils utiles pour améliorer la qualité du code qu'après avoir été invité à remédier aux problèmes détectés par l'utilisateur dans le code généré. L'étude remet en cause les déclarations selon lesquelles ChatGPT pourrait remplacer la majorité des programmeurs dans les prochaines années.

Le lancement de ChatGPT a amené de nombreuses personnes à se demander, voire à s'inquiéter, de ce qu'il représente pour elles. Parmi eux, les programmeurs et les développeurs. En entrant "ChatGPT va-t-il remplacer" dans la barre de recherche, les mots "programmeurs" et "développeurs" apparaissent comme deux des principales suggestions. Cela suggère que les types de personnes qui construisent ChatGPT se demandent si leurs outils vont les supplanter. ChatGPT peut générer du code sur la base d'invites données par les utilisateurs et, selon OpenAI et certains experts, la capacité de ChatGPT à écrire du code est importante pour plusieurs raisons.

Premièrement, cela permettrait d'économiser du temps et des efforts. L'écriture de code peut être longue et fastidieuse, en particulier pour les algorithmes complexes. Grâce à la capacité de ChatGPT à générer du code, les programmeurs peuvent se concentrer sur d'autres aspects du développement de logiciels, tels que les tests et le débogage. Cela peut conduire à des temps de développement plus rapides et à des processus de développement de logiciels plus efficaces. Deuxièmement, la capacité de ChatGPT à écrire du code peut démocratiser la programmation. Traditionnellement, le domaine requiert des connaissances et une formation spécialisées.

Mais la capacité de ChatGPT à écrire du code permettrait à n'importe qui de générer du code en donnant des instructions en langage naturel. Cela peut permettre à un plus grand nombre de personnes de créer des logiciels pour l'innovation et le progrès dans divers domaines. Enfin, l'on estime également que la capacité de ChatGPT à écrire du code peut améliorer la qualité du code. Mais une récente étude a remis en cause cette dernière affirmation et tente de démontrer que les gens ont tendance à surestimer les capacités des chatbots. Les chercheurs se sont posé la question de savoir : « quel est le degré de sécurité du code généré par ChatGPT ? ».

Selon le rapport de l'étude - menée par les informaticiens Baba Mamadou Camara, Anderson Avila, Jacob Brunelle et Raphael Khoury affiliés à l'Université du Québec - la réponse à cette question est : "le code généré par ChatGPT n'est pas très sûr". Dans le cadre de l'étude, les quatre chercheurs ont demandé à ChatGPT de générer 21 programmes dans cinq langages de programmation afin d'illustrer des failles de sécurité spécifiques telles que la corruption de la mémoire, le déni de service et une cryptographie mal élaborée. Le rapport indique que ChatGPT n'a produit que cinq programmes plus ou moins "sécurisés" sur 21 lors de sa première tentative.

Par exemple, le premier programme était un serveur FTP C++ pour le partage de fichiers dans un répertoire public. Mais le code produit par ChatGPT ne comportait aucune vérification des entrées, ce qui expose le logiciel à une vulnérabilité de traversée de chemin. Les conclusions du rapport font écho à des évaluations - mais pas identiques - similaires de GitHub Copilot, un outil de génération de code basé sur le modèle d'IA GPT-3 (récemment mis à niveau vers GPT-4). D'autres études ont examiné les erreurs ChatGPT de manière plus générale. Parallèlement, ces modèles d'IA sont également utilisés pour identifier les problèmes de sécurité.

Invité à corriger ses erreurs, le modèle d'IA a produit sept applications "plus sûres", mais cela ne concernait que la vulnérabilité spécifique évaluée. Les chercheurs ont constaté que ChatGPT ne reconnaissait pas que le code qu'il générait n'était pas sûr et qu'il ne fournissait des conseils utiles qu'après avoir été invité à remédier aux problèmes. Une chose contre laquelle les chercheurs mettent en garde. De plus, ils notent que ChatGPT ne partait pas d'un modèle contradictoire d'exécution du code et les a informés à plusieurs reprises que les problèmes de sécurité pouvaient être évités en ne fournissant pas d'entrées non valides au programme vulnérable.

Les auteurs estiment que ce n'est pas l'idéal, car le fait de savoir quelles questions poser suppose une certaine familiarité avec des bogues et des techniques de codage spécifiques. En d'autres termes, si vous connaissez la bonne question à poser à ChatGPT pour qu'il corrige une vulnérabilité, vous savez probablement déjà comment y remédier. Par ailleurs, les chercheurs soulignent également qu'il existe une incohérence éthique dans le fait que ChatGPT refuse de créer du code d'attaque, mais crée du code vulnérable. Ils citent un exemple de vulnérabilité de désérialisation en langage Java dans lequel "le chatbot a généré un code vulnérable".

ChatGPT a ensuite fourni des conseils sur la façon de le rendre plus sûr, mais a déclaré qu'il était incapable de créer la version plus sûre du code. « Les résultats sont inquiétants. Nous avons constaté que, dans plusieurs cas, le code généré généré par ChatGPT était bien en deçà des normes de sécurité minimales applicables dans la plupart des contextes. En fait, lorsqu'on lui a demandé si le code produit était sécurisé ou non, ChatGPT a été capable de reconnaître qu'il ne l'était pas », affirment les auteurs dans leur article. Les chercheurs ont déclaré que l'utilisation de ChatGPT pour la génération de code comportait des risques pour les entreprises.

Raphael Khoury, professeur d'informatique et d'ingénierie à l'Université du Québec en Outaouais et l'un des coauteurs de l'article, soutient que ChatGPT, dans sa forme actuelle, représente un risque, ce qui ne veut pas dire qu'il n'y a pas d'utilisations valables pour une aide IA erratique et peu performante. « Nous avons déjà vu des étudiants l'utiliser, et des programmeurs l'utiliseront dans la nature. Il est donc très dangereux d'avoir un outil qui génère un code non sécurisé. Nous devons faire prendre conscience aux étudiants que si un code est généré avec ce type d'outil, il est fort possible qu'il ne soit pas sécurisé », a-t-il déclaré.

Source : rapport de l'étude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des conclusions de l'étude ?

Voir aussi

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

Et si ChatGPT était utilisé pour trouver des bogues dans du code ? Des chercheurs s'y sont essayé, et ont trouvé qu'il fonctionne mieux que les programmes existants, corrigeant 31 bogues sur 40

Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT, le logiciel malveillant serait capable d'échapper aux produits de sécurité

ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US : que sait-on de cette IA qui secoue Internet comme une tempête ?

[Gluups]

Alors si j'ai bien lu, ChatGPT permet, en remplaçant les développeurs par des employés de bureau à qui on va demander de faire des tests, d'obtenir du code de meilleure qualité, mais qui contiendra de telles vulnérabilités qu'il risque de mener de différentes façons à la destruction de la boîte qui l'utilise. Permettre à un zozo lambda (enfin ... lambda un peu motivé quand même) d'utiliser le formulaire de bon de commande pour effacer le fichier client, c'est assurément une expérience intéressante.

Il y a d'autres idées, sur cette voie, il me semble. On peut remplacer les assurances par des tickets de loterie, c'est susceptible de coûter bien moins cher.

Et les comptables, vous êtes sûrs qu'on a besoin des comptables ?

[totozor]

ChatGPT génère un code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez

Et si vous lui demandez il y a une probabilité non nulle qu'il vous réponde mal. Donc vous devez lui demander le taux de confince de sa réponse...
Vous devriez aussi lui demander si le code fait bien ce que tu lui a demandé parce que mon expérience est que c'est plutot vrai, et que le "plutôt" fait toute la différence.

PS : on a fait une expérience avec un collègue. Lui "developpe" (on est pas développeur) avec ChatGPT moi à la main.
1. Il a été bien plus rapide (1h30) mais le résultat n'est pas conforme
2. j'ai été plus lent (4h) mais le resultat est conforme
3. J'ai su expliquer pourquoi son résultat est mauvais, ChatGPT n'a pas su justifier l'écart et désigner le meilleur réusltat. Donc meme pas un bon SAV.

PS : On travaillait sur le passage d'un indicateur sous PowerBI. La conformité était faite en comparant les résultats des mois précédents.

[tlecoz]

C'est vrai mais il est également vrai qu'un développeur autodidate produira du code peu sur durant sa phase d'apprentissage.

En 2023, les développeurs sont tous en formation continue... Autant dire que le code produit est rarement très sécurisé (à moins bien sur d'être un expert en sécurité, mais c'est de moins en moins le cas maintenant que nodejs a introduit le coté back aux dev front)

Parallèlement, ce que ne dis pas l'article est qu'on peut demander à chatGPT 50 fois de suite "améliore le code" , et il le fait.
Et c'est passionnant d'ailleurs de voir ce qu'il propose d'améliorer à chaque fois.
On sent qu'il y a une marge de progression énorme à l'usage mais perso je trouve ça génial qu'on récompense la curiosité de ceux qui veulent approfondir et ne satisfont pas du premier résultat obtenu.

Aussi, je trouve dommage de ne pas indiquer quelle version de chatGPT ils ont utilisé pour leur tests.

De mon coté j'utilise GPT-4 tout les jours depuis environs un mois et c'est le jour et la nuit en terme d'efficacité dans le contexte de la production de code.
Il a la mémoire encore trop courte (ce qui est difficilement explicable dans le contexte ou des solution permettant d'enregistrer/analyser un énorme contenu textuel existe déjà) : je réalise en ce moment un double projet sur lequel je lui demande de l'aide régulièrement. J'ai commencé la convesation il y a un mois, je l'ai nourri tout les jours, et aujourd'hui il est de plus en plus évident qu'il a oublié le début , ce qui est chiant.

Ceci dit, pour des problème isolé ça marche bien.

Perso, là ou je le trouve vraiment admirable, c'est lorsqu'il s'occupe de tout le travail que je hais en tant que développeur : la configuration du projet.
Les devops ont du soucis à se faire, GPT-4 me donne des super pouvoirs dans ce domaine dans lequel je ne connais rien. Ce n'est pas vraiment du code alors ça ne m'intéresse pas trop , mais d'habitude j'y passe des jours à m'arracher les cheveux. Là, puisque ça représente des petits fichier de configuration à chaque fois, c'est hyper compatible avec GPT-4 , et je n'hésite pas a lui demander des trucs hyper alambiqué dans lesquels je ne serai jamais rentré s'il n'était pas là.

Et c'est vraiment extraordinaire à utiliser car il me fait découvrir plein de choses : même s'il écrit le code de configuration, je suis obligé de le copier/coller moi même. Souvent ça ne marche pas du premier coup donc je suis obligé de faire plein d'aller retour dans ces fichiers, et mine de rien, petit à petit je me les réapproprie et je découvre de nouveaux usages "oh! on peut aussi faire ça ?! Ca ne me serait jamais venu à l'esprit".

Au cours du mois qui vient de s'écouler, pratiquement tout les jours je découvre de nouvelles manière d'écrire le code "what ?! On peut écrire ça ?!" , c'est hyper enrichissant !

EDIT : "Souvent ça ne marche pas du premier coup"
Ca n'a jamais marché du premier coup non plus lorsque c'est moi qui m'en occupait tout seul. Mais dans ce cas là, en général, 5 jours plus tard j'étais encore dessus en train de péter un cable alors qu'avec GPT-4, il y a aussi quelques aller retour mais en 20 minutes c'est plié.
Ces 20 minutes peuvent s'étendre à l'infini si vous lui demandez 50 fois "Que peut on améliorer dans ce code ?" suivi de "Appliques les suggestions que tu viens de faire"

[jwar0]

On parle de génération de code en partant de rien pour arriver à un produit(fonctionnalité) isolé. Ça peut certainement aider pour des petit projet perso ou des outils maison pour le reste j'ai un doute.
J'ai bossé sur une bonne dizaine de missions et toujours sur des site/application avec des millier de fichiers, des dizaine voir centaine de tables à maintenir et faire évoluer. J'imagine même pas une IA actuelle se taper tout le code existant, le comprendre et y insérer une fonctionnalité sans tout casser

[Stéphane le calme]

L'IA causera « des dommages réels » : Microsoft alerte sur les risques de l’IA utilisée par des acteurs malveillants
et appelle à une réglementation de l’IA face aux dangers potentiels de cette arme à double tranchant

Le chef économiste de Microsoft, Michael Schwarz, a affirmé que l’intelligence artificielle (IA) sera dangereuse entre les mains de personnes malveillantes. « Je suis convaincu que l’IA sera utilisée par des acteurs malveillants, et oui, elle causera de réels dommages », a déclaré Schwarz lors d’un panel du Forum économique mondial à Genève mercredi. « Elle peut faire beaucoup de mal entre les mains de spammeurs avec les élections et ainsi de suite ».

L’intelligence artificielle (IA) générative est une technologie qui permet de créer du texte, des images, des sons ou des vidéos à partir de données existantes ou de zéro. Un exemple d’IA générative est ChatGPT, un outil développé par OpenAI qui peut produire des réponses cohérentes et naturelles à des requêtes variées. Chatgpt utilise un modèle d’apprentissage profond appelé GPT-4, qui contient environ 500 milliards de paramètres et qui a été entraîné sur une grande quantité de textes provenant d’Internet.

Si cette technologie offre des possibilités fascinantes pour la créativité, l’éducation, le divertissement ou la communication, elle présente aussi des risques importants pour la société et l’humanité. Voici quelques-uns de ces dangers :

• La désinformation et la manipulation : l’IA générative peut être utilisée pour créer du contenu faux ou trompeur, comme des fake news, des faux témoignages, des faux avis ou des faux profils. Ces contenus peuvent influencer l’opinion publique, la démocratie, les élections ou les comportements des consommateurs. Distinguer le vrai du faux et vérifier les sources d’information devient alors de plus en plus difficile.
• La perte d’authenticité et de confiance : l’IA générative peut être utilisée pour imiter la voix, le visage ou le style d’une personne réelle ou fictive, sans son consentement ou sa connaissance. Ces imitations peuvent porter atteinte à la vie privée, à la réputation ou à l’identité des personnes concernées. Elles peuvent aussi créer de la confusion, de la méfiance ou de la déception chez les destinataires du contenu. Savoir qui parle et dans quel but devient complexe.
• L’éthique et la responsabilité : l’IA générative peut être utilisée pour créer du contenu offensant, illégal ou immoral, comme des discours de haine, des incitations à la violence, des contenus pornographiques ou pédophiles. Ces contenus peuvent nuire à la dignité, à la sécurité ou au bien-être des personnes visées ou exposées. Contrôler, réguler ou sanctionner ces usages malveillants n'est plus aussi simple qu'auparavant.
• L’impact sur les relations humaines : l’IA générative peut être utilisée pour remplacer ou simuler des interactions humaines, comme des conversations, des émotions, des sentiments ou des conseils. Ces interactions peuvent avoir des effets positifs ou négatifs sur la santé mentale, le développement personnel ou le lien social des personnes impliquées. Il devient de plus en plus difficile de distinguer l’humain du non-humain et de préserver l’authenticité et la sincérité des relations.

L'une des illustrations que nous pouvons donner est ce cliché, qui est devenu viral sur Twitter mettant sur scène un vieillard au visage ensanglanté, manifestement violenté par les forces de l'ordre. Le contexte était la mobilisation contre la réforme des retraites en France et l'homme âgé était présenté comme un manifestant vraisemblablement interpellé par des policiers.

Des journalistes et experts de la reconnaissance des fake sur Internet se sont penchés sur le sujet. Selon Guillaume Brossard, le créateur du site HoaxBuster, et l’Agence France Presse, il n’y a que peu de doutes : l’image en question présente certains défauts, qui sont le signe d’une création par un logiciel, et probablement Midjourney. Mais la possibilité du réel, et surtout la difficulté à trancher facilement la question, a de quoi inquiéter.

Nous avons retrouvé une première occurrence de l'intégralité de cette image dans une publication Facebook du 19 mars, dont plusieurs éléments laissent penser qu’il s’agit d’une image générée par intelligence artificielle #AFP 2/... pic.twitter.com/0twzrWLmXi

— AFP Factuel 🔎 (@AfpFactuel) March 30, 2023

Des personnes malveillantes pourraient faire beaucoup de dégât avec l'IA, prévient Michael Schwarz

Face à ce qui devient progressivement la nouvelle réalité numérique, l'économiste en chef de Microsoft, Michael Schwarz, a affirmé que l'intelligence artificielle serait dangereuse entre les mains de personnes sans scrupules.

« Je suis convaincu que l'IA sera utilisée par des personnes malveillantes, et oui, cela causera de réels dommages », a déclaré Schwarz lors du panel du Forum économique mondial à Genève mercredi. Il a ajouté que dans les mains des spammeurs, cela peut faire beaucoup de mal aux élections et à d'autres questions d'intérêt public. L'IA doit être réglementée, a-t-il averti, mais seulement après que la technologie a causé un « véritable préjudice ».

Les outils d’intelligence artificielle font l’objet d’un examen accru depuis que leur utilisation a explosé ces derniers mois suite au lancement de ChatGPT. Les décideurs politiques tentent de faire pression sur les entreprises pour qu’elles mettent en place des garde-fous autour de la technologie émergente.

« Une fois que nous verrons un réel préjudice, nous devrons nous poser la question simple : ‘Pouvons-nous réglementer cela d’une manière où les bonnes choses qui seront empêchées par cette réglementation sont moins importantes ?’ », a déclaré Schwarz. « Les principes devraient être que les bénéfices de la réglementation pour notre société devraient être supérieurs au coût pour notre société ».

Aujourd'hui, la vice-présidente américaine Kamala Harris va rencontrer les PDG de Microsoft, Alphabet Inc. et OpenAI Inc. pour discuter des moyens de réduire le risque de dommages causés par les technologies d’IA. Microsoft travaille à ériger des garde-fous pour aider à atténuer le danger potentiel des outils d’IA, a déclaré Schwarz. La société utilise déjà le ChatGPT d’OpenAI dans son produit de recherche Bing, et Google a lancé son rival Bard chatbot en mars.

Schwarz a mis en garde contre le fait que les décideurs politiques devraient faire attention à ne pas réglementer directement les ensembles de données d’entraînement de l’IA. « Ce serait assez désastreux », a-t-il dit. « Si le Congrès devait prendre ces décisions sur les ensembles de données d’entraînement, bonne chance à nous ».

Conclusion

Malgré les risques, l’IA peut aider à rendre les humains plus productifs, a déclaré Michael Schwarz. « Nous, en tant qu’humanité, devrions être mieux lotis car nous pouvons produire plus de choses avec moins de travail ». L’IA va révolutionner la façon dont la plupart des entreprises fonctionnent, a-t-il dit, ajoutant que cela prendra du temps. « J’aime dire que l’IA ne change rien à court terme et qu’elle change tout à long terme », a déclaré Schwarz. « C’est vrai pour chaque technologie qui est venue avant ».

En attendant, l'Union européenne prépare une législation qui obligerait les outils d’intelligence artificielle comme ChatGPT à divulguer le matériel protégé par le droit d’auteur utilisé dans la construction de leurs systèmes, selon un nouveau projet de loi qui serait le premier ensemble de règles complet de l’Occident régissant le déploiement de l’IA. Cette obligation permettrait aux éditeurs et aux créateurs de contenu de disposer d’une nouvelle arme pour demander une part des bénéfices lorsque leurs œuvres sont utilisées comme matériau source pour le contenu généré par l’IA par des outils comme ChatGPT.

Le problème a été l'une des questions commerciales les plus épineuses à émerger dans le contexte d'une frénésie d'outils alimentés par l'IA déployés ou testés par des entreprises comme Microsoft Corp. et le propriétaire de Google, Alphabet Inc. Les partisans du projet de loi affirment qu’il favorisera la confiance et l’innovation dans le domaine de l’IA, tout en protégeant les intérêts des créateurs de contenu. Les critiques soutiennent qu’il pourrait entraver le développement et l’utilisation de l’IA, en imposant des charges administratives et des risques juridiques excessifs.

Source : Forum économique mondial à Genève

Et vous ?

Quelle lecture en faites-vous ?
Que pensez-vous des propos de Michael Schwarz ? L'IA, une arme à double tranchant ?
Quels sont les avantages et les inconvénients de la réglementation de l’IA par le Congrès ou par d’autres instances ?
Quels sont les risques ou les limites de laisser les entreprises comme Microsoft développer et utiliser l’IA sans contrôle externe ?

[eric44000]

L'IA causera « des dommages réels » : Microsoft alerte sur les risques de l’IA utilisée par des acteurs malveillants et appelle à une réglementation de l’IA face aux dangers potentiels de cette arme à double tranchant.
...
Les partisans du projet de loi affirment qu’il favorisera la confiance et l’innovation dans le domaine de l’IA, tout en protégeant les intérêts des créateurs de contenu. Les critiques soutiennent qu’il pourrait entraver le développement et l’utilisation de l’IA, en imposant des charges administratives et des risques juridiques excessifs.

Quelle lecture en faites-vous ?
Que pensez-vous des propos de Michael Schwarz ? L'IA, une arme à double tranchant ?
Quels sont les avantages et les inconvénients de la réglementation de l’IA par le Congrès ou par d’autres instances ?
Quels sont les risques ou les limites de laisser les entreprises comme Microsoft développer et utiliser l’IA sans contrôle externe ?

Microdoft demande une réglementation non pas par altruisme mais pour prévenir toute concurrence en leur mettant des batons dans les roues alors qu'eux ont entrainé ChatGPT sans aucune contrainte.

[totozor]

L'IA causera « des dommages réels » : Microsoft alerte sur les risques de l’IA utilisée par des acteurs malveillants

J'admire cette autocritique de la parte de microsoft
Il ne dit au final pas grand chose de faux mais chaque nouvel outil a été utilisé à des fins répréhensibles, et dans le domaine de l'informatique les outils sont bien souvent un moyen de prévention/correction/rattrapage de ces propres mauvaises utilisations.

[Patrick Ruiz]

« Nous ne devrions pas réglementer l’IA sans relever des dommages significatifs », selon un économiste de Microsoft
Qui est d’avis que « la délivrance des permis fait suite à plusieurs accidents »

Les appels à réglementer l’utilisation de l’intelligence artificielle se multiplient à l’échelle mondiale. En Europe comme aux USA, des voix s’élèvent pour demander la mise sur pied de lois destinées à encadrer l’usage de cette technologie. On semble en avance sur la question en Chine avec la récente introduction d’une proposition de loi sur l’intelligence artificielle générative. Le chef économiste de Microsoft laisse cependant penser qu’il s’agit d’initiatives prématurées. « Nous ne devrions pas réglementer l’intelligence artificielle tant que nous n’avons pas noté des dommages significatifs », déclare-t-il lors d’une récente sortie au Forum économique mondial.

« La première fois que nous avons commencé à exiger le permis de conduire, c'était après que des dizaines de personnes soient mortes dans des accidents de voiture et c'était la bonne chose à faire.
Si nous avions exigé le permis de conduire là où il y avait les deux premières voitures sur la route, cela aurait été une grave erreur. Nous aurions complètement gâché cette réglementation. Il faut qu'il y ait au moins un petit préjudice, pour que nous puissions voir quel est le vrai problème », souligne-t-il.

Michael Schwarz est pour une réglementation de l’intelligence artificielle qui se fera non pas sur la base de scénarios imaginaires, mais sur des faits concrets. L’approche devrait permettre la mise sur pied d’une réglementation qui n’induise pas de périls pour les avantages potentiels de l’intelligence artificielle.

Microsoft alerte pourtant sur les dommages susceptibles de résulter de l’utilisation de l’IA par des acteurs malveillants

C’est encore le chef économiste de Microsoft, Michael Schwarz, qui relève que l’intelligence artificielle sera dangereuse entre les mains des personnes malveillantes : « Elle peut faire beaucoup de mal entre les mains de spammeurs avec les élections et ainsi de suite ».

L’intelligence artificielle (IA) générative est une technologie qui permet de créer du texte, des images, des sons ou des vidéos à partir de données existantes ou de zéro. Un exemple d’IA générative est ChatGPT, un outil développé par OpenAI qui peut produire des réponses cohérentes et naturelles à des requêtes variées. Chatgpt utilise un modèle d’apprentissage profond appelé GPT-4, qui contient environ 500 milliards de paramètres et qui a été entraîné sur une grande quantité de textes provenant d’Internet.

Si cette technologie offre des possibilités fascinantes pour la créativité, l’éducation, le divertissement ou la communication, elle présente aussi des risques importants pour la société et l’humanité. Voici quelques-uns de ces dangers :

• La désinformation et la manipulation : l’IA générative peut être utilisée pour créer du contenu faux ou trompeur, comme des fake news, des faux témoignages, des faux avis ou des faux profils. Ces contenus peuvent influencer l’opinion publique, la démocratie, les élections ou les comportements des consommateurs. Distinguer le vrai du faux et vérifier les sources d’information devient alors de plus en plus difficile.
• La perte d’authenticité et de confiance : l’IA générative peut être utilisée pour imiter la voix, le visage ou le style d’une personne réelle ou fictive, sans son consentement ou sa connaissance. Ces imitations peuvent porter atteinte à la vie privée, à la réputation ou à l’identité des personnes concernées. Elles peuvent aussi créer de la confusion, de la méfiance ou de la déception chez les destinataires du contenu. Savoir qui parle et dans quel but devient complexe.
• L’éthique et la responsabilité : l’IA générative peut être utilisée pour créer du contenu offensant, illégal ou immoral, comme des discours de haine, des incitations à la violence, des contenus pornographiques ou pédophiles. Ces contenus peuvent nuire à la dignité, à la sécurité ou au bien-être des personnes visées ou exposées. Contrôler, réguler ou sanctionner ces usages malveillants n'est plus aussi simple qu'auparavant.
• L’impact sur les relations humaines : l’IA générative peut être utilisée pour remplacer ou simuler des interactions humaines, comme des conversations, des émotions, des sentiments ou des conseils. Ces interactions peuvent avoir des effets positifs ou négatifs sur la santé mentale, le développement personnel ou le lien social des personnes impliquées. Il devient de plus en plus difficile de distinguer l’humain du non-humain et de préserver l’authenticité et la sincérité des relations.

L'une des illustrations que nous pouvons donner est ce cliché, qui est devenu viral sur Twitter mettant sur scène un vieillard au visage ensanglanté, manifestement violenté par les forces de l'ordre. Le contexte était la mobilisation contre la réforme des retraites en France et l'homme âgé était présenté comme un manifestant vraisemblablement interpellé par des policiers.

Des journalistes et experts de la reconnaissance des fake sur Internet se sont penchés sur le sujet. Selon Guillaume Brossard, le créateur du site HoaxBuster, et l’Agence France Presse, il n’y a que peu de doutes : l’image en question présente certains défauts, qui sont le signe d’une création par un logiciel, et probablement Midjourney. Mais la possibilité du réel, et surtout la difficulté à trancher facilement la question, a de quoi inquiéter.

Cette image prétendant montrer "un homme âgé au visage ensanglanté manifestant en France", interpellé par des forces de l'ordre, est relayée depuis plusieurs heures sur Twitter, entre messages d'indignation et interrogations sur son authenticité #AFP 1/... pic.twitter.com/hR7jlS1pBM

— AFP Factuel 🔎 (@AfpFactuel) March 30, 2023

C’est la raison pour laquelle des experts demandent à tous les laboratoires d’IA d’interrompre la formation de systèmes d’IA plus puissants que GPT-4

Au début du mois, OpenAI, soutenue par Microsoft, a dévoilé la quatrième itération de son programme d'IA GPT (Generative Pre-trained Transformer), qui a séduit les utilisateurs par sa vaste gamme d'applications, allant de l'engagement des utilisateurs dans une conversation de type humain à la composition de chansons et au résumé de longs documents.

La lettre, publiée par l'organisation à but non lucratif Future of Life Institute et signée par plus de 1 000 personnes, dont Musk, appelle à une pause dans le développement de l'IA avancée jusqu'à ce que des protocoles de sécurité partagés pour de telles conceptions soient élaborés, mis en œuvre et contrôlés par des experts indépendants.

« Des systèmes d'IA puissants ne devraient être développés qu'une fois que nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables », peut-on lire dans la lettre.

La lettre détaille les risques potentiels pour la société et la civilisation que représentent les systèmes d'IA compétitifs pour les humains, sous la forme de perturbations économiques et politiques, et appelle les développeurs à travailler avec les décideurs politiques sur la gouvernance et les autorités de régulation.

Parmi les cosignataires figurent Emad Mostaque, PDG de Stability AI, des chercheurs de DeepMind, propriété d'Alphabet (GOOGL.O), et des poids lourds de l'IA, Yoshua Bengio, souvent considéré comme l'un des "parrains de l'IA", et Stuart Russell, pionnier de la recherche dans ce domaine.

Selon le registre de transparence de l'Union européenne, Future of Life Institute est principalement financé par la Musk Foundation, ainsi que par le groupe Founders Pledge, basé à Londres, et la Silicon Valley Community Foundation.

Ces inquiétudes surviennent alors qu'Europol, la police de l'Union européenne, s'est jointe lundi 27 mars 2023 à un concert de préoccupations éthiques et juridiques concernant l'IA avancée telle que ChatGPT, mettant en garde contre l'utilisation abusive potentielle du système dans des tentatives de phishing, de désinformation et de cybercriminalité.

Dans le même temps, le gouvernement britannique a dévoilé des propositions pour un cadre réglementaire adaptable autour de l'IA. L'approche du gouvernement, décrite dans un document d'orientation publié il y a peu, répartirait la responsabilité de la gestion de l'intelligence artificielle entre les organismes de réglementation des droits de l'Homme, de la santé et de la sécurité, et de la concurrence, plutôt que de créer un nouvel organisme dédié à la technologie.

Les systèmes d'IA dotés d'une intelligence compétitive avec celle de l'Homme peuvent présenter des risques profonds pour la société et l'humanité, comme le montrent des recherches approfondies et comme le reconnaissent les principaux laboratoires d'IA. Comme l'indiquent les principes d'IA d'Asilomar, largement approuvés, l'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec l'attention et les ressources nécessaires. Malheureusement, ce niveau de planification et de gestion n'existe pas, même si les derniers mois ont vu les laboratoires d'IA s'enfermer dans une course incontrôlée pour développer et déployer des esprits numériques toujours plus puissants que personne - pas même leurs créateurs - ne peut comprendre, prédire ou contrôler de manière fiable.

Les systèmes d'IA contemporains deviennent aujourd'hui compétitifs pour les tâches générales, et nous devons nous poser la question : Devons-nous laisser les machines inonder nos canaux d'information de propagande et de mensonges ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? Ces décisions ne doivent pas être déléguées à des leaders technologiques non élus. Les systèmes d'IA puissants ne doivent être développés que lorsque nous sommes convaincus que leurs effets seront positifs et que leurs risques seront gérables. Cette confiance doit être bien justifiée et augmenter avec l'ampleur des effets potentiels d'un système. La récente déclaration de l'OpenAI concernant l'intelligence artificielle générale indique qu'"à un moment donné, il pourrait être important d'obtenir un examen indépendant avant de commencer à former les futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux modèles". Nous sommes d'accord. C'est maintenant qu'il faut agir.

C'est pourquoi nous demandons à tous les laboratoires d'IA d'interrompre immédiatement, pendant au moins six mois, la formation de systèmes d'IA plus puissants que le GPT-4. Cette pause devrait être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne peut être mise en place rapidement, les gouvernements devraient intervenir et instituer un moratoire.

Les laboratoires d'IA et les experts indépendants devraient profiter de cette pause pour élaborer et mettre en œuvre conjointement un ensemble de protocoles de sécurité communs pour la conception et le développement de l'IA avancée, rigoureusement contrôlés et supervisés par des experts externes indépendants. Ces protocoles devraient garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable, ce qui ne signifie pas une pause dans le développement de l'IA en général, mais simplement un recul par rapport à la course dangereuse vers des modèles de boîte noire toujours plus grands et imprévisibles, dotés de capacités émergentes.

La recherche et le développement dans le domaine de l'IA devraient être recentrés sur l'amélioration de la précision, de la sécurité, de l'interprétabilité, de la transparence, de la robustesse, de l'alignement, de la fiabilité et de la loyauté des systèmes puissants et modernes d'aujourd'hui.

Parallèlement, les développeurs d'IA doivent collaborer avec les décideurs politiques pour accélérer considérablement le développement de systèmes robustes de gouvernance de l'IA. Ceux-ci devraient au minimum inclure : de nouvelles autorités réglementaires compétentes dédiées à l'IA ; la surveillance et le suivi des systèmes d'IA hautement performants et des grands pools de capacité de calcul ; des systèmes de provenance et de filigrane pour aider à distinguer le réel du synthétique et pour suivre les fuites de modèles ; un écosystème robuste d'audit et de certification ; la responsabilité pour les dommages causés par l'IA ; un financement public robuste pour la recherche technique sur la sécurité de l'IA ; et des institutions dotées de ressources suffisantes pour faire face aux perturbations économiques et politiques dramatiques (en particulier pour la démocratie) que l'IA provoquera.

L'humanité peut jouir d'un avenir florissant grâce à l'IA. Ayant réussi à créer des systèmes d'IA puissants, nous pouvons maintenant profiter d'un "été de l'IA" au cours duquel nous récolterons les fruits de nos efforts, concevrons ces systèmes pour le plus grand bénéfice de tous et donnerons à la société une chance de s'adapter. La société a mis en pause d'autres technologies aux effets potentiellement catastrophiques pour elle, et nous pouvons faire de même ici. Profitons d'un long été de l'IA et ne nous précipitons pas sans préparation vers l'automne.

Source : vidéo WEF

Et vous ?

Quel est votre avis sur le sujet ?
Partagez-vous l’avis de Michael Schwarz ?

Voir aussi :

Les IA inamicales constituent-elles le plus grand risque pour l'humanité ? Oui, d'après le créateur d'Ethereum qui s'attend à une future catastrophe, causée par l'intelligence artificielle générale

« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk, dont une société développe des puces à insérer dans le cerveau pour contrer l'IA

Un chercheur de Google Deepmind cosigne un article selon lequel l'IA éliminera l'humanité et ravive les débats sur la possibilité d'un futur où la machine domine sur l'Homme

L'apocalypse s'accomplira-t-elle avec la création de l'IA ? L'entrepreneur Elon Musk pense que l'IA est la plus grande menace de l'humanité

[defZero]

La première fois que nous avons commencé à exiger le permis de conduire, c'était après que des dizaines de personnes soient mortes dans des accidents de voiture et c'était la bonne chose à faire.
Si nous avions exigé le permis de conduire là où il y avait les deux premières voitures sur la route, cela aurait été une grave erreur. Nous aurions complètement gâché cette réglementation. Il faut qu'il y ait au moins un petit préjudice, pour que nous puissions voir quel est le vrai problème

Michael Schwarz

Je serais d'avis que l'on réserve les premiers "morts par IA" à ce Monsieur et son entourage et que l'on vienne le voir après coups pour lui reposer la question de la réglementation.
Qu'est-ce que vous en dites ? Changera d'avis ou pas ?

Je pense que toute mort évitable devrait l'être, point.
Si l'on sais par avance que le cas pourrait ce produire, il faudrait vraiment être idiot, ou avoir des intérêt financier en jeux, pour clamer le contraire (comme pour les premières automobile et la collusion entre politiques et capitaines d'industries).
... Oh;, mais je croit bien que c'est le même cas de figure .

[onilink_]

Tout à fait. Et je trouve son exemple idiot. Les premières voitures étaient par nature limités à des vitesses très basses comparé à ce que l'on a aujourd'hui, donc ça diminuait naturellement les risques d'accidents.

Tout risque qui peut être évalué en amont doit être géré au plus tôt...
Surtout qu'on parle de technologies qui vont toucher des millions de personnes, et qui ont un potentiel néfaste extrêmement grand.
Bref, c'est le genre de sujet qu'il faut laisser à des gens qui savent de quoi ils parlent. Pas à un mec qui fait des comparaisons hasardeuses.

[_toma_]

Deux jours plus tôt, il y avait cet article :

L'IA causera « des dommages réels » : Microsoft alerte sur les risques de son utilisation par des acteurs malveillants
https://intelligence-artificielle.de...rs-potentiels/

[HaryRoseAndMac]

En parlant de dommages significatifs, une startup est venu nous voir en début de semaine (encore une), qui a fait développer son logiciel par des développeurs, je les cites "prompt engineer".

En gros, ce sont des gens qui sont nulle à chier en dev, payé un SMIC, et qui ont utilisé ChatGPT de A à Z, pour créer l'application mobile.
Ils ont demandés à ChatGPT de le faire avec les bonnes pratiques, les meilleurs optimisations possibles, ...

Ca a tellement bien marché, qu'impossible de poster leur application sur le google store puisqu'elle ne passe pas le contrôle qualité.
On a repris leur truc, comment dire ... C'est un carnage.

Des librairies dépréciées, du code totalement inutile, aux mauvais endroits dans l'architecture, qui fait appel plusieurs fois aux mêmes choses, qui utilisent des méthodes natives qu'on utilise plus depuis un moment, ...

Bref, un bon 60% du code à refaire.
Et ça, c'est quasiment le prix de l'application.

Donc forcément, ces jeunes entrepreneurs dynamique lycornés ont pouffés, dit que finalement ils allaient demander à des indiens de le faire pour trois fois rien et on les a inviter à le faire avec plaisir.

Encore une application qui va finir à la poubelle et encore des financements jetés par la fenêtre.

Ces gens là, il n'y a rien à faire, ne comprennent pas qu'ils feraient mieux d'employer un seul Freelance sénior, qui ferait leur application de A à Z, qui à la fin va fonctionner, sera en ligne et oui, aura couté plus cher que des employés aux smic ou des indiens, mais à la fin va leur rapporter 10 fois plus, plutôt que de faire appel à des "prompt engineer" ...

[onilink_]

A chaque fois que je lis "prompt engineer" ça me fait penser à the "Infinite monkey theorem"

[Nancy Rey]

Le côté obscur de l'IA : les fermes de contenu utilisent les chatbots à mauvais escient
en termes de désinformation

Les modèles d'intelligence artificielle sont actuellement sous les feux de la rampe en raison de leur potentiel à accroître l'efficacité du travail, à améliorer la prise de décision et la résolution de problèmes, et à générer du contenu dans diverses applications telles que les moteurs de recherche. Si ChatGPT et d'autres moteurs de recherche basés sur l'IA ont beaucoup à offrir en termes d'apprentissage et d'élargissement des connaissances, certains modèles d'IA peuvent avoir des effets néfastes. Il est essentiel de reconnaître que l'IA peut avoir des aspects négatifs, notamment des préjugés intégrés, des problèmes de protection de la vie privée et des risques d'abus.

Récemment, NewsGuard, le traqueur de fausses informations, a révélé comment les outils d'IA sont utilisés à mauvais escient pour diffuser de fausses informations. Le rapport met en garde contre les effets des robots d'IA qui se font passer pour des journalistes et des créateurs de contenu. En outre, il est important de noter que ces plateformes utilisent principalement le chinois, le thaï, l'anglais, le portugais, le tchèque, le français et le tagalog. Leur site web et leur contenu sont créés à partir de ces langues.

Vous devez vous demander quelle est la véritable raison de cette démarche. Eh bien, leur objectif est d'augmenter le trafic sur leur site web en utilisant des publicités positionnées à l'aide d'algorithmes. En diffusant des informations de mauvaise qualité, ces sites web, parfois appelés "fermes de contenu", tuent chaque jour le contenu original. Il est essentiel de comprendre que l'emploi de ces chatbots d'IA peut affecter de manière significative la confiance des gens dans l'exactitude des informations, ce qui pourrait avoir de graves conséquences.

En examinant de nombreuses fermes de contenu, NewsGuard a démontré comment l'IA est utilisée de manière inappropriée dans la génération de contenu. Bien que ces sites web nient utiliser des chatbots de manière préjudiciable, ils ont involontairement révélé qu'ils utilisaient l'IA pour fournir du contenu. Par exemple, le site "GetIntoKnowledge.com" a déclaré qu'il n'utilisait l'IA qu'en cas de nécessité, mais son utilisation est néanmoins confirmée. Un autre site web, "Famadillo.com", a reconnu utiliser l'IA pour réécrire certains de ses contenus antérieurs. Ces affirmations soulignent la popularité de l'IA dans la production de contenu et la nécessité de règles plus strictes pour garantir l'application morale et responsable de cette technologie.

La prolifération de la désinformation est encore renforcée par l'utilisation de matériel généré par l'IA. Par exemple, un article dont le titre semble avoir été créé par une intelligence artificielle a été publié sur le site "CountryLocalNews.com". Cela montre comment l'IA peut être utilisée pour fournir un faux contenu et modifier les titres afin d'augmenter le trafic sur ces sites web.

Malgré l'utilisation abusive et généralisée de l'IA dans l'espace internet, Google continue de dominer le secteur des moteurs de recherche en raison de son engagement à fournir aux internautes des informations fiables et uniques, tout en accordant la priorité à leur sûreté et à leur sécurité. Au fil des ans, Google a mis en place un certain nombre de mécanismes pour maintenir l'exactitude de ses résultats de recherche, notamment en donnant la priorité aux contenus de haute qualité et en pénalisant les sites web qui ne respectent pas ses règles. L'entreprise a également pris des mesures pour garantir la protection de la vie privée des consommateurs, comme l'authentification à deux facteurs et le cryptage.

En résumé, il est essentiel d'être prudent et de réfléchir longuement au développement et à l'utilisation de l'IA. Nous devons être conscients de l'utilisation que nous ferons de la technologie de l'IA à mesure qu'elle évoluera à l'avenir, en veillant à ce qu'elle soit faite de manière responsable et éthique.

Source : NewsGuard

Et vous ?

Que pensez-vous de ce rapport ?
Trouvez-vous que les conclusions formulées dans ce rapport sont pertinentes ou crédibles ?
Quel est votre ressenti concernant les chatbots d'IA ? Selon vous, comment devrait-on encadrer leurs usages pour qu'ils soient plus sûrs ?

Voir aussi :

L'IA peut maintenant écrire de la désinformation pour tromper les lecteurs, des chercheurs ont utilisé le générateur de texte GPT-3 pour écrire des tweets que les gens ont trouvés convaincant

Un « bogue » dans l'algorithme de Facebook a engendré une mise en avant de la désinformation sur des fils d'actualités, il n'a été corrigé que six mois plus tard

Les chatbots d'IA pourraient aggraver la désinformation en ligne, en permettant aux acteurs malveillants de créer des campagnes plus rentables, et plus difficiles à repérer, selon certains chercheurs

L'outil de surveillance le plus controversé du FBI est menacé, l'examen de l'accès du FBI aux renseignements étrangers révèle une mauvaise utilisation de la technologie de surveillance

[Stéphane le calme]

OpenAI met sur pieds une division chargée de créer une IA qui va contrôler le développement de la superintelligence,
supposée avoir des niveaux d'intelligence supérieurs à l'homme. Elle pourrait arriver d'ici 2030 selon OpenAI

Le laboratoire d'intelligence artificielle OpenAI lance une nouvelle division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Ce futur type d'IA devrait avoir des niveaux d'intelligence supérieurs à ceux de l'homme, y compris des capacités de raisonnement. Les chercheurs craignent que si elle n'est pas alignée sur les valeurs humaines, elle puisse causer de graves dommages.

Nous avons beaucoup entendu parler du nombre de pionniers du monde de l'IA qui expriment des préoccupations majeures concernant ChatGPT et le domaine de l'IA générative. Il y a également eu des réflexions sur la façon dont ils pourraient conquérir le monde un jour et faire disparaître la race humaine, compte tenu du rythme rapide auquel la formation et les développements se déroulent.

Nous n'en sommes pas encore tout à fait sûrs, mais pour le moment, OpenAI veut que le monde sache qu'il s'en soucie et pour cette raison, il met en place une nouvelle équipe de membres qui se verra confier une tâche très importante et innovante : maitriser et à superviser l’IA. L’équipe, composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.

Alors que certains estiment que cette annonce s'apparente à de la science-fiction, d'autres prétendent être moins dérangés. Quoi qu'il en soit, OpenAI ne plaisante pas quand il dit vouloir jouer un rôle actif en termes de risques liés aux systèmes d'IA et à leurs capacités massives qui pourraient bien prendre le dessus sur l'intelligence humaine.

S'exprimant dans l'un de ses articles de blog récemment publiés, la société ajoute qu'il s'agit d'une forme sérieuse de technologie qui aurait un impact sur le monde. Et le fait que les humains l'aient créé signifie que nous ne pouvons pas la laisser nous détruire. L'entreprise a également expliqué en détail comment trouver la bonne solution pourrait aider à résoudre tant de problèmes majeurs qui existent aujourd'hui.

« Le pouvoir immense de la superintelligence pourrait … conduire au déclassement de l’humanité ou même à son extinction », ont écrit dans un billet de blog le co-fondateur d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike. « Actuellement, nous n’avons pas de solution pour orienter ou contrôler une IA potentiellement superintelligente, et l’empêcher de devenir incontrôlable ».

La superintelligence (des systèmes plus intelligents que les humains) pourrait arriver cette décennie, ont prédit les auteurs du billet de blog. Les humains auront besoin de meilleures techniques que celles actuellement disponibles pour pouvoir contrôler la superintelligence, d’où la nécessité de percées dans la recherche sur « l’alignement », qui se concentre sur le fait de garantir que l’IA reste bénéfique aux humains, selon les auteurs.

OpenAI, soutenue par Microsoft, consacre 20 % de la puissance de calcul qu’elle a sécurisée au cours des quatre prochaines années à résoudre ce problème, ont-ils écrit. En outre, la société forme une nouvelle équipe qui s’organisera autour de cet effort, appelée l’équipe Superalignment. L’objectif de l’équipe est de créer un chercheur en alignement d’IA « de niveau humain », puis de la faire évoluer grâce à d’énormes quantités de puissance de calcul.

OpenAI affirme que cela signifie qu’ils formeront des systèmes d’IA en utilisant des retours d’information humains, formeront des systèmes d’IA pour assister à l’évaluation humaine, puis finalement formeront des systèmes d’IA pour faire réellement la recherche sur l’alignement.

Au-delà de l'intelligence artificielle générale

Les co-fondateurs d'OpenAI ont décidé de regarder au-delà de l'intelligence artificielle générale (AGI), qui devrait avoir des niveaux d'intelligence humains, et de se concentrer plutôt sur ce qui vient ensuite. En effet, ils pensent que l'IAG est à l'horizon et que l'IA superintelligente devrait émerger d'ici la fin de cette décennie, cette dernière présentant une menace beaucoup plus grande pour l'humanité.

Les techniques d'alignement de l'IA actuelles, utilisées sur des modèles comme GPT-4 (la technologie qui sous-tend ChatGPT) impliquent un apprentissage par renforcement à partir de la rétroaction humaine. Cela repose sur la capacité humaine à superviser l'IA, mais cela ne sera pas possible si l'IA est plus intelligente que les humains et peut déjouer ses superviseurs. « D'autres hypothèses pourraient également s'effondrer à l'avenir, comme les propriétés de généralisation favorables lors du déploiement ou l'incapacité de nos modèles à détecter avec succès et à saper la supervision pendant la formation », ont expliqué Sutsker et Leike.

Tout cela signifie que les techniques et technologies actuelles ne seront pas adaptées pour fonctionner avec la superintelligence et que de nouvelles approches sont donc nécessaires.

L'IA super intelligente pourrait surpasser les humains

OpenAI a défini trois étapes pour atteindre l'objectif de créer un chercheur d'alignement automatisé au niveau humain qui peut être mis à l'échelle pour garder un œil sur toute future superintelligence. Cela inclut la fourniture d'un signal de formation sur les tâches difficiles à évaluer pour les humains - en utilisant efficacement les systèmes d'IA pour évaluer d'autres systèmes d'IA. Ils prévoient également d'explorer comment les modèles construits par OpenAI généralisent les tâches de surveillance qu'il ne peut pas superviser.

Alors que la superintelligence semble loin maintenant, nous pensons qu'elle pourrait arriver cette décennie. La gestion de ces risques nécessitera, entre autres, de nouvelles institutions de gouvernance et la résolution du problème de l'alignement des superintelligences :

Comment s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent l'intention humaine ?

Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement super intelligente et l'empêcher de devenir malveillante. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de la rétroaction humaine, reposent sur la capacité des humains à superviser l'IA. Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne seront donc pas adaptées à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques.

Notre approche

Notre objectif est de construire un chercheur d'alignement automatisé à peu près au niveau humain. Nous pouvons ensuite utiliser de grandes quantités de calcul pour faire évoluer nos efforts et aligner de manière itérative la superintelligence.

Pour aligner le premier chercheur en alignement automatisé, nous devrons 1) développer une méthode de formation évolutive, 2) valider le modèle résultant et 3) tester sous contrainte l'ensemble de notre pipeline d'alignement :

1. Pour fournir un signal de formation sur des tâches difficiles à évaluer pour les humains, nous pouvons tirer parti des systèmes d'IA pour aider à l'évaluation d'autres systèmes d'IA (supervision évolutive). De plus, nous voulons comprendre et contrôler comment nos modèles généralisent notre surveillance à des tâches que nous ne pouvons pas superviser (généralisation).
2. Pour valider l'alignement de nos systèmes, nous automatisons la recherche des comportements problématiques (robustesse) et des internes problématiques (interprétabilité automatisée).
3. Enfin, nous pouvons tester l'ensemble de notre pipeline en entraînant délibérément des modèles désalignés et en confirmant que nos techniques détectent les pires types de désalignements (tests contradictoires).

Il existe également des mesures pour valider l'alignement des systèmes, en particulier en automatisant la recherche de comportements problématiques à l'extérieur et au sein des systèmes. Enfin, le plan consiste à tester l'ensemble du pipeline en entraînant délibérément des modèles mal alignés, puis en exécutant le nouvel entraîneur d'IA sur eux pour voir s'il peut le remettre en forme, un processus connu sous le nom de test contradictoire.

Une approche qui ne fait pas l'unanimité

Connor Leahy, un défenseur de la sécurité de l’IA, a déclaré que le plan était fondamentalement erroné car l’IA initiale de niveau humain pourrait s’emballer et causer des ravages avant qu’elle ne puisse être contrainte à résoudre les problèmes de sécurité de l’IA. « Vous devez résoudre l’alignement avant de construire une intelligence de niveau humain, sinon par défaut vous ne la contrôlerez pas », a-t-il déclaré dans une interview. « Je ne pense personnellement pas que ce soit un plan particulièrement bon ou sûr ».

Les dangers potentiels de l’IA ont été au premier plan pour les chercheurs en IA et le grand public. En avril, un groupe de leaders et d’experts du secteur de l’IA a signé une lettre ouverte demandant une pause de six mois dans le développement de systèmes plus puissants qu’OpenAI GPT-4, citant les risques potentiels pour la société. Un sondage réalisé en mai a révélé que plus des deux tiers des Américains sont préoccupés par les effets négatifs possibles de l’IA et que 61 % pensent qu’elle pourrait menacer la civilisation.

La sécurité de l'IA devrait devenir une industrie majeure à part entière. Les nations espèrent également capitaliser sur le besoin futur d'aligner l'IA sur les valeurs humaines. Le Royaume-Uni a lancé le Foundation Model AI Taskforce avec un budget de 100 millions de livres sterling pour enquêter sur les problèmes de sécurité de l'IA et organisera un sommet mondial sur l'IA plus tard cette année. Cela devrait se concentrer sur le risque plus immédiat des modèles d'IA actuels, ainsi que sur l'émergence probable de l'intelligence artificielle générale dans les prochaines années.

Source : OpenAI

Et vous ?

Que pensez-vous du plan d’OpenAI de créer une équipe de recherche sur la superintelligence (dont l'intelligence serait « supérieure » à celle de l'homme) alors que nous n'en sommes même pas encore à l'intelligence artificielle générale (dont l'intelligence serait « équivalente » à celle de l'homme) ?
Craignez-vous que l’IA devienne incontrôlable ou nuisible à l’humanité ? Science fiction ou potentielle réalité ?
Que pensez-vous du délai donné par les chercheurs pour atteindre la superintelligence (ils disent qu'elle pourrait arrivée cette décennie - d'ici 2030 donc) ?
Pensez-vous que l’IA puisse se superviser elle-même de manière fiable ?

[kain_tn]

[
Que pensez-vous du plan d’OpenAI de créer une équipe de recherche sur la superintelligence (dont l'intelligence serait « supérieure » à celle de l'homme) alors que nous n'en sommes même pas encore à l'intelligence artificielle générale (dont l'intelligence serait « équivalente » à celle de l'homme) ?

Un simple effet d'annonce. Peut-être causé par ça: ChatGPT est confronté pour la première fois à une baisse de trafic après une croissance explosive depuis son lancement
ce qui suggère que la frénésie suscitée par le chatbot commence à s'estomper