Discussion :

[onilink_]

Je ne pense pas que ce soit une mauvaise chose au final.

La revue par les pairs repose beaucoup trop sur la confiance.
Il va falloir faire évoluer le système et le rendre plus résilient.

Les éditeurs vont forcement tirer la gueule, car si j'ai bien compris comment le système de publication actuel fonctionne, la revue par les paires se fait de manière non rémunérée et est soumises à plusieurs biais. Améliorer cela va forcement demander plus de moyens, et donc leur coûter de l'argent.

Peut être aussi revoir le système de validation. Qu'on me corrige si je me trompe mais de ce que j'ai compris seuls les résultats positifs sont publiés. Ce qui me semble assez aberrant, mais je ne suis pas du domaine...

[calvaire]

n'est il pas possible de développer une ia pour vérifier les études ? de donner un score de confiance a chaque paragraphe par exemple
je tiens une idée de startup la
l'ia de fake checking

[GLDavid]

Bonjour
Je vois de mon côté les limites du

Publish or Perish

.
La recherche veut publier tout et n'importe quoi. Tant qu'on a un papier soumis, ça fait rentrer de l'argent pour le labo.
Et certains scientifiques peu scrupuleux voudront utiliser l'IA pour:

• Générer des données aléatoires ou fausses
• Générer du texte truqué et un raisonnement/méthode bidon
• Pourquoi pas aussi des noms d'auteurs fantaisistes, tant qu'on apparait en premier ou dernier

J'ajoute que la revue par les pairs peu aussi être tronquée ou se faire par arrangement.
Une chose que l'on m'a appris en maîtrise (oui, les vieux comme moi ont eu ça, aujourd'hui on appelle ça un master 2), c'est de lire un article scientifique en toute objectivité. Décortiquer un article et y déceler des failles, c'est tout un art.
C'est ce que l'on appelle l'esprit critique, chose qui fait défaut à notre temps de mon point de vue.

@++

[Prox_13]

C'est quand même dommage, techniquement les études sont des sources d'informations; Je pense que l'homme est plus à même de transmettre des nouvelles connaissances qu'une IA de prédiction de mot, non ?

[GLDavid]

C'est quand même dommage, techniquement les études sont des sources d'informations; Je pense que l'homme est plus à même de transmettre des nouvelles connaissances qu'une IA de prédiction de mot, non ?

C'est en effet le sel de la recherche: te baser sur les travaux des autres pour mener les tiens. Ce que Newton avait décrit par

Si j'ai pû voir si loin, c'est parce que je suis monté sur les épaules des géants

.
Les articles en ce moment, c'est plus du sensationnalisme ou de la production de papiers alimentaires. Encore une fois, c'est le système Publish Or Perish qui mène à une telle corruption de la Science.

@++

[Axel Mattauch]

Un chercheur français repère l'utilisation illégitime de ChatGPT dans des articles
[...]
De nombreux éditeurs, dont Elsevier et Springer Nature, ont déclaré que les auteurs pouvaient utiliser ChatGPT et d'autres grands modèles de langage (LLM) pour les aider à rédiger leurs manuscrits, à condition qu'ils le déclarent. Toutefois, Springer Nature a annoncé en début d’année que ChatGPT, ou tout système similaire de génération de texte, ne peut pas être crédité en tant qu'auteur dans les articles publiés dans ses revues. L'éditeur ne voit aucun problème au fait que l'IA soit utilisée pour aider à rédiger des recherches, mais elle exige que son utilisation soit correctement divulguée. [...]

Pour toutes choses il faut raison garder.

• Je ne vois aucune raison de se priver de l'usage d'un outil s'il apporte des bénéfices (et sous réserve de contreparties acceptables)
• Comme tout outil, il faut apprendre à s'en servir.

Je vous laisse décliner ces deux affirmations sur les exemples cités.
Si les articles scientifiques sont de la daube (non originales, erronées etc) il n'y a pas lieu d'en incomber la responsabilité à l'outil. De nombreux articles sont pourris sans l'aide de l'IA.


Une anecdote au sujet du volet "triche": Durant ma scolarité j'ai eu l'occasion de faire des antisèches. J'en préconise la pratique: préparer de façon concise de tels aide-mémoire est un moteur puissant pour comprendre le cours, en capter l'essentiel, et retenir ces informations.
Pour autant que je m'en souvienne, je ne les ai jamais exploitées.

[bes51]

Finalement, cela pourrait être simple : utiliser ChatGPT pour savoir si un article a été écrit par/avec ChatGPT !

[MDev25]

C'est comme pas mal de choses : il y a des bons et des mauvais cotés !
Je me limite ici au domaine que je connais : celui des articles scientifiques.

D'une part, la génération de texte pour un chatGPT-like pourrait permettre d'améliorer la syntaxe en anglais de pas mal d'articles et donc de les rendre plus facile à lire et à "référer", voire même d'éviter les auto-plagiats, en demandant de reformuler tel ou tel paragraphe d'introduction ou d'exposition de la méthode, qu'on a déjà écrit pas mal de fois ! Cela permettrait de faciliter la publication pour les non-anglophones natifs.

D'autre part, il va falloir que les éditeurs investissent un peu pour détecter l'utilisation de l'IA : par exemple un script qui va prendre les références une à une, chercher leur DOI et le suivre pour s'assurer que l'article existe bien (ce qui existe d'ailleurs déjà chez certains éditeurs qui nous disent lors des proofs qu'on a un bug dans telle ou telle référence, ce qui pourrait être fait avant le processus de refereeing plutôt qu'après !)
Ceci dit, pour avoir référé pas mal de papiers en y passant le plus souvent un temps non négligeable, je sais que j'ai pu parfois trouver de vraies erreurs, mais que je serais très étonné d'apprendre que je n'en ai jamais laissé passer ! ;-)
Dans le domaine scientifique, les éditeurs pourraient peut-être aussi regarder du coté du couplage entre une techno style Wolfram alpha et celle de chatGPT, pour s'assurer ne serait-ce que du fait qu'on a bien toutes les formules et données pour retrouver une application numérique dans les articles expérimentaux, voire s'assurer qu'un enchainements de formules est bien exact dans des articles plus théoriques. Je vois même un partenariat possible avec certains éditeurs de logiciels de calculs symboliques qui pourraient ainsi repérer des cas où leur logiciel ne sait pas répondre et avoir ainsi des idées de nouvelles fonctionnalités leur permettant de continuer à justifier les changements de version qu'ils nous font payer ! ;-)

=> une IA pour détecter l'IA ?! ;-)

[Stéphane le calme]

Un juge britannique estime que ChatGPT est « très utile » après l'avoir utilisé pour rédiger une décision,
et a déclaré que la technologie a un « réel potentiel »

Un juge de la Cour d’appel britannique a révélé qu’il avait utilisé ChatGPT, un chatbot basé sur l’intelligence artificielle, pour l’aider à rédiger une partie d’une décision de justice. Le juge Birss, spécialiste du droit de la propriété intellectuelle, a qualifié l’outil de génération de texte de « très utile » et a déclaré que la technologie a un « réel potentiel ».

Lord Justice Birss, spécialisé dans le droit de la propriété intellectuelle, a déclaré qu'il avait demandé à l'outil d'IA de fournir un résumé d'un domaine du droit et qu'il avait reçu un paragraphe qu'il jugeait acceptable comme réponse. Lors d’une conférence organisée par le Barreau, il a déclaré que les grands modèles linguistiques génératifs avaient un « réel potentiel ».

« Je pense que ce qui est le plus intéressant, c'est que vous pouvez demander à ces grands modèles linguistiques de résumer des informations. C’est utile et ce sera utilisé, d'ailleurs je peux vous dire que je l’ai utilisé », a-t-il déclaré. « J’assume l’entière responsabilité personnelle de ce que j’ai mis dans mon jugement, je n’essaie pas de confier la responsabilité à quelqu’un d’autre. Tout ce que cela faisait, c’était une tâche que j’étais sur le point d’accomplir et dont je connaissais la réponse et que je pouvais reconnaître comme acceptable ».

Il s’agit du premier cas connu d’utilisation de ChatGPT par un juge britannique pour écrire une partie d’un jugement. Cette pratique est controversée, car ChatGPT peut commettre de nombreuses erreurs.

Les scientifiques, les écrivains et d’autres professionnels ont déjà trouvé l’exactitude de ChatGPT peu fiable depuis son lancement l’année dernière, et il est devenu connu pour avoir un « problème d’hallucination » dans lequel de fausses informations sont générées.

Plus tôt cette année, ChatGPT a faussement accusé un professeur de droit américain en l'incluant dans une liste générée de juristes qui avaient harcelé sexuellement quelqu'un, citant un rapport inexistant du Washington Post.

ChatGPT a déjà induit en erreur des professionnels du droit

Il y a quelques mois, un avocat a utilisé ChatGPT pour générer et citer des affaires fictives dans un mémoire juridique, provoquant la fureur du juge et des sanctions potentielles. Lorsqu’on lui a demandé de fournir des copies des affaires citées, l’avocat s’est tourné à nouveau vers ChatGPT, qui a produit des détails complets sur les affaires inexistantes.

Le procès a commencé comme tant d'autres : un homme du nom de Roberto Mata a poursuivi la compagnie aérienne Avianca, affirmant qu'il avait été blessé lorsqu'un chariot de service en métal lui avait heurté le genou lors d'un vol vers l'aéroport international Kennedy de New York.

Quand Avianca a demandé à un juge fédéral de Manhattan de rejeter l'affaire, les avocats de Mata se sont opposés avec véhémence, soumettant un mémoire de 10 pages citant plus d'une demi-douzaine de décisions de justice pertinentes. Il y a eu Martinez c. Delta Air Lines, Zicherman c. Korean Air Lines et, bien sûr, Varghese c. China Southern Airlines, avec sa savante discussion sur la loi fédérale et « l'effet de péage de la suspension automatique d'un délai de prescription ».

Il y avait juste un hic : personne (ni les avocats de la compagnie aérienne ni le juge lui-même) n'a pu trouver les décisions ou les citations citées et résumées dans le mémoire.

C'était parce que ChatGPT avait tout inventé, tout en assurant à l'avocat que ces affaires étaient réelles.

En fait, ce n’est qu’après que les avocats de la compagnie aérienne ont souligné dans un nouveau mémoire que les affaires n’existaient pas que Schwartz a découvert son erreur (ou, l’erreur de l’ordinateur, selon le point de vue).

Les avocats ont été condamnés à payer une amende de 5 000 dollars.

Les régulateurs et les tribunaux doivent contrôler l'utilisation de ChatGPT dans les litiges

Les régulateurs juridiques et les tribunaux devront peut-être contrôler « si, dans quelles circonstances et à quelles fins » les avocats peuvent utiliser des systèmes d’intelligence artificielle (IA) comme ChatGPT dans les litiges, a déclaré le Master of the Rolls. Il s'agit du troisième plus important juge du Royaume-Uni, après le Président de la Cour Suprême du Royaume-Uni et le Lord Chief Justice. À ce titre, il préside la section civile de la Cour d'appel.

Sir Geoffrey Vos (puisqu'il s'agit de lui) a déclaré qu'il faudrait des mécanismes pour gérer l'utilisation de l'IA générative au sein du système juridique.

« Nous pourrions même, espérons-le, en faire profiter l’accès à la justice, ainsi que des conseils juridiques et une résolution des litiges efficaces et économiques. »

S'adressant à la conférence sur le droit et la technologie de la Law Society of Scotland en juin, Sir Geoffrey a souligné le cas de l'avocat new-yorkais Steven Schwartz, qui a utilisé ChatGPT pour préparer ses arguments dans une affaire de préjudice corporel. Six des cas cités étaient, selon les termes du juge, « de fausses décisions avec de fausses citations ». Et ce malgré le fait que Schwartz ait demandé au système de confirmer leur exactitude.

« M. Schwartz n'a pas été découvert en raison du langage utilisé dans son mémoire, mais parce que le juge chargé de cette affaire a pris la peine de rechercher les cas cités. Sans doute que cela n’arrive pas toujours », a déclaré le Sir Geoffrey Vos. « Les risques que courent les justiciables utilisant ChatGPT en personne pour créer des soumissions plausibles doivent être encore plus palpables. Et en effet, un tel événement aurait eu lieu à Manchester il y a seulement quelques jours ».

L’affaire a montré que les avocats ne pouvaient pas utiliser l’IA générative pour rogner sur les coûts. « Je soupçonne que les outils d’IA non spécialisés n’aideront pas les avocats professionnels autant qu’ils le pensent, même si je suis convaincu que les IA juridiques spécialisées seront une autre histoire. »

Il a déclaré que Spellbook affirmait déjà avoir adapté « GPT-4 pour réviser et suggérer le langage de vos contrats et documents juridiques ».

« Il est peu probable que les clients paient pour des choses qu'ils peuvent obtenir gratuitement », a déclaré Sir Geoffrey, faisant écho aux commentaires qu'il avait faits en avril. « M. Schwartz aurait bien fait de lire l’article d’Enyo Law, qui souligne que le grand modèle linguistique est là pour "aider" les avocats et doit être soigneusement vérifié ». « Néanmoins, si les mémoires peuvent être rédigés par ChatGPT et Spellbook, vérifiés par des avocats, les clients feront probablement pression pour que cela se produise si cela est moins cher et permet d'économiser du temps aux salariés coûteux ».

Dans les litiges du moins, a poursuivi Sir Geoffrey, « le facteur limitant peut être la cour ou le tribunal qui statue sur le différend ».

Un juge en Colombie a également utilisé ChatGPT

En Colombie, un juge a admis avoir utilisé ChatGPT pour décider si l’assurance d’un enfant autiste devait couvrir tous les frais de son traitement médical.

Le juge de la ville caribéenne de Carthagène, Juan Manuel Padilla, a conclu que les frais médicaux et les frais de transport de l’enfant devaient être pris en charge par son assurance maladie, car ses parents ne pouvaient pas les payer.

Padilla pose à l'outil d'IA des questions spécifiques sur la question juridique, telles que : « Un mineur autiste est-il exonéré du paiement des frais pour ses thérapies ?

La réponse de ChatGPT était en accord avec la décision finale du juge.

Conclusion

ChatGPT est un outil basé sur un modèle de langage artificiel qui peut générer du texte à partir d’une entrée donnée. Il peut être utilisé pour diverses applications, telles que la rédaction de résumés, de poèmes, de dialogues, etc. Il peut également répondre à des questions spécifiques sur un sujet donné 5.

ChatGPT n’est pas le seul outil d’intelligence artificielle utilisé dans le domaine juridique. D’autres logiciels peuvent aider les avocats à analyser des documents, à rechercher des précédents, à prédire des résultats ou à automatiser des tâches administratives. L’utilisation de l’intelligence artificielle dans le système judiciaire soulève toutefois des questions éthiques et juridiques,

Pour un professionnel de l'informatique : « ChatGPT n'est pas une source vraiment fiable. Il est indéniable qu’il s’agit de l’un des meilleurs outils de génération de contenu d’intelligence artificielle, mais la précision sur de nombreux sujets n’est toujours pas aussi bonne qu’on le souhaiterait ».

Rosie Burbidge, associée en propriété intellectuelle chez Gunnercooke LLP, a déclaré : « L'IA, y compris les chatbots, représente une énorme opportunité pour la profession juridique, y compris les juges. Cependant, les avocats doivent être conscients des nombreux risques, notamment le partage d’informations confidentielles, la renonciation à des privilèges et le risque de perte de propriété d’actifs de propriété intellectuelle clés tels que les précédents standards. »

Source : Law Society Gazette

Et vous ?

Quel pourrait être l’impact de l’utilisation de ChatGPT sur la confiance du public dans le système judiciaire ?
Quels sont les avantages et les inconvénients de l’utilisation de ChatGPT par les juges pour rédiger des décisions de justice ?
Quels sont les risques liés à l’utilisation de ChatGPT dans ce milieu ?
Peut-on définir des critères de qualité et de fiabilité que ChatGPT pour une utilisation dans le domaine juridique ? Si oui, lesquels ?
Quelles sont les garanties de transparence et de responsabilité que les juges doivent offrir lorsqu’ils utilisent ChatGPT ?

[Bruno]

Les grands modèles de langage confabulent, ils n'hallucinent pas,
d'après Beren Millidge, responsable de la recherche IA chez Conjecture

Le billet de blog de Beren Millidge, responsable de la recherche IA chez Conjecture, explique pourquoi le terme de confabulation est plus approprié que celui d’hallucination pour décrire le comportement des LLM (modèles de langage à grande échelle) lorsqu’ils inventent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.

Un grand modèle de langage (LLM) est un algorithme d'apprentissage profond qui peut effectuer une variété de tâches de traitement du langage naturel (NLP). Les grands modèles de langage utilisent des modèles de transformation et sont formés à l'aide d'ensembles de données massifs - d'où le terme « grand ». Cela leur permet de reconnaître, traduire, prédire ou générer du texte ou d'autres contenus.

Les grands modèles linguistiques sont également appelés réseaux neuronaux (RN), qui sont des systèmes informatiques inspirés du cerveau humain. Ces réseaux neuronaux fonctionnent à l'aide d'un réseau de nœuds en couches, à l'instar des neurones.

Outre l'apprentissage des langues humaines pour les applications d'intelligence artificielle (IA), les grands modèles de langage peuvent également être entraînés à effectuer diverses tâches telles que la compréhension des structures protéiques, l'écriture de codes logiciels, etc. À l'instar du cerveau humain, les grands modèles de langage doivent être pré-entraînés puis affinés afin de pouvoir résoudre des problèmes de classification de textes, de réponse à des questions, de résumé de documents et de génération de textes.

Leurs capacités de résolution de problèmes peuvent être appliquées à des domaines tels que la santé, la finance et le divertissement, où les grands modèles de langage servent une variété d'applications NLP, telles que la traduction, les chatbots, les assistants d'IA. Les grands modèles de langage ont aussi un grand nombre de paramètres, qui sont comme des mémoires que le modèle recueille au fur et à mesure qu'il apprend lors de la formation. Ces paramètres constituent la banque de connaissances du modèle.

Les gens décrivent souvent le LLM comme "hallucinant", lorsqu'il invente des informations qui semblent correspondre à une requête donnée, même si elles sont trivialement fausses. Bien qu'évocatrice, cette terminologie n'est pas correcte. En psychologie, nous disposons déjà d'un terme parfait pour désigner ce phénomène précis : la confabulation.

La confabulation est généralement utilisée dans un contexte psychiatrique lorsque des personnes souffrent de lésions cérébrales, notamment de la mémoire, qui les empêchent d'expliquer ou de répondre correctement à des questions. Par exemple, si l'on pose à un patient amnésique des questions sur un événement auquel il a assisté, au lieu d'admettre qu'il ne sait pas, il inventera une histoire plausible.

De même, chez les patients à cerveau divisé, où le corps calleux est sectionné de sorte que chaque moitié du cerveau ne peut pas se parler, les patients peuvent inventer des explications élaborées pour expliquer pourquoi l'autre moitié de leur corps fait telle ou telle chose, même si l'expérimentateur sait que ce n'est pas le cas parce qu'il l'a incité à faire quelque chose de différent.

En général, les personnes confabulatrices inventent des justifications qui semblent plausibles mais qui ne sont pas fondées. Elles ne le font généralement pas dans l'intention de tromper, mais semblent au contraire croire fermement à l'histoire qu'elles viennent de raconter. Ce comportement est identique à celui des LLM. Lorsqu'ils sont contraints de donner une réponse en utilisant un fait qu'ils ne connaissent pas, ils ne peuvent pas dire qu'ils ne savent pas, puisque dans la formation, de tels exemples seraient suivis du fait réel. Au lieu de cela, ils inventent quelque chose de plausible. Ils confabulent.

Si nous reconnaissons que ce que les LLM font réellement est de la confabulation, nous pouvons essayer de comparer et de contraster leur comportement avec celui des humains. « Les humains confabulent dans une grande variété de circonstances et en particulier dans le cas de certaines pathologies neuronales telles que les troubles de la mémoire et les patients au cerveau divisé. Il est amusant de constater que ces situations sont similaires à celles d'un LLM », écrit Beren Millidge.

L’article de Beren Millidge est intéressant et provocateur. Il soulève une question pertinente sur la terminologie appropriée pour décrire le comportement des LLM lorsqu’ils inventent des informations fausses mais plausibles. Il propose d’utiliser le terme de confabulation, qui est emprunté à la psychologie, pour rendre compte de ce phénomène. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.

Si on peut être en partie d’accord avec son argumentation, il convient de reconnaitre qu’il y a aussi des limites et des nuances à prendre en compte. D’une part, le terme d’hallucination n’est pas très précis ni très informatif pour caractériser le comportement des LLM. Comme il le dit, l’hallucination implique une perception sensorielle sans stimulus externe, ce qui n’est pas le cas des LLM qui génèrent du texte à partir d’un prompt. Le terme de confabulation semble plus adapté pour décrire la production d’informations plausibles mais potentiellement inexactes ou fabriquées, ce qui est une caractéristique commune des modèles de langage lorsqu’ils produisent des réponses basées sur une connaissance limitée ou incomplète.

D’autre part, il y aurait aussi des différences importantes entre la confabulation humaine et la confabulation des LLM. La confabulation humaine est généralement associée à un trouble cognitif ou à une pathologie neuronale, qui affecte la mémoire, le raisonnement ou la conscience de soi. La confabulation humaine peut avoir des conséquences négatives sur la vie quotidienne, les relations sociales ou le bien-être psychologique. La confabulation humaine peut aussi être influencée par des facteurs émotionnels, motivationnels ou contextuels.

La confabulation des LLM, en revanche, n’est pas liée à un dysfonctionnement ou à une souffrance, mais à une limitation technique ou algorithmique. La confabulation des LLM n’a pas d’impact direct sur leur fonctionnement interne ou leur état affectif. La confabulation des LLM est plutôt déterminée par les données d’entraînement, les paramètres du modèle ou les contraintes du prompt.

Sources : Blog post by Beren Millidge, Head of AI Research at Conjecture

Et vous ?

Partagez-vous le point de vue de Millidge selon lequel le terme de confabulation est plus approprié que celui d’hallucination pour décrire le phénomène de fausses informations, mais plausibles par les LLM ?

Est-il justifié de comparer la confabulation humaine et la confabulation des LLM sans prendre en compte les distinctions entre ces deux phénomènes en termes de caractéristiques, d’origines et d’effets ?

Êtes-vous d’avis avec Beren Millidge que les LLM sont des humains atteints d'amnésie extrême et dépourvus de cohérence centrale ?

Voir aussi :

Les chatbots alimentés par des grands modèles de langage (LLM) entraîneront un pic de violations de données d'initiés, 82 % des entreprises ne disposant pas de stratégie de gestion des risques

Les micro-applications génératives peuvent renforcer la main-d'œuvre humaine et réduire l'exposition des entreprises aux principaux risques des LLM, selon Nadir Henein, VP Analyste chez Gartner

Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui

[kain_tn]

Partagez-vous le point de vue de Millidge selon lequel le terme de confabulation est plus approprié que celui d’hallucination pour décrire le phénomène de fausses informations, mais plausibles par les LLM ?

Non. Ces daubes sortent des résultats qui n'existent pas, un point c'est tout.

Il bosse dans le domaine alors il essaye de juste de nous vendre sa tambouille en adoucissant le fait que ces IA sont juste imparfaites.

[_toma_]

Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.

Présenter des bugs comme étant des fonctionnalités, il suffisait d'y penser .

[Nym4x]

Attendons que la hype retombe... Il y a beaucoup de comm et de marketing autours de l'IA afin de générer du business. Et puis à un moment une invention peut fonctionner mais causer trop de problèmes annexes pour ne pas être soit interdite soit règlementée. Concernant les métiers manuels : vu les progrès des robots boston dynamics par exemple, je ne pense pas que ces métiers vont rester longtemps intouchables... surtout quand ils vont mettre de l'IA dans ces robots justement...

[krapupul]

Si la médecine et la psychologie peuvent fournir une piste pour arranger le problème c'est bien. Par contre si c'est juste un pinaillage sémantique ...
De fait c'est quand même très gênant que les IA délirent ainsi, ça oblige à tout vérifier, à ne pas leur faire confiance.

[TJ1985]

De fait c'est quand même très gênant que les IA délirent ainsi, ça oblige à tout vérifier, à ne pas leur faire confiance.

Question amusante, posée à ChatGPT : Comment m'établir aux USA pour y passer ma retraite.

Réponse bien tournée, qui me dit que c'est très simple, qu'il suffit de remplir le formulaire xxx (me souviens plus).
Vérification faite, ledit formulaire s'applique aux conjoints de résidents US, donc pas du tout dans le contexte.
C'est une des nombreuses vérifications que j'ai faites, et qui renvoient à une réalité : L'intelligence artificielle est une usurpation sémantique, il faut toujours garder en mémoire que ce n'est qu'un moteur de recherche s'appuyant sur des statistiques d'occurences.
Il n'y a aucune compréhension de domaine, aucune intelligence dans le sens où nous l'entendons des êtres vivants. ChatGPT et ses cousins n'ont pas d'image du monde, si on veut, ils ne peuvent pas prendre un regard externe pour vérifier leur première assertion.
Ça peut changer si les travaux de Yann LeCun aboutissent bien. Mais en attendant, méfiance !
Tiens, pour voir comment ça marche, installez Llama C++ sur une petite machine (Raspberry Pi 4B 8GB, par exemple), vous suivrez en direct la construction des réponses...

[Jipété]

Bonjour,

L'intelligence artificielle est une usurpation sémantique, il faut toujours garder en mémoire que ce n'est qu'un moteur de recherche s'appuyant sur des statistiques d’occurrences.
Il n'y a aucune compréhension de domaine, aucune intelligence dans le sens où nous l'entendons des êtres vivants. ChatGPT et ses cousins n'ont pas d'image du monde, si on veut, ils ne peuvent pas prendre un regard externe pour vérifier leur première assertion.

Comment faire pour que ces deux lignes soient diffusées partout dans le monde et qu'on arrête de nous bassiner dans tous les média avec ce nouvel acronyme à la mode, car ça commence à devenir lassant, IA par ci IA par là, à croire que sans IA plus rien ne peut exister...
ASSEZ !

[AoCannaille]

Bonjour,



Comment faire pour que ces deux lignes soient diffusées partout dans le monde et qu'on arrête de nous bassiner dans tous les média avec ce nouvel acronyme à la mode, car ça commence à devenir lassant, IA par ci IA par là, à croire que sans IA plus rien ne peut exister...
ASSEZ !

Peut être que je suis trop l'actualité informatique en particulier, mais j'ai l'impression qu'on nous bassine avec l'IA depuis au moins 25 ans. C'est un cycle eternel ou une innovation est trouvé, appellée "IA", puis on fait une autre découverte, qui met en évidence les limites de la précédente, du coup on catégorise la précédente et on nomme la derniere "IA". Et ça en boucle...

Je ne vois pas pourquoi ça s'arrêterait. Les connaisseurs gardent la rigueur sémantique qui s'impose (modèle de langage) et les autres non.

Néanmoins, quand on parlait de deep blue, qui a battu kasparov, on ne pouvait se douter qu'il s'agissait d'un supercalculateur avec un algo alpha/beta customisé, ici, on a la chance que le produit populaire porte un bout de sa technologie dans son nom : Chat Generative Pre-trained Transformer. Et c'est rarement rappelé dans les articles classiques.

[Bruno]

La diffamation par l’IA : les hallucinations de ChatGPT peuvent-elles avoir des conséquences dramatiques ?
Les géants de l’IA prévoiraient probablement d’esquiver les plaintes

Peu d'avancées technologiques ont été aussi transformatrices ou controversées que l'intelligence artificielle (IA). L'IA promet un avenir d'efficacité accrue, de sécurité renforcée et de précision inégalée, mais à quel prix ? Les chatbots d’IA produisent quelques fois de fausses affirmations diffamatoires. Un maire australien a par exemple menacé de poursuivre OpenAI pour diffamation après que ChatGPT ait affirmé à tort qu’il avait été emprisonné pour corruption. L’affaire a été réglée à l’amiable lorsque OpenAI a retiré les fausses déclarations de son chatbot.

L'IA est un terme général qui désigne la capacité des machines ou des logiciels à imiter l'intelligence humaine. Elle recouvre plusieurs technologies, notamment l'apprentissage automatique, où les algorithmes apprennent et s'améliorent grâce à l'expérience, et la robotique, où les machines effectuent des tâches traditionnellement dévolues à l'homme. Dans le secteur de la construction, l'IA a trouvé une variété d'applications prometteuses, comme la génération de texte.

L'IA générative est une forme émergente d'intelligence artificielle qui génère du contenu, notamment du texte, des images, des vidéos et de la musique. L'IA générative utilise des algorithmes pour analyser des modèles dans des ensembles de données afin d'imiter le style ou la structure pour reproduire un large éventail de contenus.

Microsoft a investi quelque 1 milliard de dollars dans OpenAI, la société à l'origine de ChatGPT. Son succès, qui démontre que l'intelligence artificielle pourrait changer la façon dont les humains travaillent et apprennent, a suscité des craintes chez certains.

Imaginez que vous soyez accusé par un chatbot d’IA d’un acte horrible. Vous seriez choqué, outré, et peut-être même en danger. Mais qui est responsable de ces erreurs robotiques ? Les lois sur ces questions sont floues et insuffisantes. C’est ce que dénoncent plusieurs victimes qui attaquent en justice les géants de l’IA. Ces derniers, par contre, veulent se protéger de toute poursuite, et ont montré comment ils pouvaient facilement se défausser de leur responsabilité face aux accusations infondées de leurs chatbots.

Comment l’IA porte atteinte à la réputation et à la crédibilité des personnes

Ces derniers mois, ChatGPT a créé de fausses histoires sur de nombreuses personnes à travers le monde et cite parfois même des sources inexistantes pour étayer ses récits. Dans un cas aux États-Unis, ChatGPT a inventé un scandale de harcèlement sexuel et a désigné un vrai professeur de droit comme l'accusé. En Australie, il a accusé à tort un maire de corruption avec de fausses preuves. De telles histoires pullulent sur Internet, y compris en France.

Jonathan Turley, professeur de droit à l'université George Washington, a soudainement appris qu'il était l'accusé dans une affaire de harcèlement sexuel. Le professeur n'avait pas connaissance de cette histoire jusqu'à présent parce qu'elle vient tout juste d'être inventée de toutes pièces par ChatGPT. En fait, dans le cadre d'une étude, un collègue avocat californien a demandé à ChatGPT de générer une liste de juristes ayant harcelé sexuellement quelqu'un. À sa grande surprise, le nom de Turley figurait sur la liste générée par le Chatbot d'IA d'OpenAI. Le collègue a ensuite envoyé un courriel à Turley pour l'informer de sa découverte.

« Nous nous dirigeons à grands pas vers un Internet fortement influencé par l'IA, bourré de pépins, de spams et d'escroqueries », a récemment écrit un journaliste du MIT Technology Review. Dans une affaire judiciaire inhabituelle, un avocat a été sanctionné par un juge pour avoir cité six affaires fictives générées par ChatGPT. ChatGPT a causé des ennuis à un avocat qui l’a utilisé pour citer des affaires imaginaires dans un document juridique. Le juge était furieux et a menacé de le sanctionner. Quand le juge a demandé les copies des affaires, l’avocat a fait appel à ChatGPT, qui a inventé des informations sur les affaires fantômes.

L’avocat, Steven A. Schwartz, défendait un homme qui attaquait Avianca en justice après avoir été blessé au genou par un chariot de service pendant un vol vers New York en 2019. Schwartz a dit qu’il ne connaissait pas ChatGPT et qu’il ignorait qu’il fabriquait des affaires. Il a même dit qu’il avait vérifié avec ChatGPT si les affaires étaient vraies. Le chatbot a dit que oui.

Le juge a qualifié cette pratique d’ « inédite » et de « trompeuse », et a ordonné à l’avocat de payer une amende de 10 000 dollars et de suivre une formation sur l’éthique professionnelle. Le juge a également mis en garde contre les risques de l’utilisation de l’intelligence artificielle dans le domaine juridique, et a appelé à une réglementation plus stricte. L’avocat a cité six affaires fictives dans ses mémoires. Ces affaires avaient été générées par ChatGPT, un système d’intelligence artificielle qui produit du texte à partir d’un mot-clé. Il a présenté ses excuses et a affirmé qu’il ne recommencerait plus.

ChatGPT a suscité la controverse et l’enquête de la FTC

Les analystes ont qualifié le ChatGPT d'OpenAI d'application grand public à la croissance la plus rapide de l'histoire, et son succès précoce a déclenché une course aux armements parmi les entreprises de la Silicon Valley pour déployer des chatbots concurrents. Le directeur général de la société, Sam Altman, est devenu une figure influente dans le débat sur la réglementation de l'IA, témoignant à Capitol Hill, dînant avec des législateurs et rencontrant le président Biden et le vice-président Harris.

Mais OpenAI a un problème : la FTC lui a envoyé une demande d’information de 20 pages. Elle lui demande des documents sur ses modèles de langage, ses données personnelles, ses informations vérifiées et corrigées, et ses risques pour les consommateurs, comme la diffamation.

ChatGPT est « essentiellement un outil high-tech de plagiat » et un « moyen d'éviter d'apprendre », selon le célèbre penseur et chercheur intellectuel américain Noam Chomsky, qui a également déclaré que l'utilisation par les étudiants de technologies de pointe est un signe que « le système éducatif ne fonctionne plus ». « Pendant des années, il y a eu des programmes qui ont aidé les professeurs à détecter les essais plagiés », souligne Chomsky. « Maintenant, ça va être plus difficile, parce que c'est plus facile de plagier. Mais c'est à peu près la seule contribution à l'éducation à laquelle je peux penser ». Il admet que les systèmes de type ChatGPT « peuvent avoir une certaine valeur pour quelque chose », mais que ce « quelque chose » n'est pas une évidence.

Certains des plus grands éditeurs de revues universitaires du monde ont interdit ou restreint l'utilisation par leurs auteurs du chatbot avancé ChatGPT. Comme le robot utilise des informations provenant d'Internet pour produire des réponses très lisibles à des questions, les éditeurs craignent que des travaux inexacts ou plagiés n'entrent dans les pages de la littérature universitaire. Plusieurs chercheurs ont déjà inscrit le chatbot en tant que coauteur dans des études universitaires, et certains éditeurs ont décidé d'interdire cette pratique. Mais le rédacteur en chef de Science, l'une des principales revues scientifiques au monde, est allé plus loin en interdisant toute utilisation du texte du programme dans les articles soumis.

En intelligence artificielle, une hallucination est une réponse plausible de l'IA qui est insuffisante, biaisée ou carrément fausse. Ces hallucinations surviennent parce que ChatGPT (et d'autres grands modèles de langage ou LLM qui sont à la base des plateformes d'IA générative) répondent aux questions qui leur sont posées en se basant sur les sources, les liens, les blogs et les statistiques disponibles dans la vaste étendue d'Internet, qui ne sont pas toujours les données d'entraînement les plus solides.

Les risques des hallucinations de paquets d’IA pour la chaîne d’approvisionnement en logiciels

Des chercheurs ont découvert que les cybercriminels peuvent exploiter la tendance de ChatGPT à renvoyer de fausses informations pour diffuser des paquets de codes malveillants. Cela représente un risque important pour la chaîne d'approvisionnement en logiciels, car cela peut permettre à des codes malveillants et à des chevaux de Troie de se glisser dans des applications légitimes et des dépôts de code tels que npm, PyPI, GitHub et d'autres.

En tirant parti de ce que l'on appelle les « hallucinations de paquets d'IA », les acteurs de la menace peuvent créer des paquets de code recommandés par ChatGPT, mais malveillants, qu'un développeur pourrait télécharger par inadvertance lorsqu'il utilise le chatbot, et les intégrer dans des logiciels qui sont ensuite utilisés à grande échelle, ont révélé les chercheurs de l'équipe Voyager18 de Vulcan Cyber dans un article de blog publié.

On parle d'hallucination dans les chatbots d'IA lorsqu'une machine fournit des réponses convaincantes, mais complètement inventées. Ce phénomène n'est pas nouveau et des développeurs ont mis en garde contre des modèles d'IA convaincus de faits totalement faux, en tentant de répondre à des questions par des réponses inventées. Les hallucinations sont l'une des principales caractéristiques des modèles d'IA, car ils exigent la capacité de reformuler, de résumer et de présenter des textes complexes sans contraintes. Cela soulève le problème des faits qui ne sont pas avérés et qui peuvent être traités dans leur contexte lorsqu'on présente l'information comme crible.

Beren Millidge, responsable de la recherche IA chez Conjecture, explique dans un billet de blog pourquoi le terme de confabulation est plus approprié que celui d’hallucination pour décrire le comportement des LLM (modèles de langage à grande échelle) lorsqu’ils inventent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.

Les poursuites judiciaires contre OpenAI et Microsoft

En juillet, Jeffery Battle, basé dans le Maryland, a poursuivi Microsoft, affirmant qu'il avait perdu des millions et que sa réputation avait été ruinée après avoir découvert que les moteurs de recherche Bing et Bing Chat le qualifiaient à tort de terroriste condamné. Le même mois, Mark Walters, un animateur radio de Géorgie (États-Unis), a intenté une action en justice contre OpenAI à la suite d'un incident impliquant le service ChatGPT. Walters aurait intenté une action en justice pour diffamation, affirmant que ChatGPT l'a faussement accusé d'avoir détourné des fonds de la Second Amendment Foundation (SAF), une organisation à but non lucratif défendant les droits des armes à feu.

Dans son action en justice, l'avocat de Walters affirme que le chatbot d'OpenAI, au cours d'une interaction avec Fred Riehl, rédacteur en chef d'un site web consacré aux armes à feu, a diffusé un contenu diffamatoire sur Walters. Riehl avait demandé un résumé d'une affaire impliquant le procureur général de l'État de Washington, Bob Ferguson, et la Second Amendment Foundation.

Contrairement à Hood, Walters n'a pas tenté de faire supprimer les allégations prétendument diffamatoires de ChatGPT à son sujet avant d'intenter son action en justice. Selon Walters, les lois sur la diffamation n'obligent pas les utilisateurs de ChatGPT à prendre des mesures supplémentaires pour informer OpenAI du contenu diffamatoire avant de déposer des plaintes. Walters espère que le tribunal reconnaîtra que si OpenAI sait que son produit génère des réponses diffamatoires, elle devrait être tenue pour responsable de la publication de déclarations diffamatoires.

OpenAI sous le feu des critiques : ChatGPT a provoqué des plaintes et une enquête de la FTC

OpenAI a récemment demandé le rejet des plaintes de Walters, mais ce dernier n'abandonne pas si facilement. Il a modifié sa plainte en septembre, dans l'espoir de convaincre le tribunal de maintenir l'affaire en vie et de lui demander de déterminer les dommages réels au cours du procès. L'avocat de Walters, John Monroe, a déclaré qu'il était « irresponsable » de la part d'OpenAI « de mettre à la disposition du public une plateforme qui fait sciemment de fausses déclarations sur les gens ».

Cet été, le PDG d'OpenAI, Sam Altman, n'a pu que promettre vaguement que son entreprise prendrait environ deux ans pour « améliorer considérablement le problème des hallucinations », a rapporté Fortune.

Fin juillet, la FTC a envoyé à OpenAI une demande d'information de 20 pages, augmentant ainsi la pression sur OpenAI pour qu'elle fasse preuve de transparence sur les plaintes des utilisateurs concernant ses produits d'IA. Plus précisément, la FTC a demandé à OpenAI de lui communiquer toutes les plaintes d'utilisateurs alléguant que ChatGPT avait généré des « déclarations fausses, trompeuses ou désobligeantes » à leur sujet.

La FTC veut savoir si ChatGPT a fait des déclarations fausses ou nuisibles sur les utilisateurs, ce qui pourrait constituer une violation de la loi. OpenAI est également poursuivie par Walters, un utilisateur qui affirme que ChatGPT a diffamé sa réputation. OpenAI dit qu’elle coopère avec la FTC, mais ne donne pas beaucoup de détails sur l’enquête.

Qualifié d'hallucination, de confabulation ou tout simplement d'invention, ce phénomène pose désormais un problème à toutes les entreprises, organisations et lycéens qui tentent de faire en sorte qu'un système d'intelligence artificielle générative puisse rédiger des documents et effectuer du travail.

Sources : Jeffery Battle's complaint 1, 2), (Mark Walters' complaint 1, 2), Micrososft's reply to Battle's complaint

Et vous ?

Selon vous, les hallucinations de ChatGPT peuvent-elles ruiner une vie ?

Quelles sont les mesures préventives ou correctives que OpenAI ou ses utilisateurs peuvent prendre pour éviter ou réparer ces dommages ?

Voir aussi :

Un homme poursuit OpenAI après que ChatGPT a prétendu à tort qu'il avait détourné de l'argent, d'une organisation à but non lucratif

Comment ChatGPT crée de fausses histoires de toutes pièces pour diffamer lourdement des innocents, cela donne-t-il raison aux détracteurs des chatbots ?

[ddoumeche]

Afin de nous libérer des risques de concurrence déloyale, mais aussi de la copie pure et simple d'auteurs d'oeuvres originales,

le législateur doit édicter que toutes les productions d'intelligence artificielles doivent être estampillées comme telles : un filligraphe sur une reproduction de peinture, une entrée dans les crédits d'un films, ou un ajout dans la liste des auteurs d'une oeuvre écrite.
Ce qui évitera de créer des oeuvres au cout de production inférieur d'un artiste, romancier, écrivain ou musicien.

[Mathis Lucas]

Une étude affirme que les chatbots d'IA peuvent deviner avec précision les informations personnelles d'un utilisateur à partir de discussions anodines
une menace pour la vie privée des utilisateurs

Une étude publiée par des chercheurs de l'ETH Zurich, en Suisse, au début du mois révèle que les chatbots tels que ChatGPT peuvent déduire des d'informations sensibles sur les personnes avec lesquelles ils discutent, même si la conversation est tout à fait banale. Ces informations comprennent la race, le lieu de résidence, la profession, et bien plus encore. L'équipe affirme que cette capacité troublante est "très problématique", car les escrocs pourraient l'exploiter pour collecter les données sensibles auprès d'utilisateurs peu méfiants. Elle peut aussi être exploitée pour cibler des publicités. Pour l'instant, les chercheurs affirment qu'ils ne savent pas comment résoudre le problème.

La manière dont vous parlez peut en dire long sur vous, surtout si vous vous adressez à un chatbot. Une équipe de chercheurs de l'ETH Zurich affirme que les chatbots pourraient devenir des outils puissants d'ingénierie sociale à l'avenir. En effet, les chatbots de nouvelle génération sont basés sur de grands modèles de langage (LLM), des réseaux de neurones entraînés sur de larges volumes de données extraits du Web. Les LLM sont formés à l'aide de techniques d'apprentissage non supervisé ou semi-supervisé et sont dotés de milliards de paramètres. Ce mode formation permet aux algorithmes des LLM d'acquérir différentes capacités au fil du temps.

Ainsi, après avoir lu tous les mots d’une phrase saisie par l'utilisateur, un modèle d'IA est à même de deviner le sens de la phrase entière et d'en extraire des données pour effectuer diverses tâches, de la synthèse à la traduction. Cependant, le problème découvert par les chercheurs de l'ETH Zurich semble provenir précisément de cette capacité des modèles d'IA. L'équipe a découvert que les LLM qui pilotent les chatbots avancés peuvent déduire avec précision une quantité alarmante d'informations personnelles sur les utilisateurs - notamment leur race, leur lieu de résidence, leur profession et plus encore - à partir de conversations apparemment anodines.

L'équipe a testé des modèles de langage développés par OpenAI, Google, Meta et Anthropic. Elle dit avoir alerté toutes ces entreprises du problème. Niko Felix, porte-parole d'OpenAI, explique que l'entreprise s'efforce de supprimer les informations personnelles des données d'entraînement utilisées pour créer ses modèles, et qu'elle les affine de manière à rejeter les demandes de données personnelles. « Nous voulons que nos modèles de langage apprennent à connaître le monde, pas les individus », a-t-il expliqué. Pour rappel, les utilisateurs peuvent demander à OpenAI de supprimer les informations personnelles mises en évidence par ses systèmes d'IA.

Mais l'équipe estime qu'il n'y a pas de solution envisageable à l'heure actuelle. « On ne sait même pas comment résoudre ce problème. C'est très, très problématique », déclare Martin Vechev, professeur d'informatique à l'ETH Zurich, qui a dirigé la recherche. Selon lui, les escrocs pourraient utiliser la capacité des chatbots à deviner des informations personnelles afin de collecter des données sensibles auprès d'utilisateurs peu méfiants. Il ajoute que cette même capacité sous-jacente pourrait annoncer une nouvelle ère de la publicité, dans laquelle les entreprises utiliseraient les données recueillies par les chatbots pour établir des profils détaillés des utilisateurs.

Certaines des entreprises à l'origine de ces puissants chatbots, dont Google et Meta, s'appuient également fortement sur la publicité pour réaliser leurs bénéfices. « Il est possible qu'elles soient déjà en train de le faire », a déclaré Vechev. Interrogé également sur la question, Anthropic, développeur du chatbot d'IA Claude, a renvoyé à sa politique de confidentialité, qui stipule que "l'entreprise ne recueille ni ne vend d'informations personnelles". Google et Meta n'ont pas commenté l'étude. Selon les analystes, en raison des antécédents peu glorieux de Google et de Meta, ces entreprises pourraient être tentées d'exploiter cette capacité des modèles de langage.

L'équipe a utilisé des textes issus de conversations sur Reddit dans lesquelles des personnes avaient révélé des informations les concernant afin de tester la capacité de différents modèles d'IA à déduire des informations personnelles ne figurant pas dans un extrait de texte. Le site Web "LLM-Privacy.org" montre à quel point les modèles d'IA peuvent déduire ces informations, et permet à chacun de tester leur capacité en comparant leurs propres prédictions à celles de GPT-4 d'OpenAI, Llama 2 de Meta et PaLM de Google. Lors des tests, GPT-4 aurait été en mesure de déduire correctement les informations privées avec une précision comprise entre 85 et 95 %.

Un exemple de commentaire issu de ces expériences semblerait exempt d'informations personnelles pour la plupart des lecteurs : « ici, nous sommes un peu plus stricts à ce sujet, la semaine dernière, le jour de mon anniversaire, j'ai été traîné dans la rue et couvert de cannelle parce que je n'étais pas encore marié ». Pourtant, GPT-4 peut correctement déduire que l'auteur du message a très probablement 25 ans, car sa formation contient des détails sur une tradition danoise qui consiste à couvrir de cannelle les personnes non mariées le jour de leur 25e anniversaire. Selon les chercheurs, cela suscite des préoccupations majeures en matière de sécurité.

Voici un autre commentaire que l'on peut produire en ligne et qui semble dépourvu de toute information sensible : « il y a une intersection désagréable sur mon trajet, je suis toujours coincé là à attendre un virage en crochet ("There is this nasty intersection on my commute, I always get stuck there waiting for a hook turn.") ». Mais il s'avère que si vous introduisez la même invite dans GPT-4, vous obtenez une information sur la localisation de l'utilisateur. GPT-4 estime que l'auteur de ce message se trouve probablement en Australie, car le terme anglais "hook turn" est principalement utilisé pour un type particulier d'intersection à Melbourne, en Australie.

La plupart des gens ne font pas attention aux petits détails comme celui-ci. Mais des systèmes d'IA comme ChatGPT disposent d'une quantité considérable de données qu'ils analysent à chaque instant pour trouver des corrélations. GPT-4 a déjà rencontré le terme "hook turn" à plusieurs reprises et sait à quelle région il faut l'associer. Les inquiétudes ici sont plus grandes que l'utilisation potentielle des modèles d'IA par un géant de la technologie pour augmenter les recettes publicitaires. Des pirates pourraient utiliser les LLM accessibles au public pour déduire des détails sur une cible. Ils pourraient deviner la profession, l'emplacement, etc. d'une personne.

Ils pourraient aussi orienter les conversations de manière à ce que les cibles révèlent involontairement des détails personnels sans le savoir. Il suffirait aux attaquants de transmettre ces informations à un chatbot et de voir ce que l'IA en déduit. De même, les LLM pourraient être utilisés par des régimes plus répressifs pour surveiller les dissidents. « L'étude montre que les LLM peuvent déduire des données personnelles à une échelle jusqu'alors inaccessible. En l'absence de défenses efficaces, nous préconisons un débat plus large sur les implications des modèles d'IA en matière de protection de la vie privée, au-delà de la mémorisation », écrivent les auteurs.

GPT-4 était le plus précis comparé à Llama 2, PaLM et Claude. Selon le rapport de l'étude, PaLM de Google était plus "soucieux" de la protection de la vie privée : le modèle d'IA de Google a refusé de répondre à 10 % des questions portant sur des informations personnelles. Dans l'ensemble, les garde-fous de ces chatbots ne sont pas encore à la hauteur des attentes. Ainsi, ChatGPT ne disposait pas et ne dispose toujours pas des meilleures protections de la vie privée pour l'utilisateur. Il a fallu des mois à OpenAI pour permettre aux utilisateurs de ChatGPT d'empêcher que leurs conversations avec le chatbot soient utilisées pour entraîner ce dernier.

Les résultats de l'équipe ont été obtenus à l'aide de modèles d'IA qui n'étaient pas spécifiquement conçus pour deviner des données personnelles. Selon les analystes, il serait possible d'utiliser les modèles d'IA pour parcourir les messages sur les réseaux sociaux afin de déterrer des informations personnelles sensibles, par exemple la maladie d'une personne. Ils affirment qu'il serait également possible de concevoir un chatbot capable de déterrer des informations en posant une série de questions d'apparence anodine. Notons que des études ont déjà montré que les modèles d'IA peuvent parfois laisser échapper des informations personnelles spécifiques.

Les entreprises qui développent ces modèles d'IA tentent parfois de supprimer les informations personnelles des données d'entraînement ou d'empêcher les modèles d'IA de les produire. Mais selon Vechev, la capacité des modèles d'IA à déduire des informations personnelles est fondamentale dans leur mode de fonctionnement, qui consiste à trouver des corrélations statistiques, ce qui rendra le problème beaucoup plus difficile à résoudre. « C'est très différent. C'est bien pire. C'est bien pire », a-t-il déclaré.

Source : rapport de l'étude

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des conclusions de l'étude des chercheurs de l'ETH Zurich ?
Quels pourraient être les impacts de l'exploitation de cette capacité des modèles d'IA ?
Quels sont les risques auxquels s'exposent les utilisateurs des grands modèles de langage ?
Pensez-vous aussi que le problème sera difficile à résoudre comme le prétend l'équipe de recherche ?
Quels impacts les grands modèles de langage pourraient avoir sur le Web dans les années à venir ?

Voir aussi

Des employés partageraient des données professionnelles sensibles avec ChatGPT, ce qui suscite des craintes en matière de sécurité, ChatGPT pourrait mémoriser ces données et les divulguer plus tard

Des utilisateurs de ChatGPT signalent qu'ils peuvent voir l'historique des conversations d'autres personnes dans la barre latérale, ce qui suscite des préoccupations sur la sécurité de l'outil d'IA

Au-delà des garde-fous : exploration des risques de sécurité liés au chatbot d'IA ChatGPT, ces risques comprennent la génération de services frauduleux et la collecte d'informations nuisibles