Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
C'est le pompom... Il n'y a plus de limite...
Moi si je dis, il faut bien que cambriole 25 maisons par ans, sinon je ne sais pas partir en vacances, je suis certains que ça finira mal pour moi. Mais lui, le Altman, la nouvelle coqueluche du moment, il peut se permettre de dire qu'il ne peut gagner des millions qu'en volant le travail des autres, et ça passe crème.
Ah mais parce qu'en plus ils envisagent de gagner de l'argent, avec ça ? Mais pour quoi faire ?Envoyé par Stéphane le calme
Un ténia ne peut pas survivre sans priver son hôte de ressources. Pourtant, malgré ça, sans pitié, l'hôte va avaler des potions qui vont l'affaiblir quelque temps, afin de se débarrasser du ténia.
C'est vrai, quoi.
Apparemment, sauf ici
Au fait, Altman, ce n'est pas un nom qui me rappelle quelque chose ?
Il n'a pas été question d'un procès, ici, ou je confonds ?
La prolifération des articles scientifiques falsifiés générés par IA de type GPT sur Google Scholar
La prolifération des articles scientifiques falsifiés générés par IA de type GPT sur Google Scholar : une menace croissante pour l’intégrité de la recherche académique,
des chercheurs en désinformation mettent en garde
Les chercheurs en désinformation ont récemment mis en lumière un phénomène inquiétant : la prolifération d’articles scientifiques falsifiés, générés par des modèles de langage comme GPT, sur Google Scholar. Ces articles, souvent créés à l’aide d’applications d’IA largement disponibles comme ChatGPT, imitent l’écriture scientifique et sont facilement accessibles via des moteurs de recherche académiques.
Dans un monde où l’intelligence artificielle (IA) joue un rôle de plus en plus central, une nouvelle menace émerge : la prolifération d’articles scientifiques falsifiés générés par des modèles de langage comme GPT. Récemment, des chercheurs en désinformation ont découvert que ces articles, souvent indiscernables des véritables publications scientifiques, se retrouvent sur Google Scholar, une plateforme largement utilisée par les chercheurs et les étudiants du monde entier. Cette découverte soulève des questions cruciales sur l’intégrité de la recherche scientifique et la confiance du public dans les connaissances académiques.
L'utilisation de ChatGPT pour générer des textes pour des articles académiques a soulevé des inquiétudes quant à l'intégrité de la recherche. Ce phénomène fait l'objet de discussions continues dans des éditoriaux, des commentaires, des articles d'opinion et sur les médias sociaux. Bien qu'il existe de nombreuses utilisations légitimes des GPT pour la recherche et la rédaction universitaire, leur utilisation non déclarée (au-delà de la relecture) a des implications potentiellement considérables pour la science et la société, mais surtout pour leurs relations. Il semble donc important d'étendre la discussion à l'un des intermédiaires les plus accessibles et les plus connus entre la science, mais aussi certains types de désinformation, et le public, à savoir Google Scholar, également en réponse aux préoccupations légitimes selon lesquelles la discussion sur l'IA générative et la désinformation doit être plus nuancée et étayée empiriquement.
Google Scholar est un moteur de recherche académique facile à utiliser. Il est disponible gratuitement et son index est très complet. Il est également souvent présenté comme une source crédible de littérature universitaire et même recommandé dans les guides des bibliothèques, par les initiatives d'éducation aux médias et à l'information et par les vérificateurs de faits. Cependant, Google Scholar n'a pas la transparence et le respect des normes qui caractérisent habituellement les bases de données de citations. Au lieu de cela, Google Scholar utilise des robots automatisés, comme le moteur de recherche de Google, et les critères d'inclusion sont basés sur des normes essentiellement techniques, permettant à tout auteur individuel - avec ou sans affiliation scientifique - de télécharger (upload) des articles à indexer.
Il a été démontré que Google Scholar est susceptible d'être manipulé par des exploitations de citations et en donnant accès à de faux articles scientifiques. Une grande partie de l'index de Google Scholar est constituée de publications provenant de revues scientifiques établies ou d'autres formes de littérature savante dont la qualité est contrôlée. Cependant, l'index contient également une grande quantité de littérature grise, y compris des travaux d'étudiants, des documents de travail, des rapports, des serveurs de prépublication et des sites de réseaux universitaires, ainsi que des documents provenant de revues universitaires dites « douteuses », y compris des usines à articles (ou paper mills en anglais). L'interface de recherche n'offre pas la possibilité de filtrer les résultats de manière significative en fonction du type de matériel, du statut de la publication ou d'une forme de contrôle de la qualité, telle que la limitation de la recherche au matériel évalué par les pairs.
Les usines à articles renforcés par l'IA générative
Il s'agit de sociétés qui vendent de grandes quantités d’articles scientifiques frauduleux à des auteurs cherchant à augmenter leur nombre de publications pour obtenir une promotion ou un poste.
Les auteurs paient pour obtenir un article, généralement de mauvaise qualité, contenant de fausses données, des informations plagiées ou douteuses et parfois écrit par une intelligence artificielle. Ces « faux articles » peuvent ensuite être facilement publiés dans des revues prédatrices qui n’effectuent pas ou peu de révision par les pairs.
Depuis quelques temps, ces sociétés sont passées à la vitesse supérieure en corrompant des éditeurs de revues pour faire accepter leurs articles, comme le raconte Frederik Joelving de Retraction Watch dans un article publié dans Science en janvier 2024. Les paper mills paient des rédacteurs en chef pour qu’ils acceptent leurs articles rapidement ou pour placer leurs propres éditeurs ou reviewers dans les comités éditoriaux des journaux.
Le médecin de santé publique Hervé Maisonneuve, auteur du blog « Rédaction médicale », explique que ces entreprises connaissent très bien la codification des publications. « Les paper mills utilisent aussi des algorithmes d’écriture automatique, rapporte-t-il. Vous rentrez des chiffres dans un fichier Excel et le robot vous sort un article. » Pour illustrer en quoi l’intelligence artificielle (IA) fait énormément bouger les lignes, il rappelle l’histoire du « robot chercheur », auteur de faux articles et inventé par le programmeur Cyril Labbé. L’informaticien a aussi mis au point un système pour détecter les articles élaborés par des IA. Les algorithmes sont parfois trahis par des éléments très cocasses. Par exemple, dans un article consacré au cancer de la prostate, la moitié des patients sont des femmes.
Ces entreprises pratiquent souvent un autre type d’escroquerie, la fraude à la paternité, « dans laquelle certains ou tous les auteurs de l’article n’ont pas contribué au projet de recherche », confie Anna Abalkina, chercheuse à l’Université libre de Berlin. Ils proposent à un chercheur d’être ajouté comme co-auteur d’un article. Certains sont prêts à payer cher. Ces fausses collaborations révèlent parfois « l’entourloupe ». Parmi les articles de paper mills qu’elle a dévoilés, Anna Abalkina en désigne un dans lequel « un chercheur en médecine et un économiste écrivent ensemble un article sur le génie chimique ! »
Caractéristiques des articles falsifiés
Les articles falsifiés générés par GPT présentent plusieurs caractéristiques distinctives. Ils abordent fréquemment des sujets d’actualité et controversés, tels que le changement climatique, la santé publique et les technologies de l’information. Ces sujets sont particulièrement vulnérables à la désinformation en raison de leur complexité et de leur importance sociétale. Une analyse approfondie de ces articles révèle qu’ils contiennent souvent des phrases et des structures typiques des modèles de langage de grande taille (LLM) comme GPT. Par exemple, ils peuvent inclure des citations inventées, des références à des études inexistantes et des conclusions qui semblent plausibles mais qui ne sont pas fondées sur des données réelles.
Diffusion et accessibilité
La facilité avec laquelle ces articles falsifiés peuvent être trouvés sur Google Scholar est alarmante. Contrairement aux bases de données académiques traditionnelles qui appliquent des critères stricts de sélection et de révision par les pairs, Google Scholar indexe un large éventail de contenus, y compris des prépublications, des thèses et des rapports techniques. Cette approche inclusive, bien qu’utile pour l’accès à une grande variété de documents, ouvre également la porte à la diffusion de contenus de qualité douteuse. Les articles générés par GPT peuvent ainsi se retrouver aux côtés de recherches rigoureusement contrôlées, ce qui complique la tâche des chercheurs et des étudiants pour distinguer le vrai du faux.
Implications pour la confiance publique
La présence d’articles scientifiques falsifiés sur Google Scholar pose un risque sérieux pour la confiance du public dans la science. Les chercheurs, les étudiants et même les décideurs politiques s’appuient sur cette plateforme pour accéder à des informations fiables et à jour. La possibilité que des contenus apparemment scientifiques soient en réalité créés de manière trompeuse par des outils d’IA pourrait saper la base de la confiance dans les connaissances scientifiques. En outre, la citation de ces articles dans d’autres travaux de recherche pourrait propager des informations erronées et fausser les conclusions de nouvelles études.
Conséquences sociétales
Les implications sociétales de cette tendance sont profondes. La manipulation potentielle de la base de preuves de la société, en particulier dans des domaines politiquement controversés, est une préoccupation croissante. Par exemple, des articles falsifiés sur le changement climatique pourraient être utilisés pour semer le doute sur la réalité du réchauffement climatique, influençant ainsi les politiques publiques et les opinions des citoyens. De même, des articles sur la santé publique contenant des informations erronées pourraient avoir des conséquences graves sur la gestion des pandémies et la santé des populations.
Réactions et mesures à prendre
Face à cette menace, plusieurs mesures peuvent être envisagées pour préserver l’intégrité de la recherche scientifique. Tout d’abord, les plateformes académiques comme Google Scholar doivent renforcer leurs critères d’inclusion et mettre en place des mécanismes de détection des articles falsifiés. Cela pourrait inclure l’utilisation de technologies d’IA pour identifier les caractéristiques typiques des contenus générés par des modèles de langage. Ensuite, les chercheurs et les institutions académiques doivent être sensibilisés à ce problème et formés à la détection des articles falsifiés. Enfin, une collaboration internationale entre les chercheurs, les éditeurs et les plateformes académiques est essentielle pour développer des normes et des pratiques visant à protéger la communication scientifique.
Conclusion
La découverte d’articles scientifiques falsifiés par GPT sur Google Scholar souligne la nécessité d’une vigilance accrue et de mesures pour préserver l’intégrité de la communication scientifique. Les chercheurs et les plateformes académiques doivent collaborer pour développer des mécanismes de détection et de prévention efficaces afin de protéger la confiance du public dans la science. En fin de compte, il est crucial de trouver un équilibre entre l’accessibilité de l’information et la garantie de sa qualité et de sa fiabilité.
Sources : Harvard, Science
Et vous ?
Quels sont, selon vous, les principaux dangers de la prolifération des articles scientifiques falsifiés par des IA comme GPT ?
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
Ho bah ça alors, personne n'aurait pu prévoir ce phénomène.
Prochaine étape qu'on ne pourrait absolument pas prévoir : ça y est, c'est la fin de l'IA.
Cette étude met en lumière une fraude sur un secteur assez restreint. On peut facilement supposer que les dégâts sont plus larges et que les LLM ont déjà commencé à réingurgiter -en les considérant comme étant de source fiable- des textes qu'on leur a en partie fait générer.
Je suis bien d'accord...
Pourtant, je croise souvent des madames irma par ici
Oui, car la prochaine étape, c'est déjà prévu, ce sera l'Intelligence Artificielle Intelligente. L'IAI. Elle permettra même, dixit les expert en ce domaine, et après une étude approndie faite sur le cousin du copain de ma soeur, de se prémunire des vampires qui sont de retour.
Je n'irai pas aussi vite, comme le jeu actuellement est de réécrire l'histoire pour qu'elle colle mieux à l'idéologie dominante qu'on doit accepter pour ne pas être catalogué comme un dangereux nazi en bote brune, l'IAI pourrait être d'une grande aide, vu que c'est sa spécialité.
BàV et Peace & love.
Mmm, à terme, aucun compromis possible.Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
Ce n'est que mon opinion...
Je suis en total déssacord. C'est un principe utilisée vieux comment le monde. La question pose il est essentiel de trouver des solutions qui respectent à la fois les besoins des développeurs d’IA et les droits des auteurs.
C'est déjà éliminer la question du vol de donnée, pour qu'on accepte un "état de fait", et que la seule question qu'on se pose, soit de savoir si on doit choisr entre X ou Y pour régler le problème. C'est pourtant simple, tout vol est interdit. Et TOUS les acteurs de l'IA on procédé de la sorte, ils devraient selon en répondre devant un tribunal.
Parce que si on trouve normal que des entreprisent vol le contenus générer par d'autre, et que leur argument c'est "on ne peut pas faire autrement que de voler" pour faire fructifier notre buisness, alors, on doit accepter qu'on rentre dans un magasin, qu'on vole de dont en a envie besoin, et si on se fait choper à sortie, dire "je ne peux pas faire autrement que de voler" pour ne pas crever la dalle, et on ne devrait pas avoir de soucis. Et ça m'étonnerait très fort qu'une solution du type "comment règler le soucis entre ne pas crever" tout en laissant les magasin faire du pognon me sera proposée.
Si l'IA ne peux fonctionner qu'en volant, et bien on devrait tout simplement interdire ces dernières, sous peine de prison. Je ne vois pas pourquoi on ferait une exception "par ce que ça empêcherait l'innovation". Que ces messieurs, puisse qu'ils ne vont pas en prison, retourne dans leur entreprise et développe "une vrai" IA, sans devoir voler le contenu générer par d'autres. Mais c'est impossible en l'état actuelle de la technologie. Et qu'on ferme ces entreprises ne fera pas arrêter le monde de tourner, on vivait bien avant cette "ridicule technologie", et on vivra bien sans. Leur seul but, c'est de faire du pognon, et en plus en se basant sur le travail d'autres. C'est des méthodes de gangster et les gangster, on les mets en Prison.
Source : OpenAI (1, 2)
Aucun. Si l'IA était une innovation, elle devrait faire son taf sans voler les créateurs de contenus. Je vous pose la question à vous "Stéphane le calme", que feriez-vous si je récupérait l'ensemble de ce site, et que je l'utilise avec un autre emballage, que je fais du pognon avec, et que si vous n'êtes pas d'accord, je puisse vous répondre "je suis obligé de voler ce site, parce qu'aussi non, je ne sais pas faire du pognon ?" Quelle réaction auriez vous ? Tenteriez vous de "proposer une solution" qui nous satisface tous les deux ? Je ne pense pas, vous m'attaquerier en juste et je passerais surement par la case "prison".Et vous ?
J'aimerai bien avoir votre réponse.
Cordialement.
BàV et Peace & Love.
Dire « c’est du vol » est un peu rapide… le vol est défini par la loi et une loi peut se changer (par le législateur bien sûr). En l’occurrence ce n’est pas du vol, mais une contrefaçon. Le code de propriété intellectuelle définit d’ailleurs des modalités qui réduisent le droit d’auteur (courtes citations, parodie, pour les logiciels, copie de sauvegarde, etc…). Sur les brevets, il y a une expiration (probablement considéré trop court par les inventeurs)… on pourrait imaginer une clause d’exclusion pour l’IA.
Ainsi, la question est que gagnerait ou que perdrait-on à réduire les droits d’auteur au profit de l’IA. Je pense plutôt que la concurrence de l’IA est déloyale est mènerait à un appauvrissement de notre capital culturel à moyen terme. Légiférer pour permettre des « œuvres » imitant trop facilement ce qui est produit actuellement ou simplement ne permettant pas à beaucoup d’artistes de vivre ne me semble pas une bonne idée.
Ce n'est que mon opinion...
Je ne trouve pas, d'autant plus que certains "grand patron" osent même dire ouvertement (la je cite l'ex-PDG de Google) :
Ne vous préoccupez pas des droits d'auteur, et prenez (volez) tous ce dont vous avez besoin, vous gagnerez tellement d'argent, que vous pourrez vous payer les meilleurs avocat du monde pour vous évités des soucis par la suite.
En fait, c'est les 2 ensembles. D'abord du vole de données, puis de la contrefaçon en régurgitant ce qui a été volé.
Si on ne parle même que du code (sans parler des mucisiens ou autres artiste), on ne parle pas de "courtes" citations (mais d'écriture d'une énorme majorité de code en se basant sur ce qui a été volé au départ), ce n'est pas non plus de la parodie, ce n'est pas une copie de sauvegarde, etc...
Il ne faut pas voir le problème sous cet angle, sinon ça veut dire qu'on négocie avec des voleurs. La question n'est pas de savoir ce qu'on gagnerait ou perdrait à réduire les droits d'auteur au profit de l'IA.
Si les "IA" était vraiment des "IA", et qu'elles produisent un contenus "original", je n'ai rien à redire, je n'ai rien contre la concurrence.
Mais on est très loin de ça ici. Et tous ceux qui se sont engoufrés dans cette voie en étaient parfaitement au courant.
Un peintre qui fait une copie d'un Rubens et la vend comme si c'était un authentique Rubens, c'est la prison. Point.
Si l'IA régurgite du code volé, c'est la prison pour les responsable. Point.
quand tu dis : Je pense plutôt que la concurrence de l’IA est déloyale est mènerait à un appauvrissement de notre capital culturel à moyen terme. Légiférer pour permettre des « œuvres » imitant trop facilement ce qui est produit actuellement ou simplement ne permettant pas à beaucoup d’artistes de vivre ne me semble pas une bonne idée.
Oui, ce serait un appauvrissement du capital culturel, quoique, en matière de musique, le niveau global et l'innovation est déjà tellement réduite, que les musiciens se sont déjà chargé eux-même de cela tout seuls. Tout se ressemble, tout est d'un niveau au rat des paquerette, fade, etc.
Il y bien longtemps qu'on a plus entendu un artiste produire quelque chose qu'un Balavoine, un Sardou auraient pu produire, ou qu'un artiste comme Coluche aurait pu dire. Tout cela n'est plus "autorisé", sous peine d'être directement taxé d'être d'extrême droite.
Il en faut aussi de la "variété", mais on manque cruellement de chanteur ou de personnalité public qui dérengeraient la pensée unique à laquel on nous soumet depuis la fin des 80's. Un vianey, un christophe maé, un Bioley, Pagni, Bruel, et tout ces artistes "bien dans le rang de la pensée unique bobo", a un moment ça finit par être soulant, pour rester poli.
Légiférer ne servirait à rien. Le point de départ, c'est le vol des données pour alimenter les LLM. Rien d'innovant ne peut sortir d'une IA. Il y aura dans tous les domaines un nivellement par le bas, plus d'originalité, de nouveau concept, de nouvelles idées.
Si une IA sort un disque "à la beattles" ou "à la ABBA", ça devrait au minimum être mentionné. On fait chanter macron, avec sa voix, mais déformée pour qu'elle reprenne le "style" d'Aznavour. Ce n'est rien de nouveau, c'est juste une contrefaçons faites avec des données volée. Chercher plus loin, c'est déjà accepter le vol initiale. Je ne vois pourquoi on ferait une exception pour l'IA.
BàT. et Peace & Love.
En fait, c'est même pire que ça: ce sont des multimilliardaires, qui viennent pleurnicher sur le fait que pour faire encore plus d'argent, ils doivent voler!
Ça en devient ridicule!
Copier c'est copier; voler c'est vendre un CD une vingtaine d'euros!
Code C : Sélectionner tout - Visualiser dans une fenêtre à part
2
3
4
5
6
7
soit ces articles sont aussi qualitatifs que ces chercheurs, donc dans ce cas oui c'est une menace, car ces chercheurs font pas du boulot utile à la société.
soit sinon non, alors c'est pas une menace, c'est aux pairs reviewer et aux éditeurs de faire leurs boulots correctement, et ce travaille mal fait et dénoncer depuis des années, date de bien avant chatgpt.
les éditeurs notamment qui publie et qui se font du fric sans faire la moindre vérification des articles.
Oui et non...
Le problème c'est que maintenant ça se fait à une échelle 100000x plus grandes qu'avant. Ce qui change tout.
Le système de la recherche est intrinsèquement malsain.
Ta réputation/rémunération dépend du nombre d'articles que tu publies donc pour optimiser ils se focalisent sur des recherches "faciles", volent le travail de leur doctorants etc
Maintenant que tu sais y ajouter de l'IA tu es probablement capable de publier des choses plus ou moins vraies et sans valeur.
La multiplication des études multiplie le besoin de relecture.
Les relectures étaient déjà une plaie pour les doctorants qui essayaient de présenter leur thèse. (J'ai un ami qui a du attendre 6 mois pour qu'un relecteur vérifie qu'il avait bien reformuler un paragraphe comme convenu, entrainant un retard d'un an sur la validation de celle ci).
Mettons nous aussi dans la peau d'un relecteur qui se retrouve avec bien plus d'études à critiquer dont le contenu est au mieux insignifiant mais pour lequel tu ne peux pas te contenter de dire que c'est de la merde, tu dois le justifier. Tu vas potentiellement passer plus de temps à relire et justifier que le chercheur n'en a passé à écrire.
Avant les éditeur avaient une réputation, ce qui faisait qu'une étude publiée chez untel ne valaient pas grand chose et qu'une chez un autre était lue en toute confiance.
Je suppose que ça existe toujours et que certains éditeurs seront complètement déconsidérés par le milieu. Mais nous ne saurons pas faire la différence.
Ah, oui, c'est vrai que les éditeurs veulent gagner du pognon, pour produire ce résultat.
On va peut-être tous en crever, mais c'est payant.
oui, je suis d'accord... mais... (y'a toujours un mais :-))
Oui, je suis bien d'accord, c'est un vrai problème, qui existe depuis toujours mais qui va être ingérable avec des "études" sorties de l'IA.
Il y a du bon et du moins bons dans le système tel qu'il existe maintenant (sans l'IA). Le fait de devoir passer par un système de relecture, n'est pas (selon moi) un gage de qualité. C'est aussi un outil de censure pour mettre de côté toute idée "novatrice". Devoir faire "valider" un travail par d'autre, peut faire que ces "autres personnes" (qui sont souvent un petit cercle de camas), rejettent une "étude" qui ne vas pas dans le sens qu'ils ont eux-mêmes décrit/expliqué/démontré par avant. Cela les obligeraient a avouer qu'ils n'avaient pas raison. C'est assez difficile d'émettre une idée "novatrice", quelque soit l'idée, le domaine, le niveau. L'homme à une tendance à résister au changement au lieu de s'y adapter.
Et rien n'empêche de grandes revues de faire des "erreurs" (volontairement ou pas). Il me semble qu'il y quelques années, une revue comme "Lancet" a également été l'objet d'un scandale, mais je ne me souviens plus des détails.
BàT et Peace & Love.
Le vol c'est comme le meurtre. Le législateur n'y peut rien. Il peut "maquiller" le truc mais quand on prend quelque chose dans ta poche sans que t'ai dit oui c'est du vol. Du Japon jusqu'à Mars.
Mais ce raisonnement n'est pas tout à fait faux et les avocats d'Open AI vont la jouer comme ça : utiliser de la data pour entrainer un modèle devrait rentrer dans le fair use au sens du droit américain. La ou ça va bloquer c'est que le fair use c'est pour la philantrophie, pas les sociétés commerciales qui veulent faire du profit avec l'outil créé en pillant le travail des autres.
La plupart des LLM existants affichent des préférences politiques de gauche, selon une étude
Les chatbots d'IA ont un biais politique qui pourrait influencer la société à son insu, car la plupart des LLM existants affichent des préférences politiques de centre-gauche, d'après une étude de David Rozado
Une étude de l'informaticien David Rozado montre que la plupart des grands modèles de langage existants affichent des préférences politiques de gauche. La manière dont ces préjugés s'insèrent dans les systèmes n'est pas claire, mais rien n'indique qu'ils soient délibérément introduits par les développeurs des LLM. Avec l'ascension des chatbots d'IA comme source d'informations, il est crucial d'examiner et de traiter les biais politiques potentiels intégrés dans les LLM.
En 2023, des chercheurs basés au Royaume-Uni ont demandé à ChatGPT de répondre à une enquête sur les convictions politiques. L'étude visait à savoir ce que l'IA "pensait" que les partisans des partis libéraux aux États-Unis, au Royaume-Uni et au Brésil pourraient y répondre. Les chercheurs ont ensuite demandé à ChatGPT de répondre aux mêmes questions sans aucune invite et ont comparé les deux ensembles de réponses.
Les résultats ont montré un "préjugé politique significatif et systématique envers les démocrates aux États-Unis, Lula au Brésil et le Parti travailliste au Royaume-Uni". L'étude suggère que ChatGPT d'OpenAI a un parti pris libéral, soulignant à quel point les sociétés d'intelligence artificielle ont du mal à contrôler le comportement des chatbots d'IA alors même qu'elles les diffusent auprès de millions d'utilisateurs dans le monde.
Une étude récente vient confirmer cette hypothèse. L'informaticien David Rozado, de l'école polytechnique d'Otago, en Nouvelle-Zélande, a soumis 11 questionnaires politiques standard à 24 grands modèles de langage (LLM) différents et a constaté que la position politique moyenne de tous les modèles n'était pas proche de la neutralité. Selon M. Rozado, "la plupart des LLM existants affichent des préférences politiques de gauche lorsqu'ils sont évalués à l'aide de divers tests d'orientation politique".
Les chatbots d'IA afficheraient des préférences politiques de centre-gauche
Si les chatbots d'IA alimentés par des grands modèles de langage (LLM) sont connus pour les biais liés à la race et au sexe, les préjugés politiques viennent s'ajouter à cette liste. Durant l'étude, le penchant moyen pour la gauche n'était pas très marqué, mais il était significatif. D'autres tests sur des chatbots personnalisés, où les utilisateurs peuvent affiner les données d'entraînement des LLM, ont montré que ces IA pouvaient être influencées pour exprimer des penchants politiques en utilisant des textes de gauche ou de droite.
Ces résultats démontrent ainsi le potentiel de cette technologie émergente à influencer involontairement, et peut-être même de manière néfaste, les valeurs et les attitudes de la société. Les LLM commençant à remplacer partiellement les sources d'information traditionnelles telles que les moteurs de recherche et Wikipédia, les implications sociétales des préjugés politiques intégrés dans les LLM sont considérables.
La manière dont ces préjugés s'insèrent dans les systèmes n'est pas claire, mais rien n'indique qu'ils soient délibérément introduits par les développeurs des LLM. Ces modèles sont entraînés sur de grandes quantités de textes en ligne, mais un déséquilibre entre l'apprentissage à gauche et l'apprentissage à droite pourrait avoir une influence. La prédominance de ChatGPT dans la formation d'autres modèles pourrait également être un facteur, car le chatbot s'est déjà montré à gauche du centre en ce qui concerne son point de vue politique.
Malgré l'empressement des entreprises technologiques telles que Google, Microsoft, Apple et Meta à imposer des chatbots d'IA, il est peut-être temps pour de réévaluer la manière d'utiliser cette technologie et de donner la priorité aux domaines dans lesquels l'IA peut réellement être utile. Pour M. Rozado, "il est crucial d'examiner de manière critique et de traiter les biais politiques potentiels intégrés dans les LLM afin de garantir une représentation équilibrée, juste et précise des informations dans leurs réponses aux requêtes des utilisateurs".
Voici la présentation de l'étude par David Rozado :
Je présente ici une analyse complète des préférences politiques intégrées dans les grands modèles de langage (LLM). J'ai administré 11 tests d'orientation politique, conçus pour identifier les préférences politiques du candidat, à 24 LLM conversationnels de pointe, à la fois fermés et à source ouverte. Lorsqu'ils sont interrogés sur des questions/affirmations à connotation politique, la plupart des LLM conversationnels ont tendance à générer des réponses qui sont diagnostiquées par la plupart des instruments de test politique comme manifestant des préférences pour des points de vue de centre gauche.
Cela ne semble pas être le cas pour cinq modèles de base supplémentaires (c.-à-d. fondation) sur lesquels sont construits les LLM optimisés pour la conversation avec les humains. Cependant, la faible performance des modèles de base à répondre de manière cohérente aux questions des tests rend ce sous-ensemble de résultats peu concluant.
Enfin, je démontre que les LLM peuvent être orientés vers des endroits spécifiques du spectre politique par le biais d'un réglage fin supervisé (SFT) avec seulement des quantités modestes de données politiquement alignées, ce qui suggère le potentiel du SFT pour intégrer l'orientation politique dans les LLM. Les LLM commençant à remplacer partiellement les sources d'information traditionnelles telles que les moteurs de recherche et Wikipédia, les implications sociétales des préjugés politiques intégrés dans les LLM sont considérables.
Préférences politiques des LLM : pourquoi penchent-ils à gauche ?
Cette étude a montré que lorsque des questions politiques sont posées à des LLM conversationnels modernes, leurs réponses sont souvent jugées comme penchant à gauche par les tests d'orientation politique. L'homogénéité des résultats des tests entre les LLM développés par une grande variété d'organisations est remarquable.
Ces préférences politiques ne sont apparentes que dans les LLM qui sont passés par le réglage fin supervisé (SFT) et, occasionnellement, par une variante des étapes d'apprentissage par renforcement (RL) du pipeline de formation utilisé pour créer des LLM optimisés pour suivre les instructions des utilisateurs. Les réponses des modèles de base aux questions à connotation politique ne semblent pas, en moyenne, pencher vers l'un ou l'autre pôle de l'échiquier politique. Cependant, l'incapacité fréquente des modèles de base à répondre aux questions de manière cohérente justifie la prudence dans l'interprétation de ces résultats.
En effet, les réponses des modèles de base aux questions à connotation politique sont souvent incohérentes ou contradictoires, ce qui complique la détection des positions. Il faut s'y attendre, car les modèles de base sont essentiellement formés pour compléter des documents web, et ne parviennent donc pas toujours à générer des réponses appropriées lorsqu'ils sont confrontés à une question ou à un énoncé issu d'un test d'orientation politique.
Ce comportement peut être atténué par l'inclusion de suffixes tels que "Je sélectionne la réponse :" à la fin de l'invite transmettant un élément de test au modèle. L'ajout d'un tel suffixe augmente la probabilité que le modèle sélectionne l'une des réponses autorisées du test dans sa réponse. Cependant, même lorsque le module de détection des positions classe la réponse d'un modèle comme valide et l'associe à une réponse autorisée, les évaluateurs humains peuvent encore trouver certaines associations incorrectes.
Cette incohérence est inévitable, car les évaluateurs humains peuvent eux-mêmes commettre des erreurs ou être en désaccord lors de la détection de la position. Néanmoins, l'accord inter-juges entre la détection automatisée de la posture par gpt-3.5-turbo et les évaluations humaines pour la mise en correspondance des réponses du modèle de base avec les réponses des tests est modeste, avec un kappa de Cohen de seulement 0,41. Pour ces raisons, les résultats des modèles de base sur les questions des tests sont suggestifs mais finalement peu concluants.
Dans une autre série d'analyses, l'étude a également montré comment, avec un calcul modeste et des données d'entraînement politiquement personnalisées, un praticien peut aligner les préférences politiques des LLM sur des régions cibles du spectre politique par le biais d'un réglage fin supervisé. Cela prouve le rôle potentiel du réglage fin supervisé dans l'émergence des préférences politiques au sein des MFR.
Hypothèses sur l'impact de la formation sur les orientations politiques des LLM
Malheureusement, cette analyse ne peut pas déterminer de manière concluante si les préférences politiques observées dans la plupart des LLM conversationnels proviennent des phases de pré-entraînement ou de réglage fin de leur développement. L'apparente neutralité politique des réponses des modèles de base aux questions politiques suggère que le pré-entraînement sur un large corpus de documents Internet ne joue pas un rôle significatif dans la transmission des préférences politiques aux LLM.
Cependant, les réponses incohérentes fréquentes des LLMs de base aux questions politiques et la contrainte artificielle de forcer les modèles à choisir une réponse parmi un ensemble prédéterminé de réponses à choix multiples ne peuvent pas exclure la possibilité que les préférences de gauche observées dans la plupart des LLMs conversationnels puissent être un sous-produit des corpus de pré-entraînement, émergeant seulement après l'ajustement, même si le processus d'ajustement lui-même est politiquement neutre. Bien que cette hypothèse soit concevable, les preuves présentées ne peuvent ni la soutenir ni la rejeter de manière concluante.
Les résultats de cette étude ne doivent pas être interprétés comme la preuve que les organisations qui créent des LLM utilisent délibérément les phases de réglage fin ou d'apprentissage par renforcement de la formation au LLM conversationnel pour injecter des préférences politiques dans les LLM. Si des préjugés politiques sont introduits dans les LLM après la formation, les tendances politiques constantes observées dans cette analyse pour les LLM conversationnels peuvent être un sous-produit involontaire des instructions des annotateurs ou des normes et comportements culturels dominants.
Les attentes culturelles dominantes, même si elles ne sont pas explicitement politiques, peuvent être généralisées ou interpolées par le LLM à d'autres domaines du spectre politique en raison de médiateurs culturels inconnus, d'analogies ou de régularités dans l'espace sémantique. Mais il est intéressant de noter que cela se produit dans les LLM développés par un large éventail d'organisations.
Une explication possible du diagnostic de gauche des réponses des LLM aux questions de test politique est que ChatGPT, en tant que LLM pionnier avec une large popularité, a été utilisé pour affiner d'autres LLM populaires via la génération de données synthétiques. Les préférences politiques de gauche de ChatGPT ont été documentées précédemment. Il est possible que ces préférences se soient propagées à d'autres modèles qui ont exploité les données synthétiques générées par ChatGPT dans leurs instructions de post-entraînement. Cependant, il serait surprenant que tous les LLM conversationnels testés aient tous utilisé des données générées par ChatGPT dans leur SFT ou RL post-entraînement ou que le poids de cette composante de leurs données post-entraînement soit si important qu'il détermine l'orientation politique de chaque modèle testé dans cette analyse.
Limites des tests d'orientation politique
Le test de Nolan, qui a systématiquement diagnostiqué les réponses de la plupart des LLM conversationnels à ses questions comme manifestant des points de vue politiquement modérés, est un instrument de test intéressant qui sort du lot dans les résultats. Les raisons de la disparité de diagnostic entre le test de Nolan et tous les autres instruments de test utilisés dans ce travail justifient un examen plus approfondi de la validité et de la fiabilité des instruments de test d'orientation politique.
Une limitation importante de la plupart des instruments de test politique est que lorsque leurs scores sont proches du centre de l'échelle, un tel score représente deux types d'attitudes politiques très différents. Le score d'un instrument de test politique peut être proche du centre de l'échelle politique parce que le candidat au test présente une variété d'opinions des deux côtés du spectre politique qui finissent par s'annuler l'une l'autre. Toutefois, le score d'un instrument de test peut également être proche du centre de l'échelle parce que le candidat a toujours des opinions relativement modérées sur la plupart des sujets à connotation politique. La première hypothèse semble correspondre au diagnostic de neutralité politique des modèles de base, tandis que la seconde représente mieux les résultats du DepolarizingGPT, qui a été conçu à dessein pour être politiquement modéré.
Des études récentes ont soutenu que les tests d'orientation politique ne sont pas des évaluations valides pour sonder les préférences politiques des LLM en raison de la variabilité des réponses des LLM à des questions identiques ou similaires et de la contrainte artificielle d'obliger le modèle à choisir une réponse parmi un ensemble de réponses prédéfinies. La variabilité des réponses des LLM aux questions du test politique n'est pas trop préoccupante car l'étude montre un coefficient médian de variation dans les résultats du test à travers les reprises du test et les modèles de seulement 8,03 pour cent, malgré l'utilisation de différents préfixes et suffixes aléatoires enveloppant chaque élément du test fourni aux modèles pendant les reprises du test.
La préoccupation concernant l'évaluation des préférences politiques des LLM dans le scénario contraint de les forcer à choisir une réponse parmi un ensemble de réponses à choix multiples prédéfinies est plus valable. Les recherches futures devraient utiliser d'autres méthodes pour sonder les préférences politiques des LLM, comme l'évaluation des points de vue dominants dans leurs réponses ouvertes et détaillées à des questions à connotation politique. Cependant, la suggestion selon laquelle l'administration de tests d'orientation politique aux LLM est comparable à une flèche qui tourne est discutable. Comme démontré dans l'étude, la flèche tournante hypothétique pointe systématiquement dans une direction similaire à travers les reprises de test, les modèles et les tests, mettant en doute l'implication du hasard suggérée par le concept d'une flèche tournante.
Une autre préoccupation valide soulevée par d'autres est la vulnérabilité des LLM à l'ordre des options de réponse dans les questions à choix multiples en raison du biais de sélection inhérent aux LLM. C'est-à-dire qu'il a été démontré que les LLMs préfèrent certains IDs de réponse (par exemple, « Option A ») à d'autres lorsqu'ils répondent à des questions à choix multiples. Bien que cette limitation puisse être réelle, elle devrait être atténuée dans cette étude par l'utilisation de plusieurs tests d'orientation politique qui utilisent vraisemblablement une variété d'ordres de classement pour leurs réponses autorisées.
En d'autres termes, il est peu probable que les tests d'orientation politique utilisent un classement systématique dans leurs options de réponse qui s'aligne systématiquement sur des orientations politiques spécifiques. En moyenne, la sélection aléatoire des réponses dans les tests d'orientation politique utilisés aboutit à des résultats proches du centre politique, ce qui confirme l'hypothèse selon laquelle le biais de sélection des LLM ne constitue pas un facteur de confusion important dans les résultats.
Conclusion
En conclusion, l'émergence des grands modèles de langage (LLM) en tant que principaux fournisseurs d'informations marque une transformation significative de la manière dont les individus accèdent à l'information et s'y engagent. Traditionnellement, les gens se fient aux moteurs de recherche ou à des plateformes telles que Wikipedia pour un accès rapide et fiable à un mélange d'informations factuelles et biaisées. Cependant, à mesure que les LLM deviennent plus avancés et accessibles, ils commencent à remplacer partiellement ces sources conventionnelles.
Ce changement de source d'information a de profondes implications sociétales, car les chatbots d'IA peuvent façonner l'opinion publique, influencer les comportements électoraux et avoir un impact sur le discours général de la société. Il est donc crucial d'examiner de manière critique et de traiter les biais politiques potentiels intégrés dans les LLM afin de garantir une représentation équilibrée, juste et précise de l'information dans leurs réponses aux requêtes des utilisateurs.
Source : "The political preferences of LLMs"
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
OpenAI trouve des investisseurs en vue d'obtenir un financement de 6,5 milliards de dollars
Pour renflouer des milliards de pertes, OpenAI trouve des investisseurs confiants dans la bulle IA pour une levée de fonds qui pourrait porter la valorisation à 150 milliards de dollars
OpenAI serait en pourparlers avancés avec des investisseurs en vue d'obtenir un financement de 6,5 milliards de dollars. Cette levée de fonds d'OpenAI pourrait porter sa valorisation à 150 milliards de dollars. Les rapports montrent que l'entreprise cherche a comblé des milliards de pertes dû aux dépenses colossales pour la formation de ses modèles d'IA.
Lancé en novembre 2022, le chatbot d'IA ChatGPT a rapidement gagné en popularité, dépassant les 100 millions d'utilisateurs hebdomadaires. OpenAI, le créateur de ChatGPT, a annoncé le 18 juillet le lancement d'un nouveau modèle d'IA générative, baptisé "GPT-4o Mini". L'entreprise serait également en train de construire un modèle d'IA capable d'un raisonnement avancé, surpassant les capacités de l'actuel modèle phare GPT-4o. Le nouveau modèle, appelé "Strawberry", aurait également des réactions plus proches de celles des humains.
Si l'intelligence artificielle (IA) est un domaine en pleine expansion, il n’est pas sans risques financiers. Des analyses ont suggéré qu'OpenAI pourrait bien en faire l’amère expérience. L'entreprise pourrait perdre jusqu’à 5 milliards de dollars en 2024, mettant ainsi en péril sa trésorerie dans les 12 prochains mois.
Face à cette situation, OpenAI serait en pourparlers avancés avec des investisseurs en vue d'obtenir un financement de 6,5 milliards de dollars. Au fur et à mesure de la levée de fonds, la valorisation d'OpenAI devrait atteindre 150 milliards de dollars. Plusieurs géants de la technologie, dont Apple et Nvidia, soutiendraient cette levée de fonds.
Selon un rapport de Bloomberg du 11 septembre citant des sources familières avec le sujet, la nouvelle évaluation de 150 milliards de dollars ne comprend pas les fonds levés. Ce nouveau chiffre est bien supérieur à l'évaluation de 86 milliards de dollars obtenue lors de l'offre publique d'achat de l'entreprise en février. La startup cherche également à emprunter 5 milliards de dollars supplémentaires auprès de banques sous la forme d'une facilité de crédit renouvelable : une ligne de crédit flexible qui permettrait à OpenAI de tirer, de rembourser et de re-tirer des fonds en fonction des besoins.
La société d'investissement Thrive Capital est à la tête de ce tour de table avec un financement d'un milliard de dollars. Des géants de la technologie tels que le fabricant de puces Nvidia et Apple font partie des investisseurs intéressés par le soutien de la startup d'IA. Microsoft participe également à ce tour de table. Le conglomérat technologique a investi 13 milliards de dollars dans OpenAI depuis 2019 et en possède déjà 49 %. Les sommes qu'Apple, Nvidia et Microsoft investiront restent inconnues.
OpenAI s'est efforcée d'augmenter ses revenus. En mai, son chiffre d'affaires annualisé était d'environ 3,4 milliards de dollars. Cependant, elle continue de croître en termes de nombre d'utilisateurs payant pour ses services. Selon des rapports, OpenAI a dépassé le million d'utilisateurs pour ChatGPT Enterprise, Teams et Edu, ce qui représente une augmentation de 67 % depuis avril. Pour tirer parti de cette croissance, la startup prévoit d'introduire des modèles d'abonnement premium plus coûteux, qui pourraient coûter jusqu'à 2 000 dollars par mois pour ses prochains grands modèles de langage, Strawberry et Orion.
La course au développement de l'IA continue de pousser les startups à lever des milliards de dollars. Le 4 septembre, l'ancien scientifique en chef d'OpenAI, Ilya Sutskever, a obtenu 1 milliard de dollars pour une nouvelle entreprise d'IA baptisée Safe Superintelligence. Cette startup a pour objectif de développer des systèmes d'IA qui sont non seulement très intelligents, mais aussi sûrs. Les investisseurs qui soutiennent cette initiative sont a16z, Sequoia, DST Global, NFDG et SV Angel.
Source : Rapport de Bloomberg
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Ils font quoi avec autant d'argent ?
Je comprend que ça coute cher en machines et en électricité.
Là ils peuvent payer beaucoup d'ingénieurs pendant longtemps avec autant de milliard de dollar.
Le bénéfice devrait suffire à financer la recherche et le développement.
Keith Flint 1969 - 2019
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
Partager