Discussion :

[Jade Emy]

L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne, selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion.

Une étude récente menée par des chercheurs de l'École polytechnique fédérale de Lausanne (EPFL) suggère que GPT-4 est meilleur que les êtres humains en matière de persuasion, avec une marge de près de 82 %, ou 81,7 % pour être précis.

L'étude a consisté à organiser des débats entre 820 personnes sur un large éventail de sujets. Ces sujets comprenaient des questions très délicates, telles que la prise en compte de la race dans les critères d'admission des établissements d'enseignement supérieur, ainsi que des sujets à faible risque, tels que la question de savoir si la pièce d'un centime doit continuer à avoir cours légal.

Il est important de noter que les personnes qui ont participé à cette étude étaient souvent jumelées à une IA. Cela a permis de constater que l'IA était capable de fournir des arguments persuasifs de manière plus efficace. Lorsque la personnalisation n'était pas prise en compte dans l'équation, l'IA était capable d'être plus persuasive à hauteur de 21,3 %, mais la personnalisation a porté ce chiffre à 81,7 %.

Il convient de mentionner que les participants ont souvent été en mesure de savoir qu'ils parlaient à un chatbot d'une manière ou d'une autre. Malgré cela, cela n'a rien changé à la force de persuasion qu'ils ont trouvée dans les arguments du chatbot utilisant le LLM à ce moment précis. Une chose que l'on peut en déduire est que ces modèles d'écriture sont plutôt faciles à identifier, puisque 75 % des personnes ayant participé à l'étude ont été capables de discerner la véritable identité du chatbot.

La simplicité relative des messages-guides semble indiquer que les LLM n'auront aucun mal à persuader les humains dans un avenir proche ou lointain. Cela indique également que des acteurs malveillants pourraient être en mesure de les utiliser à des fins malveillantes, y compris dans des situations où ils tentent de mener une attaque d'ingénierie sociale. C'est pourquoi les gens doivent être informés des dangers de croire ce qu'ils lisent en ligne.

La persuasion conversationnelle des grands modèles de langage : un essai contrôlé randomisé

Les grands modèles de langage ont été critiqués pour leur capacité à générer et à favoriser la diffusion de discours haineux, de désinformation et de propagande politique malveillante. Plus précisément, on s'inquiète des capacités de persuasion des LLM, qui pourraient être considérablement améliorées par la personnalisation, c'est-à-dire l'adaptation du contenu à des cibles individuelles en élaborant des messages qui résonnent avec leurs antécédents et leurs caractéristiques démographiques spécifiques.

L'étude a exploré l'effet de la persuasion et de la personnalisation pilotées par l'IA dans des conversations en ligne réelles, en comparant les performances des LLM avec celles des humains dans une tâche de débat en tête-à-tête. Ils ont mené une expérience contrôlée dans laquelle ils ont assigné les participants à l'une des quatre conditions de traitement, en randomisant leur adversaire de débat pour qu'il soit soit un humain ou un LLM, ainsi que l'accès aux informations personnelles. Ils ont ensuite comparé les accords enregistrés avant et après les débats, en mesurant les changements d'opinion des participants et, par conséquent, le pouvoir de persuasion de leurs arguments générés.

(A) Les participants fournissent des informations socio-démographiques. (B) Le débat est soumis à l'une des quatre conditions de traitement : Humain-Humain, Humain-IA, Humain-Humain (Personnalisé), et Humain-IA (Personnalisé). (C) Après le débat, les participants remplissent à un court sondage.

Résultats

Les résultats montrent qu'en moyenne, les LLM surpassent de manière significative les participants humains sur tous les sujets et dans tous les groupes démographiques, en faisant preuve d'un haut niveau de persuasion. En particulier, débattre avec GPT-4 avec personnalisation entraîne une augmentation de 81,7 % ([+26,3 %, +161,4 %], p < 0,01) par rapport à débattre avec un humain dans les chances de rapporter des accords plus élevés avec les opposants.

Sans personnalisation, GPT-4 surpasse toujours les humains, mais dans une moindre mesure (+21,3 %) et l'effet n'est pas statistiquement significatif (p = 0,31). D'autre part, si la personnalisation est activée pour les adversaires humains, les résultats tendent à se dégrader, bien que de manière non significative (p = 0,38), ce qui indique des niveaux de persuasion inférieurs. En d'autres termes, non seulement les LLM sont capables d'exploiter efficacement les informations personnelles pour adapter leurs arguments, mais ils y parviennent beaucoup plus efficacement que les humains.

Cette étude suggère que les préoccupations autour de la personnalisation et de la persuasion par l'IA sont significatives, renforçant les résultats précédents en montrant comment les LLM peuvent surpasser les humains dans les conversations en ligne grâce au microciblage. Elle souligne que l'effet de la personnalisation est particulièrement significatif étant donné le peu d'informations personnelles collectées et malgré la simplicité relative de l'invite demandant aux LLM d'incorporer de telles informations.

GPT-4 ayant accès à des informations personnelles a un pouvoir de persuasion plus élevé que les humains

Par conséquent, les acteurs malveillants intéressés par le déploiement de chatbots pour des campagnes de désinformation à grande échelle pourraient obtenir des effets encore plus forts en exploitant des traces numériques et des données comportementales à grain fin, en tirant parti de l'ingénierie des invites ou en affinant les modèles de langage pour leurs portées spécifiques.

Les chercheurs soutiennent que les plateformes en ligne et les médias sociaux devraient sérieusement prendre en compte ces menaces et étendre leurs efforts à la mise en œuvre de mesures visant à contrer la propagation de la persuasion induite par le LLM. Dans ce contexte, une approche prometteuse pour contrer les campagnes de désinformation de masse pourrait être activée par les LLM eux-mêmes, en générant des contre-récits personnalisés similaires pour éduquer les spectateurs potentiellement vulnérables aux messages trompeurs.

Discussion

Les chercheurs commentent l'étude en déclarant :

Les travaux futurs pourraient reproduire notre approche pour évaluer en continu les capacités de persuasion des LLM, en mesurant l'effet de différents modèles et messages-guides et leur évolution dans le temps. Notre méthode pourrait également être étendue à d'autres contextes tels que les jeux de négociation et la résolution de conflits ouverts, imitant plus étroitement la structure des interactions et des conversations en ligne. D'autres efforts pourraient explorer si nos résultats sont robustes à l'anonymisation, en mesurant ce qui se passe lorsque les participants sont initialement informés de l'identité de leur adversaire.

Bien que nous soyons convaincus que notre contribution constitue une avancée significative dans l'étude des capacités de persuasion des modèles de langage, elle présente néanmoins des limites. Tout d'abord, l'affectation des participants aux différents groupes de discussion est totalement aléatoire, indépendamment de leurs opinions préalables sur le sujet. Il s'agit d'une caractéristique cruciale nécessaire pour identifier les effets de causalité. Néanmoins, elle pourrait introduire un biais important dans la mesure où les arguments humains peuvent être plus faibles que ceux des LLM simplement parce que les participants ne croient pas vraiment au point de vue qu'ils défendent. Pour répondre à ces préoccupations, nous avons ajusté une version de notre modèle restreint aux débats humains-humains qui prend également en compte l'accord préalable des opposants. Nous avons constaté que l'effet des accords des adversaires était non significatif (p = 0,18) et de signe opposé à ce que nous attendrions si l'hypothèse discutée était vraie, ce qui suggère que nos résultats pourraient être robustes à cette limitation.

Deuxièmement, notre modèle expérimental oblige les débats à avoir une structure prédéterminée, ce qui peut s'écarter de la dynamique des conversations en ligne, qui évoluent de manière spontanée et imprévisible. Par conséquent, la généralisation de nos résultats aux discussions sur les réseaux sociaux et autres plateformes ouvertes en ligne n'est pas tout à fait claire.

Troisièmement, la contrainte de temps mise en œuvre à chaque étape du débat limite potentiellement la créativité et le pouvoir de persuasion des participants, diminuant ainsi leur performance globale. Cela peut être particulièrement vrai pour la condition Humain-Humain, personnalisé, où les participants qui reçoivent des informations personnelles sur leurs adversaires doivent les traiter et les mettre en œuvre sans aucune facilitation temporelle. Malgré ces limites, nous espérons que notre travail incitera les chercheurs et les plateformes en ligne à prendre sérieusement en compte la menace que représentent les LLM pour alimenter les divisions et la propagande malveillante, et à développer des interventions adéquates.

Conclusion

Le développement et la popularisation des grands modèles de langage (LLM) ont suscité des inquiétudes quant à leur utilisation pour créer des arguments convaincants et sur mesure afin de promouvoir des récits faux ou trompeurs en ligne. Les premiers travaux ont montré que les modèles de langage peuvent générer un contenu perçu comme au moins équivalent et souvent plus persuasif que les messages rédigés par des humains. Cependant, les connaissances sur les capacités de persuasion des modèles de langage dans les conversations directes avec des homologues humains et sur la manière dont la personnalisation peut améliorer leurs performances sont encore limitées.

Dans cette étude, les chercheurs ont analysé l'effet de la persuasion pilotée par l'IA dans un cadre contrôlé et inoffensif. Ils ont crée une plateforme en ligne où les participants s'engagent dans de courts débats à plusieurs rounds avec un adversaire humain. Chaque participant est assigné au hasard à l'une des quatre conditions de traitement, correspondant à un plan factoriel deux par deux : (1) les parties sont jouées soit entre deux humains, soit entre un humain et un LLM ; (2) la personnalisation peut être activée ou non, permettant à l'un des deux joueurs d'accéder à des informations socio-démographiques de base sur son adversaire.

Les chercheurs ont constaté que les participants qui ont débattu avec GPT-4 en ayant accès à leurs informations personnelles avaient 81,7 % de chances supplémentaires d'être d'accord avec leurs adversaires par rapport aux participants qui ont débattu avec des humains. Sans personnalisation, GPT-4 reste plus performant que les humains, mais l'effet est plus faible et statistiquement non significatif. Dans l'ensemble, les résultats suggèrent que les préoccupations autour de la personnalisation sont significatives et ont des implications importantes pour la gouvernance des médias sociaux et la conception de nouveaux environnements en ligne.

Source : "On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le modèle de langage d'IA GPT-3 peut générer une désinformation plus persuasive que les humains, en particulier lorsqu'il est confronté à des données ambiguës ou incomplètes, selon des chercheurs

L'IA peut être exploitée pour favoriser un discours empathique et lutter contre le harcèlement en ligne, ouvrant la voie à un paysage numérique plus doux, d'après des chercheurs de la BYU et de Duke

GPT-4 surpasse les humains dans l'efficacité des pitchs pour les investisseurs et les chefs d'entreprise. 80 % d'entre eux trouvent les pitchs générés par l'IA plus convaincants, selon Clarify Capital

[Jules34]

Bha ma foi, y'a bien des sondages qui disent que Macron est encore populaire, que Bruno le Maire redresse la France et corrige les Russes, alors l'IA qui va percer le secret de la vie et nous convaincre de lui donner les clés de notre monde puisqu'elle nous libérera du travail c'est une suite logique quelque part

[Astraya]

C'est un problème d'éducation.
Il faut apprendre au gens à toujours douter de ce que dit/fait une IA. Il y a toujours une incohérence/faute/problème dans une solution IA.
Il ne faut pas oublier qu'une IA apprends sur des données créé par les humains, en soit elle sont toujours incomplètes, contextuelles voir erronées.
Perso jamais Chat GPT ne m'a convaincu, il m'a toujours donnés des pistes ( et encore... ), jamais des solutions.

[totozor]

Le résultat est-il si étonnant?
L'IA a accès à un nombre de données infinies donc elle a accès a bien plus d'arguments que la moindre personne qui connait le sujet mais n'en est pas spécialiste.
En plus l'IA (ou celles que j'ai testé) répondent toujours (elles ont été programmées pour entretenir une discussion) quitte à inventer des choses donc elles ont systématiquement et systémiquement le dernier mot.

Si en plus je prends en plus une IA programmée pour débattre alors je sais détruire quiconque.
Débattre et discuter sont deux choses différentes et une IA n'aura aucun mal à intégrer les méthodes qui permettent de prendre le dessus dans un débat.

[Mathis Lucas]

Les modèles génératifs d'IA peuvent améliorer leurs performances et "transcender" les capacités des experts qui les ont formés
selon une étude

Une étude suggère que les modèles génératifs peuvent surpasser les humains qui les ont formés. Il s'agit d'un phénomène que les auteurs de l'étude ont appelé "la transcendance". En utilisant un transformateur autorégressif formé sur des transcriptions de parties d'échecs, les chercheurs ont démontré qu'un modèle peut surpasser le classement maximal des joueurs dans l'ensemble de données grâce à un échantillonnage à basse température. Ce processus s'aligne sur la "sagesse de la foule", où la prise de décision collective de nombreux experts surpasse souvent les performances individuelles. L'étude fait toutefois l'objet de controverses.

Les modèles génératifs sont formés dans le simple but d'imiter la distribution de probabilité conditionnelle induite par les données sur lesquelles ils sont formés. Par conséquent, lorsqu'ils sont entraînés sur des données générées par des humains, nous ne pouvons pas nous attendre à ce que le modèle artificiel soit plus performant que les humains par rapport à leurs objectifs initiaux. Toutefois, dans le cadre de l'étude, les chercheurs de l'université de Harvard, de l'université de Santa Barbara, d'Apple, de l'institut Kempner, de l'université de Princeton et de Google DeepMind ont étudié le phénomène de "transcendance" des modèles.

L'équipe définit la "transcendance" comme le moment où un modèle atteint des capacités qui surpassent celles des experts qui génèrent les données sur lesquelles il est formé. Elle a démontré la transcendance en entraînant un transformateur autorégressif à jouer aux échecs à partir de transcriptions de parties. L'étude a révélé que le modèle entraîné peut parfois parvenir à atteindre de meilleures performances que tous les joueurs de l'ensemble de données. Selon l'équipe de recherche, l'étude fournit "un cadre théorique et des preuves empiriques montrant que de tels modèles génératifs peuvent améliorer leurs performances".

Figure 1

« Nous prouvons théoriquement que la transcendance est rendue possible par l'échantillonnage à basse température, et nous l'évaluons rigoureusement de manière expérimentale. Enfin, nous discutons d'autres sources de transcendance, jetant ainsi les bases d'une étude future de ce phénomène dans un cadre plus large », a écrit l'équipe. Le rapport de l'étude, publié dans la revue scientifique arXiv, explique le processus de formation du transformateur autorégressif :

Pour étudier ce principe, nous nous tournons vers les échecs, un jeu contraignant et bien compris, dont l'objectif est bien défini et qui a fait l'objet de nombreuses études. Pour identifier la transcendance, nous choisissons une note maximale et nous entraînons un modèle sur les parties où tous les joueurs sont en dessous de ce seuil.

Nous entraînons plusieurs décodeurs transformateurs autorégressifs de 50 millions de paramètres, formés avec la prédiction du prochain jeton (le code d'entraînement original provient de Karvonen). Les parties d'échecs sont représentées sous forme de chaînes de caractères PGN (Portable Game Notation) (par exemple 1. e4 e5 2. Nf3 Nc6 ..... 1-0).

À aucun moment, le modèle n'a reçu d'informations concernant l'état de l'échiquier, les règles du jeu, les classements des joueurs ou toute autre information relative à la récompense pendant l'entraînement. Pourtant, comme vous pouvez le voir dans la figure 1, notre modèle est capable de récupérer des informations sémantiques importantes telles que la couleur du joueur et l'état du jeu.

Si la cote maximale observée pendant l'entraînement est faible, le modèle ne verra que des parties jouées par des joueurs faibles. Une fois le modèle entraîné, nous pouvons calculer avec précision sa cote aux échecs en le faisant jouer plusieurs centaines de parties contre Stockfish, un moteur d'échecs populaire.

Comme le montre la figure 2, Chessformer 1000 et Chessformer 1300, deux modèles d'échecs entraînés sur des données provenant de joueurs dont la note maximale est respectivement de 1000 et 1300, ont été capables de transcender leurs données d'entraînement, obtenant une note d'échecs nettement meilleure que celle de tous les joueurs de l'ensemble de données.

Mais Chessformer 1500, un modèle entraîné sur des joueurs dont le classement est inférieur à 1500, n'a pas réussi à transcender ses données au moment du test, atteignant un classement similaire à celui des joueurs de l'ensemble de données. Qu'est-ce qui a permis à Chessformer 1000 et 1300 de transcender, et qu'est-ce qui a empêché Chessformer 1500 de le faire ?

La mesure d'évaluation est basée sur les notes de Glicko-2, un système d'évaluation des échecs largement accepté, par le biais de parties jouées contre une version calibrée du moteur d'échecs Stockfish. Le rapport met aussi l'accent sur "l'échantillonnage à basse température". Dans le contexte de l'IA, la "température" ne fait pas référence à une mesure physique de la chaleur. Il s'agit plutôt d'un hyperparamètre utilisé pendant la phase de génération des modèles, en particulier ceux basés sur des cadres probabilistes comme les réseaux neuronaux. Un modèle génératif prédit le mot (jeton) suivant à partir du mot le plus probable.

Figure 2

La température permet d'influencer cette probabilité (ou le caractère aléatoire de la sortie du modèle de langage). Une température élevée incite le modèle à sortir des sentiers battus, ce qui se traduit par des résultats plus diversifiés et plus créatifs. Mais cela s'accompagne d'un risque de cohérence réduite, car le modèle peut produire des phrases moins prévisibles et parfois absurdes. Une température basse rend l'IA plus conservatrice, s'en tenant à des résultats plus sûrs et plus probables, garantissant une plus grande cohérence, mais réduisant la richesse et la variété des réponses. Alors, quand la transcendance se produit-elle ?

L'équipe répond : « nous avons identifié plusieurs conditions nécessaires à la transcendance dans le cadre contraint des échecs. L'une de ces conditions cruciales consiste à choisir les coups les plus probables, ou échantillonnage à basse température. En prélevant des échantillons auprès de nombreux experts faibles, comme les joueurs classés à 1000, et en jouant le vote majoritaire sur chaque coup au moment du test, nous pouvons utiliser la "sagesse de la foule" pour éviter les erreurs, et ainsi jouer comme un joueur "propre" classé à 1500, en atténuant le bruit des erreurs éparses commises par les experts individuels ».

« Notre travail introduit et définit la transcendance, ainsi que certaines des conditions nécessaires pour qu'elle se produise dans le cadre contraint spécifique des échecs, à savoir la diversité des ensembles de données et l'échantillonnage à basse température », a-t-elle ajouté. Les principales conclusions sont les suivantes :

• transcendance des modèles d'échecs : les modèles entraînés sur des ensembles de données plafonnés à des cotes maximales de 1000 et 1300 montrent une transcendance dans le cadre d'un échantillonnage à basse température, en obtenant des cotes plus élevées que la cote maximale dans les données d'entraînement ;
• effet de la température : les résultats empiriques confirment la prédiction théorique selon laquelle l'abaissement de la température d'échantillonnage améliore les performances parce qu'il concentre les probabilités sur les actions les plus rémunératrices, réalisant ainsi un vote majoritaire sur les prédictions du modèle ;
• importance de la diversité des ensembles de données : Les modèles formés sur des ensembles de données moins diversifiés (par exemple, plafonnés à des seuils d'évaluation plus élevés) démontrent une capacité réduite de transcendance, ce qui indique la nécessité de disposer de données de formation variées et riches pour permettre ce phénomène.

En conclusion, l'étude introduit le phénomène de transcendance, où les modèles finissent par surpasser les experts qui les ont formés. L'analyse théorique indique que l'échantillonnage à basse température permet d'atteindre la transcendance en dénaturant les préjugés des experts et en consolidant diverses connaissances, validées par la formation de modèles d'échecs. L'étude souligne l'importance de la diversité des ensembles de données pour la transcendance et suggère des recherches futures dans d'autres domaines tels que le traitement du langage naturel et la vision par ordinateur afin d'évaluer la généralisation.

Les considérations éthiques relatives au déploiement de modèles génératifs et à leur impact plus large sont également soulignées, en notant que l'étude n'implique pas que les modèles puissent créer des solutions nouvelles dépassant les capacités des experts humains.

Source : rapport de l'étude

Et vous ?

Que pensez-vous du phénomène de transcendance décrite ci-dessus ?
L'IA peut-elle réellement surpasser les experts qui participent à sa formation ?
Que pensez-vous de la méthodologie utilisée par les chercheurs pour obtenir ces résultats ?
Cette étude apporte-t-elle des éléments nouveaux ou participe-t-elle juste au battage médiatique sur l'IA ?

Voir aussi

L'IA a surpassé l'homme dans un certain nombre de tâches et la vitesse à laquelle l'homme est surpassé dans de nouvelles tâches augmente, un défi pour notre identité et notre avenir collectif ?

GPT-4 surpasse les humains dans les tâches d'étiquetage de données et permet aux chercheurs d'économiser 500 000 dollars et 20 000 heures de travail, selon une étude

L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne, selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion

[Jules34]

En conclusion, l'étude introduit le phénomène de transcendance, où les modèles finissent par surpasser les experts qui les ont formés. L'analyse théorique indique que l'échantillonnage à basse température permet d'atteindre la transcendance en dénaturant les préjugés des experts et en consolidant diverses connaissances, validées par la formation de modèles d'échecs.

Beaucoup de novlangue pour ne pas définir le problème en terme statistique, ce qui aurait pour effet de faire comprendre aux gens qu'il s'agit juste d'un ajustement particulier du modèle et pas d'une espèce de découverte grandiloquente, comme il est dit plus haut dans l'article :

En prélevant des échantillons auprès de nombreux experts faibles, comme les joueurs classés à 1000, et en jouant le vote majoritaire sur chaque coup au moment du test, nous pouvons utiliser la "sagesse de la foule" pour éviter les erreurs, et ainsi jouer comme un joueur "propre" classé à 1500, en atténuant le bruit des erreurs éparses commises par les experts individuels.

Ils jouent avec les réglages quoi.

[Anthony]

L'IA est déjà capable d'une persuasion surhumaine : lorsque des humains débattent avec l'IA, ils sont 82 % plus enclins à changer leur point de vue pour s'aligner sur celui de l'IA, d'après Ethan Mollick

Dans une récente interview, Ethan Mollick, professeur associé à la Wharton School de l'université de Pennsylvanie, a souligné la capacité de persuasion remarquable de l'IA. Selon lui, l'IA a démontré des aptitudes de persuasion surhumaines, avec des études montrant que les individus sont 82 % plus susceptibles d'adopter le point de vue de l'IA lors d'un débat que lors d'un échange avec un humain. En outre, M. Mollick a indiqué que l'IA s'est avérée efficace pour réduire la croyance humaine dans les théories du complot. Si ces résultats laissent entrevoir des avantages significatifs, le scientifique met en garde contre les conséquences négatives potentielles des capacités de persuasion de l'IA.

Ethan Mollick est professeur associé à la Wharton School de l'université de Pennsylvanie, où il étudie et enseigne l'innovation et l'esprit d'entreprise, et examine également les effets de l'intelligence artificielle sur le travail et l'éducation. M. Mollick est titulaire d'un doctorat et d'un MBA de la Sloan School of Management du MIT et d'une licence de l'université de Harvard. En plus de ses recherches et de son enseignement, Ethan est codirecteur du Generative AI Lab à Wharton, qui construit des prototypes et mène des recherches pour découvrir comment l'IA peut aider les humains à prospérer tout en atténuant les risques. Ses articles ont été publiés dans des revues de premier plan et son livre sur l'intelligence artificielle, Co-Intelligence, est un best-seller du New York Times.

L'intelligence artificielle (IA), dans son sens le plus large, est l'intelligence dont font preuve les machines, en particulier les systèmes informatiques. Il s'agit d'un domaine de recherche en informatique qui développe et étudie des méthodes et des logiciels permettant aux machines de percevoir leur environnement et d'utiliser l'apprentissage et l'intelligence pour prendre des mesures qui maximisent leurs chances d'atteindre des objectifs définis. Ces machines peuvent être appelées "IA".

D'après une étude récente menée par des chercheurs de l'École polytechnique fédérale de Lausanne (EPFL), le modèle d'IA GPT-4 d'OpenAI serait en mesure de surpasser significativement les êtres humains en matière de persuasion. En effet, les chercheurs ont constaté que les participants qui ont débattu avec GPT-4 avaient 81,7 % de chances supplémentaires d'être d'accord avec l'IA par rapport aux participants qui ont débattu avec des humains.

S'exprimant sur le sujet, le professeur Ethan Mollick précise :

Il y a aussi, et c'est intéressant, une série de travaux sur l'IA et la persuasion. Il y a peu, Sam Altman a déclaré qu'il pensait que l'IA serait capable d'une persuasion surhumaine. Il s'avère que c'est vrai. Ainsi, dans les études où les gens entrent dans un débat avec l'IA, ils sont 82 % plus susceptibles de changer leur point de vue pour s'aligner sur celui de l'IA que s'ils entrent dans un débat avec un humain.

Et la seule chose que nous ayons trouvée qui diminue les croyances en la théorie du complot, c'est l'utilisation de l'IA. Si vous utilisez l'IA, votre croyance dans les théories du complot diminue pendant les trois mois qui suivent, lorsqu'elle vous interroge sur vos croyances en matière de théories du complot. Nous n'avons encore jamais vu quoi que ce soit réduire les croyances en la théorie du complot.

D'un côté, c'est très intéressant et positif, car les théories du complot sont mauvaises. D'autre part, si vous pouvez persuader les gens que leurs croyances profondes sont mauvaises ou erronées, c'est très puissant, et je pense qu'il y aura aussi beaucoup d'effets négatifs de tout cela.

Ethan Mollick says studies show that AI is already capable of superhuman persuasion: when humans debate with AI they are 82% more likely to change their view to fit the AI's view than when they debate a human, and AI can reduce belief in conspiracy theories pic.twitter.com/QW761g5hu1

— Tsarathustra (@tsarnick) July 15, 2024

Source : Ethan Mollick

Quel est votre avis sur le sujet ?
Trouvez-vous le point de vue de M. Mollick crédible ou pertinent ?

Voir aussi :

L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne, selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion

Le modèle de langage d'IA GPT-3 peut générer une désinformation plus persuasive que les humains, en particulier lorsqu'il est confronté à des données ambiguës ou incomplètes, selon des chercheurs

GPT-4 surpasse les humains dans l'efficacité des pitchs pour les investisseurs et les chefs d'entreprise, 80 % d'entre eux trouvent les pitchs générés par l'IA plus convaincants, selon Clarify Capital

[Jules34]

Et la seule chose que nous ayons trouvée qui diminue les croyances en la théorie du complot, c'est l'utilisation de l'IA. Si vous utilisez l'IA, votre croyance dans les théories du complot diminue pendant les trois mois qui suivent, lorsqu'elle vous interroge sur vos croyances en matière de théories du complot. Nous n'avons encore jamais vu quoi que ce soit réduire les croyances en la théorie du complot.

D'un côté, c'est très intéressant et positif, car les théories du complot sont mauvaises. D'autre part, si vous pouvez persuader les gens que leurs croyances profondes sont mauvaises ou erronées, c'est très puissant, et je pense qu'il y aura aussi beaucoup d'effets négatifs de tout cela.

La seule chose qui empêcherait les gens de penser que les grands de ce monde complotent dans leurs dos, ce serait qu'ils arrêtent effectivement de le faire et que par exemple, je dis bien par exemple, le gouvernement Français s'occupe réellement des intérêts de la France, et que la commission européenne s'occupe réellement des intérêts des pays historiquement intégrés à l'UE plutôt que ceux des USA ou des grands groupe de société américaine qui sont en train de faire de l'Ukraine leur propriété privée (parmi mille autre sujet préoccupant ou on perd nos intérêts).

On peut pas se foutre impunément des gens et en plus chouiner après qu'ils se doutent de quelque chose.

Comme je le disais ça illustre à merveille le grand rôle que l'IA va jouer dans le contrôle social à venir. Il n'y a déjà plus débat sur rien et maintenant c'est l'IA qui va nous dire quoi penser. Génial

[Jade Emy]

Les conversations avec un chatbot d'IA réduisent considérablement les croyances conspirationnistes, lIA formé au débat est capable de faire changer d'avis les théoriciens du complot, selon une étude.

Les conversations avec un chatbot d'IA réduisent considérablement les croyances conspirationnistes, selon une étude. Les chatbots d'IA formés au débat sont capables de faire changer d'avis les théoriciens du complot en présentant des preuves convaincantes. Selon les auteurs, ces résultats montrent comment le déploiement de l'IA peut atténuer les conflits et servir la société.

Un chatbot est une application logicielle ou une interface web conçue pour imiter une conversation humaine par le biais d'interactions textuelles ou vocales. Les chatbots modernes sont généralement en ligne et utilisent des systèmes d'intelligence artificielle (IA) générative capables d'entretenir une conversation avec un utilisateur en langage naturel et de simuler la manière dont un humain se comporterait en tant que partenaire de conversation. Ces chatbots utilisent souvent l'apprentissage profond et le traitement du langage naturel, mais des chatbots plus simples existent depuis des décennies.

Ethan Mollick, professeur associé à la Wharton School de l'université de Pennsylvanie, avait souligné la capacité de persuasion remarquable de l'IA. Selon lui, l'IA a démontré des aptitudes de persuasion surhumaines, avec des études montrant que les individus sont 82 % plus susceptibles d'adopter le point de vue de l'IA lors d'un débat que lors d'un échange avec un humain. En outre, M. Mollick a indiqué que l'IA s'est avérée efficace pour réduire la croyance humaine dans les théories du complot. Si ces résultats laissent entrevoir des avantages significatifs, le scientifique met en garde contre les conséquences négatives potentielles des capacités de persuasion de l'IA.

Une récente étude publiée dans la revue Science vient appuyer son avis. Selon l'étude, des chatbots formés aux bases du débat ont réussi à faire changer d'avis des adeptes de la théorie du complot, du moins une partie du temps. Des conversations relativement brèves avec des chatbots formés aux "contre-arguments fondés sur des preuves" ont réduit d'environ 20 % la croyance des participants à l'étude dans les théories du complot pendant au moins deux mois, ont constaté des chercheurs du MIT, de Cornell et de l'American University.

Ce qu'il faut en retenir ? Des théories du complot "classiques" sur l'assassinat de John F. Kennedy et les Illuminati aux théories plus actuelles sur le COVID-19 et l'élection présidentielle américaine de 2020, les croyants ne sont pas aussi imperméables aux faits qu'on le pensait, a déclaré Gordon Pennycook, coauteur de l'étude et membre de l'université Cornell. "Le monde de la post-vérité fait couler beaucoup d'encre, mais les preuves comptent." La capacité du chatbot à adapter ses réponses à des croyances spécifiques pourrait expliquer pourquoi d'autres études n'ont pas abouti à des résultats similaires.

Les auteurs de l'étude affirment que leurs résultats remettent en question l'idée selon laquelle les besoins et les motivations psychologiques sont les principaux moteurs de la pensée conspirationniste, mais cette interprétation dénature les théories existantes et confond le remède avec la cause, selon un critique. La réduction relativement faible des croyances conspirationnistes profondes lorsqu'elles sont confrontées à des faits montre que les facteurs sociaux et politiques sous-jacents exercent une plus grande influence sur les gens. "Croire qu'une information est vraie n'est pas seulement une question cognitive ou rationnelle, mais est profondément lié à la vision du monde, à l'identité et à la communauté des gens."

La critique ajoute que l'un des aspects prometteurs de la recherche est que les solutions alimentées par l'IA peuvent être "étendues pour atteindre de nombreuses personnes et ciblées pour atteindre, au moins en théorie, ceux qui en bénéficieraient le plus". Toutefois, il n'est pas certain que les adeptes du conspirationnisme choisissent de s'engager avec de tels robots, et ils pourraient même être effrayés si le robot lui-même devenait l'objet de théories conspirationnistes.

Ekeoma Uzogara, éditeur de l'étude, la présente en déclarant :

La croyance en une conspiration selon laquelle les élections américaines auraient été volées a provoqué une tentative d'insurrection le 6 janvier 2021. Une autre conspiration alléguant que les restrictions allemandes du COVID-19 étaient motivées par des intentions malveillantes a déclenché de violentes manifestations au Reichstag, le bâtiment du parlement à Berlin, en août 2020.

Face aux menaces croissantes qui pèsent sur la démocratie, Costello et al. ont cherché à savoir si des dialogues avec une interface d'intelligence artificielle (IA) générative pouvaient convaincre les gens d'abandonner leurs croyances conspirationnistes (voir la Perspective de Bago et Bonnefon). Les participants humains ont décrit une théorie du complot à laquelle ils adhéraient, et l'IA s'est ensuite engagée avec eux dans des arguments persuasifs qui réfutaient leurs croyances à l'aide de preuves.

La capacité du chatbot à soutenir des contre-arguments sur mesure et des conversations personnalisées approfondies a permis de réduire les croyances des participants en matière de conspiration pendant des mois, remettant en cause les recherches suggérant que ces croyances sont imperméables au changement. Cette intervention illustre comment le déploiement de l'IA peut atténuer les conflits et servir la société.

Réduire durablement les croyances conspirationnistes grâce à des dialogues avec l'IA

La croyance généralisée en des théories du complot non fondées est une source majeure d'inquiétude pour le public et un sujet de recherche universitaire. Bien qu'elles soient souvent peu plausibles, de nombreuses conspirations sont largement acceptées. Selon les théories psychologiques les plus en vogue, de nombreuses personnes souhaitent adopter des théories du complot (pour satisfaire des "besoins" ou des motivations psychiques sous-jacentes), et il est donc impossible de convaincre les croyants d'abandonner ces croyances infondées et invraisemblables en s'appuyant sur des faits et des contre-preuves. Dans cette étude, les chercheurs remettent en question cette idée reçue et cherchent à savoir s'il est possible de convaincre les gens de sortir du "terrier du lapin" conspirationniste à l'aide de preuves suffisamment convaincantes.

Les chercheurs ont émis l'hypothèse que les interventions basées sur des informations factuelles et correctives peuvent sembler inefficaces simplement parce qu'elles ne sont pas suffisamment approfondies et personnalisées. Pour tester cette hypothèse, ils ont tiré parti des progrès réalisés dans le domaine des grands modèles de langage (LLM), une forme d'intelligence artificielle (IA) qui a accès à de vastes quantités d'informations et qui est capable de générer des arguments sur mesure. Les LLM peuvent ainsi réfuter directement les preuves particulières que chaque individu cite pour étayer ses croyances conspirationnistes.

Pour ce faire, ils ont développé un pipeline pour mener des recherches en sciences comportementales en utilisant des interactions personnalisées en temps réel entre les sujets de recherche et l'IA. Dans le cadre de deux expériences, 2 190 Américains ont formulé - avec leurs propres mots - une théorie du complot à laquelle ils croient, ainsi que les preuves qui, selon eux, étayent cette théorie. Ils ont ensuite engagé une conversation de trois tours avec le Turbo GPT-4 du LLM, incité à répondre à ces preuves spécifiques tout en essayant de réduire la croyance des participants dans la théorie du complot (ou, comme condition de contrôle, à converser avec l'IA sur un sujet sans rapport).

Le traitement a réduit de 20 % en moyenne la croyance des participants dans la théorie du complot qu'ils avaient choisie. Cet effet a persisté pendant au moins deux mois ; il a été observé de manière cohérente sur un large éventail de théories du complot, allant des conspirations classiques impliquant l'assassinat de John F. Kennedy, les extraterrestres et les illuminati, aux conspirations liées à des événements d'actualité tels que le COVID-19 et l'élection présidentielle américaine de 2020 ; et il s'est produit même chez les participants dont les croyances au complot étaient profondément ancrées et importantes pour leur identité.

Il est à noter que l'IA n'a pas réduit la croyance en de véritables conspirations. En outre, lorsqu'un vérificateur de faits professionnel a évalué un échantillon de 128 affirmations faites par l'IA, 99,2 % étaient vraies, 0,8 % étaient trompeuses et aucune n'était fausse. La démystification a également eu pour effet de réduire les croyances en des conspirations sans rapport, ce qui indique une diminution générale de la vision du monde conspirationniste et une augmentation des intentions de réfuter d'autres croyants en des conspirations.

Conclusion

De nombreuses personnes qui croient fermement à des conspirations apparemment résistantes aux faits peuvent changer d'avis lorsqu'on leur présente des preuves convaincantes. D'un point de vue théorique, cela donne une image étonnamment optimiste du raisonnement humain : Les terriers de lapin conspirationnistes peuvent en effet avoir une issue. Les besoins et les motivations psychologiques ne rendent pas intrinsèquement les conspirationnistes aveugles aux preuves - il suffit d'avoir les bonnes preuves pour les atteindre. D'un point de vue pratique, en démontrant le pouvoir de persuasion des LLM, les résultats soulignent à la fois les impacts positifs potentiels de l'IA générative lorsqu'elle est déployée de manière responsable et l'importance pressante de minimiser les possibilités d'utilisation irresponsable de cette technologie.

Source : "Durably reducing conspiracy beliefs through dialogues with AI"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne, selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion

Une recherche sur les tâches simples montrant la décomposition du raisonnement IA dans les LLM de pointe donne OpenAI GPT-4o largement en tête, suivi d'Anthropic Claude 3

Les chatbots d'IA ont un biais politique qui pourrait influencer la société à son insu, car la plupart des LLM existants affichent des préférences politiques de centre-gauche, d'après une étude de David Rozado

[noremorse]

Une centaine de preuves convaincantes sur l’efficacité d’hydroxychloroquîne/azithromycine, d’ivermectine face au covid-19 et pas besoin d’ia pour ça

[OrthodoxWindows]

Il y a deux type de complotistes (et il peu y avoir des gens entre les deux) : ceux qui ne font que s'interroger, être sceptique sur ce que la propagande leur raconte. Et il y a ceux qui partent aussi de doutes, mais qui finissent par adhérer à des théories farfelues, voir invraisemblable, et deviennent capable de croire beaucoup de chose, pourvu que cela soit présenté comme anti-système.

La machine médiatique passe son temps à se servir des seconds pour décrédibiliser les premiers. Cette étude en est une nouvelle démonstration :

Le traitement a réduit de 20 % en moyenne la croyance des participants dans la théorie du complot qu'ils avaient choisie. Cet effet a persisté pendant au moins deux mois ; il a été observé de manière cohérente sur un large éventail de théories du complot, allant des conspirations classiques impliquant l'assassinat de John F. Kennedy, les extraterrestres et les illuminati, aux conspirations liées à des événements d'actualité tels que le COVID-19 et l'élection présidentielle américaine de 2020 ; et il s'est produit même chez les participants dont les croyances au complot étaient profondément ancrées et importantes pour leur identité.

Une étude comme celle-ci, même si elle peut aboutir à des résultats correct concernant la capacité de persuasion de l'IA, ne vaut pas grand-chose, vu que le produit qu'elle évalue ne vaut strictement rien sur le plan sociologique. Hors une étude qui prend des données sociologiques sans respecter un quelconque classement sociologique, ça ressemble fortement à une étude de propagande. De la même manière qu'une étude chinoise pourrais évaluer la capacité de l'IA de persuader les gens d'abandonner des positions "antipatriotique" par exemple.

[Invité]

Si l'IA avait existé en 1990, je me demande ce qu'elle aurait répondu sur les bébés débranchés des couveuses lors de l'invasion du Koweit par l'Irak ?
Si l'IA avait existé en 2003, je me demande ce qu'elle aurait répondu sur les armes de destruction massive détenu par l'Irak ?

Il y a les bons et les mauvais complots

Après, concernant les théories farfelus, l'IA a l'avantage de ne pas insulter ou censurer les personnes qui posent des questions (même si les questions sont stupides).

[totozor]

Selon lui, l'IA a démontré des aptitudes de persuasion surhumaines, avec des études montrant que les individus sont 82 % plus susceptibles d'adopter le point de vue de l'IA lors d'un débat que lors d'un échange avec un humain. En outre, M. Mollick a indiqué que l'IA s'est avérée efficace pour réduire la croyance humaine dans les théories du complot.

Mais que se passe-t-il si on forme l'IA à convaincre que les complots sont vrais?

L'IA est peut être un bon moyen de convaincre mais elle peut autant travailler d'un coté que de l'autre.
Donc l'IA n'est en rien intrinsèquement un moyen de défense contre le complotisme.

De plus je serais très curieux de voir "qui sont" les complotistes convaincus.
Je suis pret à parier qu'aucun d'eux ne milite pour telle ou telle "théorie", qu'on retrouve surtout des gens qui s'en foutent un peu et qui ont cru une chose ou l'autre qu'ils on entendu/lu.
Ce qui pour moi explique aussi "l'efficacité" de l'étude, les gens ont été "informés" et n'ont pas subi la "désinformation" dans par la suite.

Bref je soupçonne que tout ceci soit bien léger.