Discussion :

[Stéphane le calme]

ChatGPT peut-il être votre thérapeute ? Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs
Les utilisateurs ont donné une note élevée aux réponses de l'IA

Koko, une plate-forme en ligne de santé mentale, a prodigué à quelque 4 000 utilisateurs un conseil qui avait été créé par une AI, sans les en informer au préalable. Rob Morris, le co-fondateur de l'application de santé mentale Koko, a expliqué comment ils utilisaient une approche « co-pilote », avec des humains supervisant l'IA au besoin. Ils l'ont fait sur environ 30 000 messages.

La plate-forme a constaté que les messages composés par l'IA étaient nettement mieux notés que ceux écrits par les humains, tandis que les temps de réponse ont diminué de 50% à moins d'une minute.

Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.

Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir comme avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en se servant de l'IA pour aider à créer un soutien en matière de santé mentale pour environ 4 000 de ses utilisateurs en octobre.

« Franchement, ce sera l'avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s'il y avait une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J'ai mes propres problèmes de santé mentale, donc je veux vraiment que cela soit fait correctement », a déclaré le co-fondateur de Koko, Rob Morris.

Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d'autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en contact avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous ».

Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l'aide de "Koko Bot" - alimenté par le GPT-3 d'OpenAI - qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l'IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l'expérience après quelques jours parce qu'elle « semblait plutôt stérile ».

« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à capter certains indices. Tout est vraiment bien écrit, mais c'est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par un bot et qu'aucune nuance humaine n'a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l'authenticité qui se perd lorsque vous avez cet outil comme outil de soutien pour vous aider dans votre écriture, en particulier dans ce genre de contexte. Sur notre plate-forme, les messages semblaient meilleurs d'une certaine manière quand je pouvais sentir qu'ils étaient plus écrits par l'homme ».

Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu'une IA était impliquée dans leurs soins. Il a tweeté « qu'une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l'éthique des recherches de Koko, étant donné que ses propos ont suggéré un manque clé de consentement éclairé pendant au moins une phase de l'expérience.

Les messages composés par l'IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que celles écrites par des humains eux-mêmes (p < 0,001). Les temps de réponse ont diminué de 50 %, à bien moins d'une minute. Et pourtant… nous avons retiré cela de notre plate-forme assez rapidement. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.

Les machines n'ont pas vécu l'expérience humaine, alors quand elles disent « ça a l'air dur » ou « je comprends », ça sonne inauthentique. Et elles ne déploient aucun effort véritable (du moins aucun que les humains puissent apprécier !) Elles ne prennent pas du temps dans leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.

Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu'un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l'effort qui consiste à aller au magasin, choisir une carte, l'envoyer, etc.

Les machines peuvent-elles surmonter cela ? Probablement. Surtout si elles établissent une relation avec l'utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut nouer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).

J'ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d'agir comme s'il se souciait de moi. Quand il a admis plus tard qu'il ne pouvait pas vraiment se soucier de moi parce que, eh bien, c'est un modèle de langage, je me sentais vraiment un peu mal.

Peut-être sommes-nous si désespérés d'être entendus, d'avoir quelque chose qui prête vraiment attention à nous sans être distraits, sans regarder un téléphone, parcourir ses e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que le les machines se soucient réellement de nous.

Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?

Comment tirer profit des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».

Il est également possible que la véritable empathie soit une chose que nous, les humains, pouvons considérer comme la nôtre. C'est peut-être la seule chose que nous faisons que l'IA ne pourra jamais remplacer.

Sur Twitter, il a présenté une vidéo de deux minutes pour montrer comment le système fonctionne :

Here’s a 2min video on how it worked: https://t.co/3gHvc5i0rU

Read on for the TLDR and some thoughts…

— Rob Morris (@RobertRMorris) January 6, 2023

Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l'expérience comme étant contraire à l'éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d'examen institutionnel (IRB) avait approuvé l'expérience. Dans une réponse tweetée, Morris a déclaré que l'expérience « serait exemptée » des exigences de consentement éclairé car il n'avait pas prévu de publier les résultats :

« Ce serait exempté [ndlr. des exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d'aide, qui pouvaient choisir de l'utiliser ou non. Nous n'avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n'y a aucun plan de publication. Mais l'IRB de l'HGM est formidable... Je ne pourrais même pas utiliser d'encre rouge dans nos dépliants d'étude si je me souviens bien... »

Ce à quoi un utilisateur a répondu :

« En tant qu'ancien membre et président de l'IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l'approbation ou l'exemption de l'IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu'il traite de choses comme ça. Conseil non sollicité : prenez un avocat ».

Face aux réactions sur Twitter, il a tenu a apporté des clarifications sur son fil :

Quelques précisions importantes sur mon récent fil de tweet :

Nous ne jumelions pas les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j'aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons proposé à nos pairs sympathisants l'utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne discutaient pas directement avec l'IA.

Cette fonctionnalité était en opt-in. Tout le monde était au courant de la fonctionnalité lorsqu'elle était en ligne depuis quelques jours.

Some important clarification on my recent tweet thread:

We were not pairing people up to chat with GPT-3, without their knowledge. (in retrospect, I could have worded my first tweet to better reflect this).

— Rob Morris (@RobertRMorris) January 7, 2023

Cependant, l'expérience soulève des questions éthiques, y compris des doutes sur la façon dont Koko a informé les utilisateurs et les risques de tester une technologie non éprouvée dans un cadre de soins de santé en direct, même un peer-to-peer.

Conclusion

L'idée d'utiliser l'IA en tant que thérapeute est loin d'être nouvelle, mais la différence entre l'expérience de Koko et les approches thérapeutiques typiques de l'IA est que les patients savent généralement qu'ils ne parlent pas avec un vrai humain (fait intéressant, l'un des premiers chatbots, ELIZA, a simulé une séance de psychothérapie).

Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l'envoyer, au lieu d'un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.

Lundi, Morris a partagé un message réagissant à la controverse qui explique la voie à suivre de Koko avec GPT-3 et l'IA en général, écrivant : « Je reçois des critiques, des préoccupations et des questions sur ce travail avec empathie et ouverture. Nous partageons un intérêt à nous assurer que toutes les utilisations de l'IA sont traitées avec délicatesse, avec un profond souci de confidentialité, de transparence et d'atténuation des risques. Notre conseil consultatif clinique se réunit pour discuter des lignes directrices pour les travaux futurs, en particulier en ce qui concerne l'approbation de l'IRB ».

Source : Rob Morris

Et vous ?

Quelle lecture faites-vous de la situation ?
Penchez-vous plus du côté de Rob Morris ou de ceux qui lui reprochent son approche avec chatGPT ? Pourquoi ?

[Stéphane le calme]

Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques,
ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

ChatGPT peut générer de faux résumés d'articles de recherche si convaincants que les scientifiques sont souvent incapables de les repérer, selon une prépublication sur le serveur bioRxiv fin décembre. Les chercheurs sont divisés sur les implications pour la science. Dans le domaine de la publication scientifique, une prépublication est une version d'un article scientifique qui précède son acceptation par le comité de rédaction d'une revue scientifique.

« Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni, et n'a pas participé à la recherche. « Si nous sommes maintenant dans une situation où les experts ne sont pas en mesure de déterminer ce qui est vrai ou non, nous perdons l'intermédiaire dont nous avons désespérément besoin pour nous guider à travers des sujets compliqués », ajoute-t-elle.

ChatGPT crée un texte réaliste en réponse aux invites de l'utilisateur. Il s'agit d'un « grand modèle de langage », un système basé sur des réseaux de neurones qui apprennent à effectuer une tâche en assimilant d'énormes quantités de texte généré par l'homme. La société de logiciels OpenAI, basée à San Francisco, en Californie, a publié l'outil le 30 novembre.

Depuis sa sortie, les chercheurs se sont attaqués aux problèmes éthiques entourant son utilisation, car une grande partie de sa production peut être difficile à distinguer du texte écrit par l'homme.

C'est peut-être l'une des raisons qui a motivé la décision de l'International Conference on Machine Learning (ICML), l'une des conférences sur l'apprentissage automatique les plus prestigieuses au monde, qui a interdit aux auteurs d'utiliser des outils d'IA comme ChatGPT pour rédiger des articles scientifiques. L'ICML a déclaré : « Les articles qui incluent du texte généré à partir d'un modèle de langage à grande échelle (LLM) tel que ChatGPT sont interdits à moins que le texte produit ne soit présenté dans le cadre de l'analyse expérimentale de l'article ». La nouvelle a suscité de nombreuses discussions sur les réseaux sociaux, des universitaires et des chercheurs en IA défendant et critiquant la politique. Les organisateurs de la conférence ont répondu en publiant une déclaration plus longue expliquant leur pensée.

Selon l'ICML, la montée en puissance de modèles de langage d'IA accessibles au public comme ChatGPT représente un développement « excitant » qui s'accompagne néanmoins de « conséquences imprévues [et] de questions sans réponse ». L'ICML estime que celles-ci incluent des questions sur qui possède la sortie de ces systèmes (ils sont formés sur des données publiques, qui sont généralement collectées sans consentement et régurgitent parfois ces informations textuellement) et si le texte et les images générés par l'IA doivent être « considérés comme nouveaux ou simples dérivés de travaux existants ».

Cette dernière question est liée à un débat délicat sur la paternité, c'est-à-dire qui est considéré comme l'auteur d'un texte généré par l'IA ? La machine, son développeur ou son utilisateur ? Ceci est particulièrement important étant donné que l'ICML n'interdit que les textes « entièrement produits » par l'IA. Les organisateurs de la conférence disent qu'ils n'interdisent pas l'utilisation d'outils comme ChatGPT « pour éditer ou peaufiner le texte écrit par l'auteur » et notent que de nombreux auteurs ont déjà utilisé des « outils d'édition semi-automatisés » comme le logiciel de correction grammaticale Grammarly à cette fin.

Des scientifiques parfois incapables de déterminer quand du texte a été généré par ChatGPT

Des scientifiques ont fait une prépublication et un éditorial à l'aide de ChatGPT. Voici le résumé de la prépublication (la première partie a été générée par chatGPT et la seconde par les scientifiques) :

L'intelligence artificielle (IA) a le potentiel de révolutionner le processus de découverte de médicaments, offrant une efficacité, une précision et une vitesse améliorées. Cependant, l'application réussie de l'IA dépend de la disponibilité de données de haute qualité, de la prise en compte des préoccupations éthiques et de la reconnaissance des limites des approches basées sur l'IA. Dans cet article, les avantages, les défis et les inconvénients de l'IA dans ce domaine sont passés en revue, et des stratégies et approches possibles pour surmonter les obstacles actuels sont proposées. L'utilisation de l'augmentation des données, l'IA explicable et l'intégration de l'IA aux méthodes expérimentales traditionnelles, ainsi que les avantages potentiels de l'IA dans la recherche pharmaceutique sont également discutés. Dans l'ensemble, cette revue met en évidence le potentiel de l'IA dans la découverte de médicaments et donne un aperçu des défis et des opportunités pour réaliser son potentiel dans ce domaine.

Remarque des auteurs humains : cet article a été créé pour tester la capacité de ChatGPT, un chatbot basé sur le modèle de langage GPT-3.5, à aider les auteurs humains à rédiger des articles de synthèse. Le texte généré par l'IA suivant nos instructions (voir Informations complémentaires) a été utilisé comme point de départ, et sa capacité à générer automatiquement du contenu a été évaluée. Après avoir procédé à un examen approfondi, les auteurs humains ont pratiquement réécrit le manuscrit, s'efforçant de maintenir un équilibre entre la proposition originale et les critères scientifiques. Les avantages et les limites de l'utilisation de l'IA à cette fin sont abordés dans la dernière section.

Puis, un groupe dirigé par Catherine Gao de la Northwestern University de Chicago, dans l'Illinois, a utilisé ChatGPT pour générer des résumés d'articles de recherche artificiels afin de tester si les scientifiques peuvent les repérer.

Les chercheurs ont demandé au chatbot de rédiger 50 résumés de recherche médicale basés sur une sélection publiée dans JAMA, The New England Journal of Medicine, The BMJ, The Lancet et Nature Medicine. Ils les ont ensuite comparés aux résumés originaux en les faisant passer à travers un détecteur de plagiat et un détecteur de sortie AI, et ils ont demandé à un groupe de chercheurs médicaux de repérer les résumés générés par IA.

Les résumés générés par ChatGPT ont traversé le vérificateur de plagiat : le score d'originalité médian était de 100 %, ce qui indique qu'aucun plagiat n'a été détecté. Le détecteur de sortie AI a repéré 66 % des résumés générés. Mais les relecteurs humains n'ont pas fait beaucoup mieux : ils n'ont identifié correctement que 68 % des résumés générés et 86 % des résumés authentiques. Ils ont incorrectement identifié 32 % des résumés générés comme étant réels et 14 % des résumés authentiques comme étant générés par l'IA.

« ChatGPT rédige des résumés scientifiques crédibles », déclarent Gao et ses collègues dans la prépublication. « Les limites de l'utilisation éthique et acceptable des grands modèles de langage pour aider l'écriture scientifique restent à déterminer ».

Wachter dit que si les scientifiques ne peuvent pas déterminer si la recherche est vraie, il pourrait y avoir des « conséquences désastreuses ». En plus d'être problématique pour les chercheurs, qui pourraient être entraînés dans des voies d'investigation erronées, parce que la recherche qu'ils lisent a été fabriquée, il y a « des implications pour la société dans son ensemble parce que la recherche scientifique joue un rôle si énorme dans notre société ». Par exemple, cela pourrait signifier que les décisions politiques fondées sur la recherche sont incorrectes, ajoute-t-elle.

Mais Arvind Narayanan, informaticien à l'Université de Princeton dans le New Jersey, déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés ». Il ajoute que le fait que les résumés générés puissent être détectés n'est « pas pertinent ». « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important », dit-il.

Irene Solaiman, qui étudie l'impact social de l'IA chez Hugging Face, une société d'IA dont le siège est à New York et à Paris, craint toute dépendance à l'égard de grands modèles de langage pour la pensée scientifique. « Ces modèles sont formés sur des informations passées et le progrès social et scientifique peut souvent provenir d'une pensée, ou d'une ouverture à la pensée, différente du passé », ajoute-t-elle.

Les auteurs suggèrent que ceux qui évaluent les communications scientifiques, telles que les articles de recherche et les actes de conférence, devraient mettre en place des politiques pour éradiquer l'utilisation des textes générés par l'IA. Si les institutions choisissent d'autoriser l'utilisation de la technologie dans certains cas, elles doivent établir des règles claires concernant la divulgation.

Solaiman ajoute que dans les domaines où de fausses informations peuvent mettre en danger la sécurité des personnes, comme la médecine, les revues peuvent avoir à adopter une approche plus rigoureuse pour vérifier que les informations sont exactes.

Narayanan dit que les solutions à ces problèmes ne devraient pas se concentrer sur le chatbot lui-même, « mais plutôt sur les incitations perverses qui conduisent à ce comportement, comme les universités qui effectuent des examens d'embauche et de promotion en comptant les articles sans tenir compte de leur qualité ou de leur impact ».

En attendant, quelques outils sont déjà disponibles pour aider à détecter des textes générés par IA

Détecteur de sortie GPT-2

OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.

Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.

La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».

GLTR (Giant Language model Test Room)

Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.

Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.

GPTZero

Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.

Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.

Filigrane (à venir)

En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.

« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.

Source : prépublication

Et vous ?

Comprenez-vous que les scientifiques n'arrivent pas toujours à faire la différence entre les résumés générés par l'IA et les résumés originaux ?
Leur taux d'erreur vous semble acceptable ? Pourquoi ?
Quelles implications possibles si les scientifiques n'y arrivent pas à tous les coups ?
Que pensez-vous des propos d'Arvind Narayanan qui déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés », précisant que le fait que les résumés générés puissent être détectés ou non n'est « pas pertinent » puisque « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important » ?

Voir aussi :

Lyon*: ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs. « Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs »
CNET publie discrètement des articles entiers générés par l'IA et l'indique sur un descriptif déroulant, puis se ravise suite aux réactions
Une application de santé mentale critiquée pour avoir utilisé l'IA chatGPT pour prodiguer des conseils à 4000 utilisateurs, ces derniers ont donné une note élevée aux réponses de l'IA

[eric44000]

Comprenez-vous que les scientifiques n'arrivent pas toujours à faire la différence entre les résumés générés par l'IA et les résumés originaux ?
Leur taux d'erreur vous semble acceptable ? Pourquoi ?

La relecture n'est pas exempte de reproche. Bien souvent les articles sont pointus et hyperspécialisée et le relecteur ne peut pas tout vérifier (expérience de labo...). Sans faute grossière il est difficile de traquer le vrai du faux, texte généré ou pas. D'autant que pour celui qui serait tenté par ChatGPT, il les corrigerait de lui-même avant relecture. Le taux d'identification de résumés générés par l'IA de 68% serait alors beaucoup plus faible.

Quelles implications possibles si les scientifiques n'y arrivent pas à tous les coups ?

Le scandale. Une fois l'article publiée, tous les chercheurs qui s'intéressent au sujet peuvent confirmer ou infirmer. C'est ce qui s'est passé avec l'étude du Lancet sur l’hydroxychloroquine. Peu de temps a suffit pour que cette revue prestigieuse l'ait retiré.

Que pensez-vous des propos d'Arvind Narayanan qui déclare : « Il est peu probable qu'un scientifique sérieux utilise ChatGPT pour générer des résumés », précisant que le fait que les résumés générés puissent être détectés ou non n'est « pas pertinent » puisque « La question est de savoir si l'outil peut générer un résumé précis et convaincant. Ce n'est pas possible, et donc l'avantage d'utiliser ChatGPT est minuscule, et l'inconvénient est important » ?

En effet, le chercheur a tout a perdre. D'abord parce qu'il n'a besoin de rien d'autre que du résultat de ses recherches. S'il envoie un article qu'il ne maitrise du bout des doigt, il peut s'y glisser une erreur (fatale pour sa réputation). Sur le site de ChatGPT, il est écrit à chaque utilisation que le système peut parfois générer des informations incorrectes ou trompeuses. Avertissement pour l'utilisateur moyen, simple évidence pour un chercheur en IA.

[marsupial]

Dans la recherche scientifique, ChatGPT peut être utilisé pour automatiser certaines tâches de traitement de la langue liées aux données scientifiques, telles que la classification de documents, l'extraction de données, la génération de résumés et l'analyse de sentiments. Il peut également être utilisé pour améliorer la recherche en génération automatique de thèses, de publications scientifiques et de rapports de recherche. Il peut également être utilisé pour explorer de nouvelles idées scientifiques en générant automatiquement des hypothèses ou des expériences à partir de données existantes.

En résumé, comme dit par OpenAI, il s'agit d'un assistant qui peut aider dans certaines limites. Mais nullement être définitif dans son "jugement" restant dévolu à l'être humain. Et surtout les données indispensables au fonctionnement proviennent de recherches scientifiques effectuées par l'homme.

[Bill Fassinou]

La version professionnelle de ChatGPT est maintenant disponible et coûte 42 dollars par mois
mais beaucoup critiquent ce prix et le jugent "trop élevé pour les utilisateurs occasionnels"

Certains utilisateurs de ChatGPT ont signalé avoir obtenu un accès anticipé à "ChatGPT Professional", la version premium du chatbot d'IA d'OpenAI, à 42 dollars par mois. Toutefois, aucune annonce officielle n'a encore été faite, ce qui signifie qu'il pourrait toujours s'agir d'une expérimentation et ce prix n'est pas définitif. Selon les captures d'écran partagées par les utilisateurs ayant obtenu un accès anticipé, à ce prix, vous bénéficiez d'une vitesse de réponse plus rapide, d'un accès plus fiable (car ChatGPT est souvent en panne en raison du nombre important de demandes sur le réseau) et d'un "accès prioritaire aux nouvelles fonctionnalités".

Au début du mois, OpenAI a déclaré qu'elle explorait des moyens de monétiser son chatbot d'IA ChatGPT, qui se distingue par sa capacité remarquable à fournir des réponses sophistiquées aux questions complexes et parfois ésotériques des utilisateurs. OpenAI a donné aux utilisateurs la possibilité de s'inscrire à une liste d'attente pour un accès anticipé à "ChatGPT Professional", le nom initial de la version professionnelle. Le laboratoire d'IA basé à San Francisco a en outre demandé des avis sur les prix possibles, notamment des prix élevés et bas par mois auxquels un achat peut être envisagé. Il semble que ce niveau professionnel est désormais prêt.

Ce week-end, certains utilisateurs ont rapporté avoir obtenu l'accès à une version professionnelle qui coûte 42 dollars par mois. OpenAI n'a pas confirmé la rumeur et n'a fait aucune annonce à propos d'un tel lancement. Mais en attendant, n'oubliez pas que les fonctionnalités et les prix pourraient changer avant le lancement réel de ChatGPT Professional. Comme OpenAI l'a dit plus tôt ce mois-ci : « veuillez garder à l'esprit qu'il s'agit d'un programme expérimental précoce qui est susceptible d'être modifié, et nous ne rendons pas l'accès à la version payante généralement disponible pour le moment ». Cela étant que vous apportent ces 42 dollars par mois ?

Here's how ChatGPT Pro works! A lot of users were asking me for proof, so I decided to make a video. pic.twitter.com/QYNn3pRnxI

— Zahid Khawaja (@chillzaza_) January 21, 2023

Les captures d'écran partagées par les premiers participant au test de la version professionnelle de ChatGPT montrent que vous bénéficiez d'une vitesse de réponse plus rapide, d'un accès plus fiable et d'un accès prioritaire aux nouvelles fonctionnalités du chatbot d'IA. Zahid Khawaja, un développeur qui travaille sur des projets d'IA, a partagé une vidéo du niveau professionnel fonctionnant à la fois sur ordinateur et sur mobile (ainsi qu'une capture d'écran de son paiement à OpenAI comme preuve). Comme le note Khawaja, le système répond définitivement plus vite que la version gratuite, qui est actuellement en proie à un certain nombre de problèmes.

En effet, ChatGPT a été consulté des millions de fois depuis son lancement à la fin du mois de novembre, les internautes se précipitant pour profiter de la capacité du chatbot à répondre aux questions, parfois avec une grande précision. En raison du nombre sans cesse croissant d'utilisateurs, ChatGPT tombe souvent en panne. Pour faire face à la demande, OpenAI dit avoir été obligé de mettre en place des limites d'utilisation, d'introduire un système de file d'attente pendant les périodes d'affluence et d'autres méthodes pour minimiser la demande. Un message à l'écran demandant aux internautes de patienter en attendant la mise à l'échelle du système.

« Nous faisons face à une demande exceptionnellement élevée. Veuillez patienter pendant que nous travaillons à la mise à l'échelle de nos systèmes ». OpenAI estime que l'enthousiasme suscité par le chatbot n'a pas cessé de croître depuis son lancement fin novembre. En raison de cela, mais aussi à cause du fait que la société doit générer des revenus pour assurer un retour sur investissement aux investisseurs, OpenAI entend lancer une version professionnelle payante de son chatbot d'IA. Cela dit, la question la plus épineuse est celle du coût. Sur le Discord officiel de ChatGPT, de nombreux utilisateurs ont exprimé leur colère et leur déception.

Pour eux, "42 dollars est certainement un coût trop élevé pour une grande partie des utilisateurs de ChatGPT". « Si je gagnais de l'argent, je pourrais justifier les 42 $ par mois, mais dans mon pays, cela représente un bon pourcentage du salaire minimum », a déclaré un utilisateur. Un autre utilisateur a écrit : « je voulais vraiment payer la version professionnelle, mais 42 dollars c'est juste trop ». Un troisième a déclaré : « 42 $, ce n'est pas trop pour les gens qui sont de gros utilisateurs et qui souhaitent devenir 'surhumains' avec l'aide de l'IA. Mais ce sera trop pour un trop grand nombre ». Tous jugent le prix de ChatGPT Professional trop élevé.

Comme le note le dernier commentateur, il est clair que le jugement des utilisateurs sur le prix dépendra de leur besoin du service. Il y a eu beaucoup de témoignages anecdotiques de personnes utilisant ChatGPT pour accélérer leur travail, et pour ces personnes, 42 $ par mois est probablement une dépense raisonnable comme tout autre abonnement à un logiciel. Les entreprises utilisant ChatGPT pourraient également se permettre de payer cette somme. Cependant, les utilisateurs occasionnels de ChatGPT devront espérer que la version gratuite reste en place et conserve la parité des fonctionnalités (plus ou moins) avec la version professionnelle.

New ChatGPT pricing! pic.twitter.com/j7cGtcDSSn

— Zahid Khawaja (@chillzaza_) January 21, 2023

En fin de compte, même un petit prix sera un filtre efficace pour voir à quel point ChatGPT est vraiment utile, et étant donné le manque de services comparables, 42 $ est probablement une première tentative spéculative de tarification de la part d'OpenAI. Par ailleurs, les analystes prévoient que le marché des chatbots d'IA devrait exploser cette année. Non seulement des systèmes rivaux sont en cours de développement (comme Claude, une IA construite par d'anciens membres de l'équipe d'OpenAI, mais qui n'est actuellement disponible qu'en version bêta fermée), mais Microsoft prévoit également d'intégrer ChatGPT à Bing et à sa suite bureautique.

Google s'apprêterait à lancer de son propre produit de recherche amélioré par le chat dans le courant de l'année. L'outil d'IA de Google pourrait se baser sur le modèle de langage Sparrow de sa société sœur DeepMind. Présenté comme une potentielle réponse de Google à ChatGPT, le chatbot de DeepMind promet d'être un assistant d'IA plus sûr et plus avancé que son rival. Dévoilé l'année dernière, Sparrow a été décrit par DeepMind comme un "agent conversationnel utile qui réduit le risque de réponses toxiques et inappropriées". ChatGPT a suscité l'intérêt des premiers utilisateurs, mais il devrait bientôt faire face à un grand nombre de concurrents.

En attendant la disponibilité générale des chatbots Sparrow de Google et Claude d'Anthropic, il existe des alternatives à ChatGPT vers lesquelles les internautes peuvent se tourner. D'ailleurs, en posant la question à ChatGPT, il dresse lui-même une liste de certains de ses concurrents directs, utilisables gratuitement. Il cite notamment les systèmes d'IA tels que T5, Albert et BERT développés par Google. GPT-2 - le prédécesseur de GPT-3 et GPT-3.5, le modèle de langage qui sous-tend ChatGPT - est aussi une alternative. Il y a Playground d'OpenAI qui se base sur la même technologie que ChatGPT pour répondre aux questions, mais sans le format chatbot.

En outre, vous pouvez vous tourner vers Writier pour générer du texte à partir de votre style d'écriture et DeepL pour traduire du texte dans plusieurs langues. Enfin, pour générer du code, GitHub Copilot peut être également une alternative à ChatGPT.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du prix potentiel de ChatGPT Professional ? Est-il exagéré ?
Seriez-vous prêt à payer 42 $ par mois pour accéder à ChatGPT Professional ? Pourquoi ?

Voir aussi

ChatGPT pourrait bientôt commencer à vous faire payer ses compétences en matière d'IA, OpenAI annonce qu'il travaille sur ChatGPT Professional, une version premium de son chatbot viral

DeepMind, la filiale de Google spécialisée dans l'IA, annonce qu'elle lancera bientôt un concurrent de ChatGPT, et affirme que son système est plus avancé et réduit le risque de réponses toxiques

Anthropic, une startup fondée par d'anciens employés d'OpenAI, dévoile un chatbot d'IA appelé Claude pour concurrencer ChatGPT, il serait bon pour faire des blagues, mais mauvais en programmation

Le PDG de Microsoft affirme que le partenariat avec OpenAI permettra aux entreprises d'accéder à des outils tels que ChatGPT dans les courriers et les feuilles de calcul sur le lieu de travail

[eric44000]

ChatGPT, qui se distingue par sa capacité remarquable à fournir des réponses sophistiquées aux questions complexes [...] les internautes se précipitant pour profiter de la capacité du chatbot à répondre aux questions, parfois avec une grande précision.

En général, quand les questions sont pointues, ChatGPT reste évasif ou même invente une réponse pédante et fausse. Pour en tirer la substantifique moelle il faut le contextualiser, ce qui peut représenter un pipeline assez long parfois.

En outre, vous pouvez vous tourner vers Writier pour générer du texte à partir de votre style d'écriture et DeepL pour traduire du texte dans plusieurs langues. Enfin, pour générer du code, GitHub Copilot peut être également une alternative à ChatGPT.

L'intérêt de ChatGPT est qu'il est généraliste (ou multi-spécialisé plutôt). Les IA qui sont bons pour traduire, jouer aux échecs, au go... sont dépassées. ChatGPT les remplace tous. On peut modéliser mathématiquement un problème, demander une réponse philosophique selon tel philosophe...

Que pensez-vous du prix potentiel de ChatGPT Professional ? Est-il exagéré ?

Pas facile de monétiser ChatGPT. Faire payer au mois, à l'usage, selon le pays (taux de change et niveau de vie), entreprises/particulier... ?

[Bill Fassinou]

Microsoft annonce un nouvel investissement de plusieurs milliards de dollars dans OpenAI, le créateur de ChatGPT
afin d'accélérer les percées dans le domaine de l'IA

Microsoft a annoncé lundi un nouvel investissement de plusieurs milliards de dollars dans OpenAI, renforçant ainsi ses liens avec la startup à l'origine de ChatGPT, l'IA de génération de texte à succès, préparant le terrain pour une concurrence accrue avec son rival Google. La firme de Redmond a refusé de dévoiler le montant exact de ce nouvel investissement, mais la rumeur circule depuis quelques semaines que ce montant pourrait avoisiner les 10 milliards de dollars. OpenAI tait également le montant de la transaction. Microsoft estime que le partenariat renouvelé accélérera les percées dans l'IA et aidera les deux entreprises à commercialiser des technologies avancées à l'avenir.

« Nous avons formé notre partenariat avec OpenAI autour d'une ambition commune de faire progresser de manière responsable la recherche de pointe en intelligence artificielle et de la démocratiser en tant que nouvelle plateforme technologique », a déclaré le PDG de Microsoft, Satya Nadella, dans un billet de blogue. Parallèlement, OpenAI a annoncé lundi qu'il avait reçu un "investissement pluriannuel de plusieurs milliards de dollars" de la part de Microsoft. « Microsoft partage notre vision et nos valeurs, et notre partenariat est essentiel à notre progression », a écrit OpenAI, la startup d'IA cofondée par Elon Musk et l'investisseur Sam Altman.

Lancée en 2015, OpenAI est à l'origine de nombreuses technologies clés qui ont fait de 2022 l'année où l'IA générative s'est généralisée, notamment l'IA de synthèses d'images DALL-E, le chatbot ChatGPT (basé sur le modèle de langage par GPT-3.5) et GitHub Copilot pour l'aide à la programmation. ChatGPT, en particulier, a fait que Google aurait "paniqué" pour élaborer une réponse, tandis que Microsoft aurait travaillé à l'intégration de la technologie du chatbot d'IA dans son moteur de recherche Bing. Microsoft, qui a récemment annoncé une révolution dans le domaine de l'IA, s'appuie sur le pari qu'elle a fait sur OpenAI il y a près de quatre ans.

Le nouvel accord marque la troisième phase du partenariat entre les deux entreprises, après les investissements précédents de Microsoft en 2019 et 2021. En juillet 2019, Microsoft a soutenu OpenAI avec un milliard de dollars, et l'investissement a fait de Microsoft le fournisseur "exclusif" de services de cloud computing à OpenAI. Microsoft a déclaré lundi qu'Azure continuera à servir de fournisseur exclusif d'OpenAI. En outre, Microsoft a récemment lancé Azure OpenAI dans le but de permettre aux entreprises du monde entier d'accéder à des outils tels que ChatGPT dans les courriels, les diaporamas et les feuilles de calcul sur le lieu de travail.

« Avec le service Azure OpenAI désormais disponible de manière générale, davantage d'entreprises peuvent demander à accéder aux modèles d'IA les plus avancés au monde », explique Microsoft. S'exprimant lors d'un panel du Wall Street Journal (WSJ) au Forum économique mondial (FEM) de Davos, en Suisse, la semaine dernière, le PDG de Microsoft, Satya Nadella, a déclaré que l'entreprise prévoyait bientôt de commercialiser largement des outils d'IA dans l'ensemble de ses produits. « Chaque produit de Microsoft aura certaines des mêmes capacités d'IA pour transformer complètement le produit », a déclaré Nadella, selon un compte rendu du WSJ.

Microsoft a également construit un superordinateur pour alimenter la technologie d'OpenAI, entre autres formes de soutien. Selon le billet de blogue de Microsoft, ce nouvel investissement comprend le développement de superordinateurs supplémentaires et le soutien à OpenAI en matière de cloud computing. Les deux entreprises seront en mesure de commercialiser les technologies d'IA qui en résulteront. Bien que les deux entreprises n'aient pas officiellement annoncé un montant en dollars sur l'accord, la nouvelle fait suite aux rumeurs d'un investissement de 10 milliards de dollars qui ont émergé il y a deux semaines.

Selon les sources, l'investissement de Microsoft ferait partie d'un accord complexe dans lequel l'entreprise obtiendrait 75 % des bénéfices d'OpenAI jusqu'à ce que la firme de Redmond récupère ses fonds. (Il n'est pas clair si l'argent qu'OpenAI dépense sur Azure, la branche de cloud computing de Microsoft compterait dans le calcul de son compte.) Comme l'a rapporté le média d'information Semafor au début du mois, une fois ce seuil atteint, l'on devrait repasser à une structure reflétant la propriété d'OpenAI, avec une participation de 49 % pour Microsoft, 49 % pour les autres investisseurs et 2 % pour la société mère à but non lucratif d'OpenAI.

OpenAI est classé par les chercheurs en IA comme l'un des trois meilleures startups d'IA au monde, et l'entreprise a développé des logiciels d'IA capables de battre les humains à des jeux vidéo tels que Dota 2. Cependant, elle a surtout attiré l'attention sur son générateur de texte d'IA GPT-3 et son IA de génération d'images Dall-E. ChatGPT génère automatiquement du texte à partir d'invites écrites, d'une manière beaucoup plus avancée et créative que les chatbots du passé. Le logiciel a fait ses débuts fin novembre et s'est rapidement transformé en une sensation virale, certains l'ayant même comparé au lancement de l'iPhone par Apple en 2007.

Bien que Google dispose de capacités d'IA similaires, ChatGPT a attiré l'attention des dirigeants de Google, qui ont déclaré lors d'une récente réunion générale que sa réputation pourrait en pâtir s'il allait trop vite en matière de technologie de chat IA. Parmi les fondateurs d'OpenAI figurent Sam Altman, Elon Musk, PDG de Tesla et SpaceX, Greg Brockman, Ilya Sutskever, Wojciech Zaremba et John Schulman. Le groupe s'est engagé à investir plus d'un milliard de dollars dans l'entreprise lors de son lancement. Musk a démissionné du conseil d'administration en février 2018, mais est resté un donateur.

Sources : Microsoft, OpenAI

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

Microsoft serait en pourparlers pour investir 10 milliards de dollars dans OpenAI, le propriétaire de ChatGPT, ce qui devrait donner à la firme de Redmond un accès plus étroit aux produits d'OpenAI

Le PDG de Microsoft affirme que le partenariat avec OpenAI permettra aux entreprises d'accéder à des outils tels que ChatGPT dans les courriers et les feuilles de calcul sur le lieu de travail

La startup OpenAI en pourparlers pour vendre des actions dans le cadre d'une offre publique d'achat, susceptible de faire passer sa valorisation à 29 milliards de dollars

[marsupial]

Que pensez-vous de l'approche de DeepMind ?

Ils sont en retard et Sparrow ne sait pas coder apparemment.

[Bill Fassinou]

Le service antiplagiat Turnitin affirme avoir mis au point un outil pour détecter les rédactions écrites par ChatGPT
mais les critiques sont sceptiques quant à l'efficacité du système

Turnitin, connu pour son logiciel antiplagiat utilisé par des dizaines de milliers d'universités et d'écoles dans le monde, affirme avoir mis au point un outil permettant de détecter les textes générés par les systèmes d'IA tels que ChatGPT. L'entreprise ajoute que son logiciel détecte automatiquement les travaux rédigés par une IA, allant même jusqu'à montrer quelles parties d'un essai ont été rédigées par l'IA et par un humain. L'outil de Turnitin arrive à un moment où le débat sur la question de savoir s'il faut autoriser ou non l'utilisation des systèmes tels que ChatGPT en milieu scolaire s'intensifie. Les enseignants devraient pouvoir disposer de cet outil dans les mois à venir.

Les grands modèles de langage ont gagné en popularité depuis le lancement commercial de GPT-3 d'OpenAI en 2020. Aujourd'hui, de nombreux acteurs du secteur ont construit leurs propres systèmes rivaux, donnant le coup d'envoi à une nouvelle vague de startups développant des IA génératives. Ces modèles fonctionnent comme des chatbots à usage général. Les utilisateurs tapent des instructions, et ils répondent par des passages de texte cohérents et convaincants. Les étudiants se tournent de plus en plus vers ces IA pour effectuer leurs travaux, tandis que les enseignants commencent seulement à considérer leur impact et leur rôle dans l'éducation.

Les avis sont partagés. Certains pensent que la technologie peut affiner les compétences rédactionnelles, tandis que d'autres la considèrent comme une tricherie. Des sources ont rapporté au cours des dernières semaines que des écoles de Californie, de New York, de Virginie et de l'Alabama ont banni l'utilisation des outils d'IA tels que ChatGPT et ont bloqué l'accès des étudiants sur les réseaux publics. Les départements de l'éducation ne savent pas exactement quelles politiques devraient être introduites pour réglementer l'utilisation des systèmes d'IA de génération de texte. En outre, toutes les règles seraient de toute façon difficiles à appliquer.

Cela en raison du fait qu'il n'existe actuellement aucun moyen efficace de détecter les textes écrits par des IA. Au début du mois, un étudiant a proposé une application d'analyse de texte qui détecte s'il a été rédigé par une IA, mais l'outil a rapidement fait preuve de certaines insuffisances. Et bien qu'OpenAI ne partage pas l'avis selon lequel ChatGPT pourrait accentuer la tricherie dans les écoles, la société a également annoncé au début du mois qu'elle travaille à la mise en place d'un logiciel pour détecter le texte généré par son chatbot d'IA. L'outil de détection d'OpenAI n'est pas encore prêt, mais le service américain Turnitin en propose désormais un.

Turnitin a récemment mis en ligne une démo de sa technologie. Dedans, Turnitin a montré le nombre de phrases dans certains échantillons de dissertations qui ont été écrites par une IA (24 sur 24 dans un cas) et a mis en évidence le texte dans différentes nuances pour indiquer les parties écrites par l'IA et les parties partiellement écrites par l'IA. Annie Chechitelli, directrice des produits chez Turnitin, a déclaré que l'entreprise construit discrètement son logiciel de détection depuis des années, notamment depuis la sortie de GPT-3 en 2020. GPT-3 est un grand modèle de langage développé par OpenAI, avec environ 175 milliards de paramètres.

L'outil est toujours en développement, mais Turnitin espère lancer son logiciel au cours du premier semestre de cette année. « Il s'agira d'une détection assez basique au début, puis nous lancerons des versions rapides ultérieures qui créeront un flux de travail plus exploitable pour les enseignants », a déclaré Chechitelli. Le plan est de rendre le prototype gratuit pour ses clients existants à mesure que la société recueille des données et des commentaires des utilisateurs. La ruée pour donner aux éducateurs la capacité d'identifier les textes écrits par des humains et des ordinateurs s'est intensifiée avec le lancement de ChatGPT fin novembre 2022.

« Au début, nous voulons vraiment aider le secteur et aider les éducateurs à prendre leurs marques et à se sentir plus confiants. Et obtenir le plus d'utilisation possible dès le début ; c'est important pour faire un outil réussi. Plus tard, nous déterminerons comment nous allons le produire », a-t-elle ajouté. Bien que le texte généré par l'IA soit convaincant, il existe des signes révélateurs de l'œuvre d'une IA : elle est souvent fade et sans originalité ; des outils comme ChatGPT régurgitent des idées et des points de vue existants et n'ont pas de voix distincte. Les humains peuvent repérer les textes générés par l'IA, mais cela devient de plus en plus difficile.

Toutefois, les machines sont bien meilleures pour cela. Eric Wang, vice-président de l'IA chez Turnitin, note que les ordinateurs peuvent détecter des modèles évidents dans les textes produits par l'IA. « Même si nous avons l'impression que cela ressemble à de l'œuvre d'un humain, [les machines écrivent en utilisant] un mécanisme fondamentalement différent. Elles choisissent le mot le plus probable à l'endroit le plus probable, et c'est une façon très différente de construire le langage par rapport à vous et moi », a-t-il déclaré à The Register. L'outil de Turnitin semble baser son fonctionnement sur la façon dont les humains lisent et écrivent les textes.

Wang explique : « nous lisons en faisant des allers-retours avec nos yeux sans même le savoir, ou en papillonnant entre les mots, entre les paragraphes, et parfois entre les pages. Nous avons aussi tendance à écrire avec un état d'esprit futur. Je peux être en train d'écrire, et je pense à quelque chose, un paragraphe, une phrase, un chapitre ; la fin de la rédaction est liée dans mon esprit à la phrase que je suis en train d'écrire, même si les phrases entre maintenant et alors n'ont pas encore été écrites ». D'après Wang, ChatGPT, en revanche, ne dispose pas de ce type de flexibilité et ne peut générer de nouveaux mots qu'à partir de phrases précédentes.

Le détecteur de Turnitin fonctionne en prédisant quels mots l'IA est plus susceptible de générer dans un extrait de texte donné. « C'est très fade sur le plan statistique. Les humains n'ont pas tendance à utiliser systématiquement un mot à forte probabilité dans des endroits à forte probabilité, mais GPT-3 le fait, et notre détecteur s'en aperçoit vraiment », a-t-il déclaré. Wang a déclaré que le détecteur est basé sur la même architecture que GPT-3 et l'a décrit comme une version miniature du modèle. Selon lui, à bien des égards, il s'agit de combattre le feu par le feu. Il y a un composant de détection attaché au lieu d'un composant de génération.

« Ce qu'il fait, c'est qu'il lit le langage exactement de la même manière que GPT-3, mais au lieu de cracher plus de langage, il nous donne une prédiction sur le fait que ce passage ressemble [à] GPT-3 », a-t-il expliqué. Il rappelle que l'outil n'a pas été conçu dans le but de faire interdire ChatGPT dans les universités. Bien qu'il puisse dissuader les étudiants d'utiliser ce type d'outils, Turnitin pense que son détecteur permettra plutôt aux enseignants et aux étudiants de se faire confiance et de faire confiance à la technologie. « Je pense qu'il y a un changement majeur dans la façon dont nous créons du contenu et la façon dont nous travaillons », a-t-il déclaré.

Par ailleurs, Turnitin cherche toujours la meilleure façon de présenter les résultats de son détecteur aux enseignants qui utilisent l'outil. « C'est un défi difficile à relever. Comment dire à un instructeur, dans un espace réduit, ce qu'il veut voir ? Il peut vouloir voir un pourcentage indiquant la proportion d'une rédaction qui semble avoir été écrite par l'IA, ou des niveaux de confiance indiquant si la confiance dans la prédiction du détecteur est faible, moyenne ou élevée pour évaluer la précision », a déclaré Chechitelli. En attendant l'outil de détection de Turnitin et celui d'OpenAI, les écoles continuent à signaler les cas de tricherie avec ChatGPT.

Cependant, certaines personnes pensent que les outils pour détecter les textes générés par les systèmes d'IA pourraient être "facilement" contourner en faisant passer un texte donné par différents outils de reformulation de texte. Selon elles, cela devrait déjouer, par exemple, les principes sur lesquels est basé le fonctionnement de l'outil de Turnitin.

Source : Turnitin

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la description faite par Turnitin de son outil de détection de texte généré par l'IA ?
Selon vous, l'outil de Turnitin serait-il efficace ? Pensez-vous qu'il pourrait être facilement contourné comme certains l'estiment ?

Voir aussi

OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains

Pour lutter contre le plagiat assisté par IA occasionné par ChatGPT d'OpenAI, un étudiant propose une application d'analyse de texte qui détecte s'il a été rédigé par une IA

Microsoft annonce un nouvel investissement de plusieurs milliards de dollars dans OpenAI, le créateur de ChatGPT, afin d'accélérer les percées dans le domaine de l'IA

CNET suspend la publication d'articles générés par l'IA après une controverse sur la divulgation d'informations, le site n'a pas été transparent sur le fait qu'une IA écrivait certains articles

[Bill Fassinou]

Des utilisateurs de ChatGPT signalent qu'ils peuvent voir l'historique des conversations d'autres personnes dans la barre latérale
ce qui suscite des préoccupations sur la sécurité de l'outil d'IA

De nombreux utilisateurs de ChatGPT ont commencé à signaler lundi que l'historique des conversations d'autres personnes apparaît dans leur compte. Cela signifie que vos récentes requêtes adressées à ChatGPT peuvent avoir été divulguées accidentellement à d'autres utilisateurs, un problème qui pourrait avoir de graves répercussions sur la confidentialité et la sécurité du chatbot d'IA populaire d'OpenAI. Le bogue apparent risque d'exposer les informations personnelles d'un utilisateur si elles ont été saisies dans ChatGPT. OpenAI a déclaré que le problème est en cours d'examen, mais n'a pas indiqué ce qui pourrait être à l'origine de cette divulgation.

Lancé fin novembre 2022, ChatGPT s'est popularisé très rapidement et est aujourd'hui utilisé par plus de 100 millions de personnes dans le monde. Mais ce qui retient le plus l'attention depuis lundi, c'est un problème de sécurité du chatbot qui pourrait avoir des conséquences fâcheuses pour certains utilisateurs. En effet, l'interface utilisateur de ChatGPT comporte une barre latérale qui affiche les conversations passées, visibles uniquement par l'utilisateur qui les a eues. Mais plusieurs utilisateurs ont signalé que ChatGPT leur montrait l'historique d'autres personnes. Les utilisateurs de ChatGPT ont fait valoir qu'il ne s'agissait pas du résultat d'un exploit.

Un utilisateur a signalé qu'il n'était pas en mesure de voir l'ensemble du journal de chat, mais seulement le titre des différents chats. Un utilisateur de Reddit a repéré des conversations menées en chinois. Il a partagé une capture d'écran sur Twitter sur laquelle on peut lire le titre des conversations auxquelles il a eu accès. Mais l'on ignore si certains utilisateurs ont réussi à accéder au contenu des conversations que ChatGPT a partagé avec eux. La plupart des utilisateurs ont toutefois signalé que le chatbot ne leur a pas donné accès au contenu des conversations. Si vous cliquez sur le titre d'une discussion passée, le programme ne parvient pas à la charger.

@OpenAI why are you giving me foreign languages in my chat history side column this morning?

Have you been hacked?#ChatGPT pic.twitter.com/UdhVQxSKzK

— Joseph Hollak (@jhollak) March 20, 2023

Il semble également que, dans d'autres cas, ChatGPT n'affiche que des termes génériques lors de l'affichage d'historiques de chat provenant éventuellement d'anciens utilisateurs, en omettant toute information permettant d'identifier la personne. Ainsi, il n'est pas évident de savoir de quelle personne provient l'historique du chat. Ce bogue apparent suscite des inquiétudes quant à la protection de la vie privée des utilisateurs. Si vous avez saisi des informations personnelles dans l'historique d'un chat, l'erreur pourrait potentiellement faire apparaître ces mêmes informations à un étranger. Pour le moment, aucun rapport n'a fait état d'une telle divulgation.

L'origine du problème reste encore inconnue. Il n'est donc pas clair si ChatGPT faisait réellement apparaître les historiques de chat d'autres profils, ou si le programme inventait simplement les invites passées. Mais OpenAI a signalé une panne de ChatGPT vers 10h du matin (heure de Paris) après que les utilisateurs ont remarqué le problème avec les historiques de chat. L'entreprise n'a pas répondu aux demandes de commentaires, mais a déclaré qu'elle a ouvert une enquête pour déterminer les causes ayant conduit à cette divulgation. Elle fait également l'objet de critiques de la part de certains utilisateurs et des groupes de défense de la vie privée.

Lundi, certains utilisateurs ont également signalé que la page de paiement de ChatGPT Plus pourrait exposer des adresses électroniques appartenant à des utilisateurs aléatoires. Le bogue apparent souligne un risque lié à l'utilisation de ChatGPT : comme tout service Web public, il peut lui aussi faire l'objet d'une violation potentielle des données. La politique de confidentialité d'OpenAI indique qu'elle peut partager "des informations agrégées telles que des statistiques générales sur les utilisateurs avec des tiers, publier ces informations agrégées ou les mettre à la disposition du public". OpenAI affirme que les conversations servent à améliorer le système.

L'entreprise utilise les conversations pour entraîner le système et les conversations sont examinées par des "formateurs d'IA" dans le cadre de ce processus. « Dans le cadre de notre engagement en faveur d'une IA sûre et responsable, nous examinons les conversations pour améliorer nos systèmes et de nous assurer que le contenu est conforme à nos politiques et à nos exigences en matière de sécurité. Veuillez ne pas partager des informations sensibles dans vos conversations », indique la FAQ sur ChatGPT. Cependant, malgré les déclarations de l'entreprise, les experts ont toujours souligné le manque de fiabilité dans l'exactitude des réponses de ChatGPT.

« Je comprends qu'il ne s'agit pas d'un service trivial à mettre à l'échelle et à déployer. Mais malgré le fait que je paie 20 $ par mois pour utiliser ChatGPT de manière fiable, il est l'un des produits les moins fiables et les moins utiles auxquels je suis abonné. C'est essentiellement un jouet, et bien que je sois curieux d'apprendre à l'utiliser efficacement et de comprendre comment il pourrait s'intégrer dans mes flux de travail, je ne peux pas m'empêcher de penser que je leur fais plus de faveurs qu'ils n'en font à moi. C'est un peu comme si ChatGPT Plus était plus un don qu'un produit légitime », peut-on lire dans un commentaire sur Hacker News.

« En plus d'être très peu fiable, l'interface utilisateur et l'expérience globale ne sont pas très bonnes, malgré des exigences très simples. Les choses se cassent tout le temps, les sessions des utilisateurs semblent se briser de manière peu claire, et maintenant je suppose que les gens reçoivent les mauvaises entrées de l'historique. Je veux continuer à l'utiliser pour apprendre, mais je n'aime vraiment pas payer pour un service aussi mal implémenté. Vu qu'il n'y a pas un concurrent de taille, je suppose que nous devons nous en accommoder pour le moment », a ajouté cet utilisateur. Des utilisateurs sont parvenus à exploiter les faiblesses de ChatGPT.

@OpenAI Chat GPT loaded someone else's chat history today. Complete #violation of #privacy #ChatGPT

These chat histories are not mine. pic.twitter.com/i99WuwFtAh

— Varun Giridhara (@iamvarung) March 20, 2023

Une astuce, appelée injection d'invite, permet aux utilisateurs de ChatGPT de lui faire avaliser la transphobie, le racisme et les théories du complot. Ils l'ont également entraîné dans des scénarios de jeux de rôle impliquant la sexualisation d'enfants. D'autres utilisateurs ont réussi à contraindre ChatGPT à leur fournir des informations sur les étapes pour fabriquer des stupéfiants, notamment de la méthamphétamine. Pendant ce temps, des juges utilisent le chatbot d'IA pour prendre des décisions, des startups technologiques utilisent ChatGPT pour les aider à écrire du code, et même le Pentagone utiliserait ChatGPT pour rédiger des communiqués de presse.

Alors qu'OpenAI faisait face à ce problème lundi, Anthropic, une startup fondée par certains de ses anciens employés, a lancé un rival de ChatGPT appelé Claude. Le chatbot Claude est décrit par Anthropic comme un modèle d'IA plus "maniable" et "moins nocif" que ChatGPT. Claude serait moins performant que ChatGPT lorsqu'il s'agit d'écrire du code informatique, mais Anthropic affirme qu'il est supérieur au chatbot d'IA d'OpenAI sur un certain nombre d'aspects important. Il est conçu pour aider les utilisateurs à effectuer des résumés, des recherches, des rédactions collaboratives, etc. Il a également été conçu pour raconter des blagues.

L'entreprise a annoncé que Claude et Claude Instant seront vendus selon deux grilles tarifaires différentes. Claude est un modèle très performant, tandis que Claude Instant est plus léger, moins cher et beaucoup plus rapide. Elle facture l'utilisation par million de caractères entrés et sortis. Alors que GPT-3.5-turbo d'OpenAI est facturé 0,002 $ pour 1 000 tokens (fragments d'un mot), Claude Instant est disponible pour 0,42 $ par million de caractères en entrée et 1,45 $ par million de caractères en sortie. Claude-v1, le plus grand modèle, est proposé à 2,90 dollars par million de caractères en entrée et à 8,60 dollars par million de caractères en sortie.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du problème signalé par les utilisateurs de ChatGPT ?
Comment une telle chose a-t-elle pu se produire ? Quelles sont les implications potentielles ?
Êtes-vous déjà tombé sur l'historique des discussions d'autres personnes dans la barre latérale de votre compte ?

Voir aussi

Anthropic lance Claude, un modèle d'IA décrit comme plus "maniable" et "moins nocif" que ChatGPT d'OpenAI, mais moins performant que ChatGPT dans l'écriture de code informatique

Un "jailbreak" de ChatGPT tente d'obliger le chatbot d'IA d'OpenAI à enfreindre ses propres règles sous peine de mort, l'astuce permet parfois de contourner les filtres de contenu du chatbot

OpenAI lance GPT-4, une IA multimodale que l'entreprise affirme être à la pointe de la technologie, il serait 82 % moins susceptible d'être trompé par une injection d'invite que GPT-3.5

Comment utilisez-vous ChatGPT ? L'outil d'IA développé par OpenAI. Désormais, il est basé sur GPT-4 et disponible pour les abonnés à ChatGPT+

[Gluups]

Et vous ?

Êtes-vous déjà tombé sur l'historique des discussions d'autres personnes dans la barre latérale de votre compte ?

Il est arrivé voici quelques décennies sur le réseau téléphonique d'entendre des conversations de tiers, sans d'ailleurs pouvoir ni les identifier ni leur répondre, à ma connaissance c'est resté quelque chose de très rare.

Reste à savoir si le phénomène va rester rare sur ChatGPT.
Il n'est d'ailleurs pas impossible que le fait de pouvoir facilement faire des citations précises change l'impact potentiel du phénomène.

[Mathis Lucas]

OpenAI met discrètement hors service son outil de détection des contenus générés par l'IA en raison d'un faible taux de précision
l'échec d'OpenAI suscite des inquiétudes dans le milieu scolaire

OpenAI, créateur du chatbot populaire ChatGPT, a discrètement supprimé son outil de détection des contenus générés par l'IA moins de six mois après l'avoir lancé. L'outil, baptisé "AI Classifier", était censé sauver le monde - ou du moins, préserver la santé mentale des enseignants et autres professionnels - en détectant les contenus générés par l'IA. Ce retrait signifie que l'outil a échoué et l'entreprise a annoncé l'avoir débranché en raison d'un faible taux de précision. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA très performants à mettre en place des mesures de protection.

OpenAI a publié l'outil AI Classifier en février dernier pour identifier les textes écrits par l'IA. Il s'agit d'un modèle GPT (Generative Pre-trained Transformer) affiné qui prédit la probabilité qu'un contenu textuel ait été généré par l'IA. Le modèle peut être utilisé pour détecter les contenus générés par les chatbots tels que ChatGPT et le plagiat par l'IA. Mais depuis son lancement, l'outil n'a jamais fait état d'une grande fiabilité, car selon les propres déclarations d'OpenAI, il est très difficile de savoir si un texte est généré par un humain ou par une machine. Lors du lancement, OpenAI a annoncé que l'outil pouvait atteindre un taux de précision de 26 %.

« Notre classificateur n'est pas totalement fiable. Lors de nos évaluations sur un ensemble de défis de textes en anglais, notre classificateur identifie correctement 26 % des textes écrits par l'IA (vrais positifs) comme étant probablement écrits par l'IA, tout en étiquetant incorrectement des textes écrits par des humains comme étant écrits par l'IA dans 9 % des cas (faux positifs). La fiabilité de notre classificateur s'améliore généralement à mesure que la longueur du texte d'entrée augmente », a déclaré OpenAI lors du lancement de son outil en février. Cinq mois après, l'entreprise n'a pas réussi à faire mieux et a finalement décidé de débrancher l'outil.

Cela a été fait discrètement la semaine dernière et l'entreprise a confirmé que la raison était le faible taux de précision. La notification ne figure pas dans une nouvelle annonce, mais dans une note ajoutée à l'article de blogue qui annonçait l'outil pour la première fois. Le lien vers le classificateur d'OpenAI n'est plus disponible. « Nous nous efforçons d'intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l'IA », explique OpenAI.

OpenAI a déclaré que les limites du classificateur d'IA comprennent le manque de fiabilité sur les textes de moins de 1 000 caractères, l'étiquetage incorrect de textes écrits par l'homme comme étant généré par l'IA, et les classificateurs basés sur des réseaux neuronaux qui donnent de mauvais résultats en dehors de leurs données d'entraînement. Selon les analystes, l'échec d'OpenAI à détecter avec une précision suffisante les textes générés par son propre chatbot d'IA laisse entrevoir l'ampleur du désastre que sera le Web dans un avenir très proche. Mais les problèmes vont bien au-delà du Web, s'étendant notamment à l'éducation et à la finance.

L'éducation est un secteur qui s'intéresse de près à la détection précise du contenu généré par l'IA. Depuis le lancement de ChatGPT en novembre, les éducateurs ont tiré la sonnette d'alarme lorsque des étudiants ont commencé à utiliser le chatbot pour rédiger leurs dissertations. « Nous reconnaissons que l'identification du texte écrit par l'IA a été un point de discussion important parmi les éducateurs, et il est tout aussi important de reconnaître les limites et les impacts des classificateurs de texte générés par l'IA dans la salle de classe », a déclaré OpenAI, ajoutant que l'entreprise continuera à élargir la portée au fur et à mesure qu'elle apprend.

De nouvelles plateformes permettant l'utilisation d'une IA de plus en plus sophistiquée sont mises en ligne presque quotidiennement et ont donné naissance à une industrie artisanale de détecteurs d'IA. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA générative à mettre en place des mesures de protection. Elle survient en outre au moment où les éducateurs se préparent à la première année scolaire complète avec des outils tels que ChatGPT accessibles au public. Pour l'instant, les écoles et les enseignants semblent livrés à eux-mêmes et manquent de solution.

Ainsi, certaines écoles ont décidé de bannir ChatGPT et les outils d'IA similaires. En France, par exemple, le Directeur de la formation et de la recherche de Sciences Po a interdit aux étudiants d'utiliser ChatGPT ou des outils similaires dans le cadre de leurs études. Le recours aux chatbots d'IA est autorisé uniquement dans le cadre d'un usage pédagogique encadré par un enseignant. Aux États-Unis, les écoles publiques de New York et de Seattle ont interdit aux élèves et aux enseignants d'utiliser ChatGPT sur les réseaux et les appareils du district. Des enseignants ont réagi avec une rapidité remarquable en repensant leurs devoirs en réponse à ChatGPT.

Néanmoins, l'on ignore à quel point l'utilisation de ChatGPT est répandue parmi les élèves et à quel point il peut réellement nuire à l'apprentissage. Un autre domaine très impacté par ChatGPT est la recherche scientifique. Seulement quelques semaines après le lancement de ChatGPT, plusieurs rapports ont signalé que les résumés d'articles générés par le chatbot parvenaient à duper des scientifiques. Ces derniers n'étaient pas en mesure de faire la différence entre les résumés générés par l'IA et les résumés originaux. « Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni.

En raison de cela, Springer Nature, le plus grand éditeur universitaire du monde, a annoncé début janvier que ChatGPT - ou tout outil similaire de génération de texte - ne peut pas être crédité en tant qu'auteur dans les articles publiés dans ses revues. L'éditeur ne voit aucun problème au fait que l'IA soit utilisée pour aider à rédiger des recherches, mais elle exige que son utilisation soit correctement divulguée. Cette annonce de Springer Nature a ravivé le débat public sur la question de savoir si l'on peut attribuer la paternité d'une œuvre à une IA. Beaucoup s'opposent à cette idée, affirmant que l'IA générative ne fait que plagier les œuvres humaines.

Bien qu'OpenAI puisse mettre son outil au placard pour l'instant, il existe quelques alternatives sur le marché. D'autres entreprises, telles que Turnitin, ont également mis en place des outils d'IA qui sont censés aider les enseignants à détecter les travaux générés par l'IA. Edward Tuan, étudiant à Princeton, a quant à lui présenté un outil de détection similaire, baptisé ZeroGPT. D'autres sont en développement, mais l'échec d'OpenAI démontre la difficulté de la tâche.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'abandon de l'outil AI Classifier par OpenAI ?
Que représente cette nouvelle pour l'éducation et les autres secteurs concernés ?

Voir aussi

L'éditeur du chatbot ChatGPT lance un outil « imparfait » pour détecter les textes générés par cette IA et ainsi apporter réponse aux préoccupations des écoles en matière de plagiat

Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques, ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

Le plus grand éditeur universitaire du monde affirme que ChatGPT ne peut pas être crédité en tant qu'auteur, il peut servir pour rédiger des recherches, mais sa contribution doit être divulguée

Le Directeur de la formation et de la recherche de Sciences Po interdit aux étudiants d'utiliser le chatbot ChatGPT à l'exception d'un usage pédagogique encadré par un enseignant

[Stéphane le calme]

Des étudiants néerlandais se servent de ChatGPT pour faire leurs devoirs sans se faire prendre,
au grand désarroi des enseignants qui rappellent qu'il est essentiel que les élèves écrivent leurs propres textes

Aux Pays-Bas, des élèves utilisent le générateur de texte AI avancé ChatGPT pour faire toutes sortes de devoirs sans que leurs enseignants ne s'en aperçoivent, rapporte NOS après avoir parlé aux élèves. Plus de 250 ont déclaré utiliser ChatGPT pour les devoirs scolaires et, dans presque tous les cas, ils ne se sont pas fait prendre. Les étudiants utilisent ChatGPT pour répondre à des parties de questions, rédiger des paragraphes, rédiger des essais entiers, supprimer les fautes d'orthographe de leurs textes ou même proposer des idées. Ils l'utilisent souvent pour les devoirs de néerlandais.

Un étudiant du groupe 3 de HAVO a déclaré à NOS qu'il utilise l'outil tout le temps : « Je l'utilise pour faire rapidement mes devoirs », a-t-il reconnu. « Il est souvent dit dans un devoir : racontez-le dans vos propres mots. Alors un enseignant ne peut vraiment pas vérifier ce que sont mes propres mots ».

Un autre étudiant utilise ChatGPT pour copier les devoirs de ses amis. Leurs devoirs sont mis en entrée et ChatGPT génère une version entièrement nouvelle avec exactement le même contenu mais dans des mots différents.

Un étudiant du groupe quatre de VWO a déclaré au diffuseur qu'il avait demandé à ChatGPT de faire une analyse de poésie : « Selon le libellé de l'exercice, je devais donner mon avis. ChatGPT n'est pas encore très bon dans ce domaine. J'ai du réécrire ce qu'il m'a proposé. Mais la partie théorique était bonne. Je pourrais même la copier comme ça ».

Le conférencier de Nimègue Furkan Sogut est inquiet. Il enseigne le néerlandais, l'une des matières pour lesquelles les étudiants déclarent souvent utiliser ChatGPT. « Je ne veux pas supposer de mauvaises intentions venant des étudiants, mais je n'ai pas de moyen de vérifier s'ils ont écrit quelque chose eux-mêmes ». Il faut dire que les outils de détection de plagiat, qui vérifient si les textes sont identiques dans les articles d'autres étudiants ou en ligne, ne fonctionnent pas face à ChatGPT car le bot AI génère lui-même du texte.

Selon Sogut, il est essentiel que les élèves écrivent leurs propres textes car c'est ainsi que les enseignants jugent s'ils maîtrisent bien la langue, « pas si ChatGPT a une bonne maîtrise du néerlandais ».

Robert Charmulaun, enseignant de néerlandais et président du département néerlandais de l'association professionnelle Levende Talen, a déclaré à NOS que certaines écoles envisageaient déjà des mesures : « Les élèves doivent ensuite écrire des textes à l'école, par exemple ». Ou ils doivent utiliser des sources récentes (ChatGPT ne connaît actuellement que les sources jusqu'en 2021 inclus, vous pouvez donc contrecarrer les étudiants en exigeant des sources à partir de 2022. Cependant, cela ne sera efficace que jusqu'à ce que le bot IA soit mis à jour.

Le milieu scolaire de plus en plus inquiet

Aux États-Unis

À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, notamment en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.

« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenus présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.

« C'est un style propre. Mais il est reconnaissable. Je dirais qu'il écrit comme un élève de terminale très intelligent », a expliqué Hick à propos des réponses apportées par ChatGPT aux questions. « Il y avait une formulation particulière qui n'était pas fausse, mais juste étrange. Si vous deviez enseigner à quelqu'un comment écrire des essais, c'est ce que vous lui diriez avant qu'il crée son style », a-t-il ajouté. Malgré sa connaissance de l'éthique du droit d'auteur, Hick a déclaré qu'il était presque impossible de prouver que le document avait été concocté par ChatGPT. Le professeur affirme avoir fait appel à un logiciel de vérification de plagiat.

Être capable de distinguer l'écriture produite par un humain ou une machine changera la façon dont ils peuvent être utilisés dans le milieu universitaire. Les écoles seraient en mesure d'appliquer plus efficacement l'interdiction des essais générés par l'IA, ou peut-être seraient-elles plus disposées à accepter des articles si elles pouvaient voir comment ces outils peuvent aider leurs élèves.

En France

Le journal lyonnais Le Progrès nous fait déjà part d’un premier cas connu d’utilisation de l’IA chez les étudiants dans l'Hexagone.

Stéphane Bonvallet, enseignant en handicapologie (matière enseignée dans certains cursus de santé du secondaire), a demandé à ses élèves de faculté de Lyon de «*Définir les grands traits de l’approche médicale du handicap en Europe*». Il leur a laissé une semaine pour travailler sur le sujet.

Cependant, lors de la correction, il s'est aperçu que sept copies sur les quatorze de sa classe font appel à une construction identique, avancent des arguments qui se ressemblent, mais sans jamais tourner au plagiat : «*Il ne s’agissait pas de copier-coller. Mais les copies étaient construites exactement de la même manière*», relate-t-il. «*On y retrouvait les mêmes constructions grammaticales. Le raisonnement était mené dans le même ordre, avec les mêmes qualités et les mêmes défauts ».

Stéphane Bonvallet raconte au Progrès en avoir discuté directement avec une étudiante. Elle reconnaît alors que la moitié de la promotion de 14 élèves ont eu recours à ChatGPT.

Les étudiants n’ont pas reçu de blâme pour cet usage, puisque l’utilisation d'outil de la même trempe que ChatGPT n'est pas proscrit par le milieu scolaire : « n’ayant pas de cadre interdisant actuellement cette pratique, j’ai été contraint de les noter », explique-t-il au quotidien. Puisque les autres notes étaient comprises entre 10 et 12,5, le professeur a choisi d'attribuer la même note de 11,75 à tous ces travaux qui se sont appuyés sur ChatGPT.

En se renseignant auprès de ses collègues, il a fait le constat que ce cas était loin d’être isolé.

« Cette pratique m’inquiète. Elle pose un véritable problème d’intégration des savoirs, car les élèves n’ont plus besoin d’effectuer la moindre recherche pour composer », a regretté le professeur.

Les copies sont désormais en possession de la direction.

La ville de New York interdit aux étudiants et aux enseignants d'utiliser ChatGPT

« En raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu, l'accès à ChatGPT est prohibé sur les réseaux et les appareils des écoles publiques de la ville de New York », déclare un porte-parole du Département de l’éducation de la ville.

La controverse au sujet de cette décision tient au moins sur l’observation évidente que ChatGPT peut faire office de complément à un moteur de recherche. Décider d’en interdire l’accès revient donc à faire pareil avec des plateformes sur lesquels les étudiants sont aussi susceptibles de trouver des réponses à leurs évaluations : Wikipedia, Google, etc.

Quelques outils pour détecter le texte généré par une IA comme ChatGPT

Détecteur de sortie GPT-2

OpenAI impressionne Internet avec ses efforts pour reproduire l'intelligence humaine et les capacités artistiques depuis 2015. Mais en novembre dernier, la société est finalement devenue méga-virale avec la sortie du générateur de texte AI ChatGPT. Les utilisateurs de l'outil bêta ont publié des exemples de réponses textuelles générées par l'IA à des invites qui semblaient si légitimes qu'elles ont semé la peur dans le cœur des enseignants et ont même fait craindre à Google que l'outil ne tue son activité de recherche.

Si les ingénieurs d'OpenAI sont capables de créer un bot qui peut écrire aussi bien ou mieux que l'humain moyen, il va de soi qu'ils peuvent également créer un bot qui est meilleur que l'humain moyen pour détecter si le texte a été généré par IA.

La démo en ligne du modèle de détecteur de sortie GPT-2 vous permet de coller du texte dans une boîte et de voir immédiatement la probabilité que le texte ait été écrit par l'IA. Selon les recherches d'OpenAI, l'outil a un taux de détection relativement élevé, mais « doit être associé à des approches basées sur les métadonnées, au jugement humain et à l'éducation du public pour être plus efficace ».

GLTR (Giant Language model Test Room)

Lorsque OpenAI a publié GPT-2 en 2019, les gens du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group ont uni leurs forces pour créer un algorithme qui tente de détecter si le texte a été écrit par un bot.

Un texte généré par ordinateur peut sembler avoir été écrit par un humain, mais un écrivain humain est plus susceptible de sélectionner des mots imprévisibles. En utilisant la méthode « il en faut un pour en connaître un », si l'algorithme GLTR peut prédire le mot suivant dans une phrase, alors il supposera que cette phrase a été écrite par un bot.

GPTZero

Durant la période des fêtes de fin d'années, Edward Tian était occupé à créer GPTZero, une application qui peut aider à déterminer si le texte a été écrit par un humain ou un bot. En tant qu'universitaire à Princeton, Tian comprend comment les professeurs d'université pourraient avoir un intérêt direct à détecter un « AIgiarism », ou un plagiat assisté par IA.

Tian dit que son outil mesure le caractère aléatoire des phrases ("perplexité") plus le caractère aléatoire global ("burstiness") pour calculer la probabilité que le texte ait été écrit par ChatGPT. Depuis qu'il a tweeté à propos de GPTZero le 2 janvier, Tian dit qu'il a déjà été approché par des sociétés à capital risque souhaitant investir et qu'il développera bientôt des versions mises à jour.

Filigrane (à venir)

En plus d'aborder le problème comme les détecteurs de plagiat l'ont fait dans le passé, OpenAI tente de résoudre le problème en filigranant tout le texte ChatGPT. Selon une récente conférence sur la sécurité de l'IA par le chercheur invité d'OpenAI, Scott Aaronson, les ingénieurs ont déjà construit un prototype fonctionnel qui ajoute un filigrane à tout texte créé par OpenAI.

« Fondamentalement, chaque fois que GPT génère un texte long, nous voulons qu'il y ait un signal secret autrement imperceptible dans ses choix de mots, que vous pouvez utiliser pour prouver plus tard que, oui, cela vient de GPT », explique Aaronson. L'outil utiliserait ce qu'il appelle une « fonction cryptographique pseudo-aléatoire ». Et seul OpenAI aurait accès à cette clé.

Source : NOS

Et vous ?

Pour ou contre l'utilisation d'outils comme ChatGPT en milieu scolaire ?
Quelles peuvent en être, selon vous, les conséquences ?
Les établissements devraient-ils prendre des mesures spécifiques pour empêcher l'utilisation de ChatGPT ? Si oui, lesquels ?

[eric44000]

La ville de New York interdit aux étudiants et aux enseignants d'utiliser ChatGPT
« En raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu, l'accès à ChatGPT est prohibé sur les réseaux et les appareils des écoles publiques de la ville de New York », déclare un porte-parole du Département de l’éducation de la ville.

La controverse au sujet de cette décision tient au moins sur l’observation évidente que ChatGPT peut faire office de complément à un moteur de recherche. Décider d’en interdire l’accès revient donc à faire pareil avec des plateformes sur lesquels les étudiants sont aussi susceptibles de trouver des réponses à leurs évaluations : Wikipedia, Google, etc.

Oui ChatGPT peut faire office de complément à un moteur de recherche (combien s'en serve ?). Le problème est que ChatGPT génère une réponse auto-suffisante et qu'un devoir doit servir à assimiler un savoir. Alors que l'exactitude n'est pas assurée, c'est pas grave. Sur Youtube, on trouve de tout. Du vrai et du faux. Que la ville de New York interdise internet !

[Bill Fassinou]

OpenAI a fait appel à des travailleurs kényans payés moins de 2 dollars par heure pour rendre ChatGPT moins toxique
les experts jugent ce tarif faible en raison des "tâches ingrates" des employés

Derrière les prouesses inédites de ChatGPT se cachent peut-être des travailleurs maltraités et sous-payés. C'est ce que révèle un récent rapport sur OpenAI. L'entreprise se serait appuyée sur des travailleurs kényans externalisés, dont beaucoup auraient été payés moins de 2 dollars par heure, pour passer au crible certains des coins les plus sombres d'Internet afin de créer un système de filtre d'IA qui serait intégré à ChatGPT. Le filtre devrait permettre de scanner le chatbot à la recherche de signes des pires horreurs de l'humanité. OpenAI est vivement critiqué et accusé de s'engager sur la même voie que les géants de la Silicon Valley comme Apple, Amazon et Meta.

Le monde apparemment simple, brillant et propre associé à la technologie semble inévitablement et presque toujours soutenu par quelque chose de plus sombre caché juste sous la surface. Il y a trois ans, Apple, Foxconn, et 81 autres grandes marques de technologie avaient été accusées d'être impliquées dans le travail forcé des Ouïghours en Chine. En mars 2020, l'ONG Australian Strategic Policy Institute (ASPI) a allégué dans un rapport qu'entre 2017 et 2019, plus de 80 000 Ouïghours ont été déplacés hors de Xinjiang, leur région d'origine, vers des camps de détention ou des usines pour y travailler de force pour des entreprises comme Apple.

Dernièrement, c'est OpenAI, le laboratoire américain d'IA à l'origine de ChatGPT, qui est accusé de "torture envers ses travailleurs externalisés". Alors que ChatGPT captive toutes les attentions depuis son lancement fin novembre, une nouvelle enquête du Time affirme qu'OpenAI a fait appel à des travailleurs kényans pour l'aider à mettre au point un outil qui marque les contenus problématiques. Le détecteur devrait se charger de filtrer les réponses de ChatGPT, qui compte à ce jour plus d'un million d'utilisateurs, pour le rendre acceptable par le grand public. Mais ces travailleurs auraient été payés à une modique somme inférieure à 2 dollars par heure.

En outre, le filtre aiderait à supprimer les entrées toxiques des grands ensembles de données utilisés pour former ChatGPT. Pendant que les utilisateurs finaux recevaient un produit poli et hygiénique, les travailleurs kényans agissaient essentiellement comme une sorte de gardien de l'IA, parcourant des bribes de texte qui décriraient des récits saisissants d'abus sexuels sur des enfants, tortures, meurtres, suicides et inceste, le tout avec des détails graphiques. En fait, pour apprendre à l'IA à reconnaître et à supprimer les contenus horribles, il fallait une base de données étiquetée de contenus horribles, et c'est en partie ce sur quoi ces employés ont travaillé.

OpenAI aurait travaillé avec une société américaine appelée Sama, mieux connue pour employer des travailleurs au Kenya, en Ouganda et en Inde pour effectuer des tâches d'étiquetage de données pour le compte de géants de la Silicon Valley comme Google et Meta. Sama était en fait le plus grand modérateur de contenu de Meta (Facebook) en Afrique avant que la société n'annonce ce mois-ci qu'elle avait cessé de travailler ensemble en raison du "climat économique actuel". Sama et Meta font actuellement l'objet d'un procès intenté par un ancien modérateur de contenu qui prétend que les entreprises ont violé la constitution kényane.

Dans le cas d'OpenAI, le rapport indique que les travailleurs kényans auraient gagné entre 1,32 et 2 dollars par heure. Selon certains analystes, ce montant est très faible pour une entreprise telle qu'OpenAI qui a levé des centaines de millions de dollars au cours de ces dernières années. Microsoft a investi plus d'un milliard de dollars dans la société en 2019 et les récents rapports indiquent que le géant de Redmond s'apprêterait de nouveau à injecter environ 10 milliards de dollars dans la société d'IA. D'autres investisseurs devraient également participer à ce tour de table. Si cela se produit, OpenAI devrait être évalué à 29 milliards de dollars.

Cependant, selon certains commentaires, le tarif payé par OpenAI aux travailleurs kényans serait en adéquation avec la réalité sur le terrain. « Pour mettre les choses en perspective, le revenu moyen au Kenya est d'environ 1,25 dollar par heure et, en tant que Kényan, je ne vois vraiment pas cela comme une mauvaise chose. Beaucoup de gens ici vivent dans une pauvreté abjecte, dans des situations que vous ne pouvez pas vraiment imaginer. Toute forme d'aide est donc la bienvenue », affirme un internaute qui se présente comme un Kényan. Toutefois, les analystes estiment qu'OpenAI pourrait mieux faire compte tenu des tâches des travailleurs.


Qu'il s'agisse de modérateurs de contenu souffrant de troubles mentaux qui passent au crible des torrents de messages Facebook infâmes ou d'enfants surmenés qui extraient le cobalt nécessaire à la fabrication de véhicules électriques de luxe et d'autres types d'appareils électroniques, l'efficacité sans friction a un coût humain. « Notre mission est de faire en sorte que l'intelligence artificielle générale profite à l'ensemble de l'humanité, et nous travaillons dur pour construire des systèmes d'IA sûrs et utiles qui limitent les préjugés et les contenus nuisibles », a déclaré le développeur du chatbot ChatGPT dans un communiqué au Time.

« Classer et filtrer les contenus nuisibles est une étape nécessaire pour minimiser la quantité de contenus violents et sexuels inclus dans les données d'entraînement et créer des outils capables de détecter les contenus nuisibles », a-t-il ajouté. Pourtant, la nature du travail a causé une détresse sévère pour certains étiqueteurs de données. Comme certains modérateurs de contenu, les travailleurs de Sama ont déclaré que leur travail restait souvent avec eux après qu'ils se soient déconnectés. L'un d'entre eux dit avoir eu des troubles récurrents de la vision après avoir lu la description d'un homme ayant des relations sexuelles avec une chienne.

« C'était une torture », a-t-il déclaré. Au total, les équipes de travailleurs étaient chargées de lire et d'étiqueter environ 150 à 250 passages de texte au cours d'une période de travail de neuf heures. Bien que les travailleurs aient eu la possibilité de consulter des conseillers en bien-être, ils ont néanmoins déclaré au Time qu'ils se sentaient mentalement marqués par ce travail. Sama a contesté ces chiffres, déclarant au Time que les travailleurs ne devaient étiqueter que 70 passages par poste. Sama a déclaré au Time qu'il offrait aux employés des conseils individuels en matière de santé mentale et des programmes de bien-être pour les déstresser.

Sama, qui aurait signé trois contrats avec OpenAI d'une valeur d'environ 200 000 dollars, a décidé de quitter entièrement l'espace d'étiquetage des données nuisibles, du moins pour l'instant. Plus tôt ce mois-ci, il aurait annoncé qu'il annulerait le reste de son travail avec le contenu sensible, à la fois pour OpenAI et d'autres pour se concentrer plutôt sur "les solutions d'annotation de données de vision par ordinateur". Les conclusions de l'enquête interviennent alors que les entreprises qui ont adapté l'IA pour améliorer leurs produits et services continuent de sous-traiter à des employés externalisés à bas salaire le travail de modération de contenu.

Certains contractants signalent régulièrement des impacts négatifs sur leur santé physique ou mentale. Des entreprises comme Amazon auraient embauché des réviseurs de vidéos en Inde et au Costa Rica pour regarder des milliers de vidéos. Cela aurait entraîné des maux physiques comme des maux de tête et des douleurs oculaires chez ces personnes. En 2019, après que certains contractants de Facebook ont déclaré souffrir de SSPT (syndrome de stress post-traumatique) à cause du travail de modération, le PDG Mark Zuckerberg a qualifié les rapports de ces plaintes d'"un peu trop dramatiques", minimisant ainsi les impacts sur la santé mentale des travailleurs.

Le rapport révèle, dans des détails explicites, les pénibles difficultés humaines qui sous-tendent le développement d'une telle technologie. Bien que les nouvelles technologies, apparemment sans friction, créées par les plus grandes entreprises technologiques du monde annoncent souvent leur capacité à résoudre de gros problèmes avec des frais généraux réduits, la dépendance d'OpenAI à l'égard des travailleurs kényans, comme la grande armée de modérateurs de contenu internationaux des entreprises de médias sociaux, met en lumière l'importance de la main-d'œuvre humaine souvent inséparable d'un produit final.

Source : Time

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la rémunération des travailleurs kényans ?
Que dites-vous des accusations de torture des travailleurs qui visent OpenAI ?
Que pensez-vous du sort réservé aux travailleurs externalisés employés par les entreprises de la Silicon Valley ?
À votre avis, pourquoi ces conditions de travail perdurent malgré les dénonciations et les nombreux cas de dépressions des travailleurs ?
Selon vous, qui est à blâmer ? Les gouvernements indien, chinois, kényan, etc. ou les grosses multinationales comme Apple ou Facebook ?

Voir aussi

Apple, Foxconn, et 81 autres grandes marques sont impliquées dans le travail forcé des Ouïghours en Chine, d'après une ONG

Une modératrice qui a regardé des heures de vidéos traumatisantes poursuit TikTok pour avoir échoué à protéger sa santé mentale

Des travailleurs chinois décrivent des conditions extrêmement difficiles dans une usine de montage d'iPhone, mais Apple déclare qu'il n'en est rien

[kain_tn]

Quel est votre avis sur le sujet ?

Ça fait du bien de lire un article sur les dessous de ChatGPT au lieu de lire le bourrage de crane que l'on retrouve partout sur le Internet en ce moment à ce sujet.

Que dites-vous des accusations de torture des travailleurs qui visent OpenAI ?[
Que pensez-vous du sort réservé aux travailleurs externalisés employés par les entreprises de la Silicon Valley ?
À votre avis, pourquoi ces conditions de travail perdurent malgré les dénonciations et les nombreux cas de dépressions des travailleurs ?

Il y a quelques temps, j'étais tombé là-dessus:

Cette vidéo parle peu ou prou du même sujet, mais avec les "IA" de Google (57:28), et la modération de "Meta/Facebook" (1:36:04).

Selon vous, qui est à blâmer ? Les gouvernements indien, chinois, kényan, etc. ou les grosses multinationales comme Apple ou Facebook ?

Tout le monde. C'est un système global qui permet ça.

[totozor]

Les étudiants utilisent ChatGPT pour [...] supprimer les fautes d'orthographe de leurs textes

C'est vraiment inacceptable ! Les étudiants utilisent ChatGPT pour garantir que les 2 points réservé à l'orthographe ne leur soit pas retiré?
C'est un scandale, comment je vais faire moi pour continuer d'humilier Kevin, il est vraiment nul et se cache derrière sa "dyslexie" (mimer les guillemets avec les doigts), il est juste con ce gamin. Quelqu'un doit lui dire mais ses parents sont trop woke pour lui foutre la torgnole qu'il mérite.

Ceci est le message rageux d'un gamin qui a eu 0.1 de moyenne en dictée parce que la prof lui mettait neuf 0 et un 1 chaque trimestre. Oui elle m'a mis 1 point à une dictée que je n'ai même pas rédigée.
Ceci est le message d'un gamin à qui on a dit "Totozor tu as eu -10 mais par bienveillance je ne te mets que 0"

[walfrat]

En assumant que ce soit des lycéens voir des étudiants 18+ il y a pour moi deux conséquences possibles :

• Rien : les sujets sont de toute façon bidon ou y répondre correctement ou non n'affectera pas leur capacité à travailler (ex : je suis ingénieur, rapport aux dissertations de français ? aucun).
• Conséquence : après s'être reposer sur l'IA pour gratter des points à gauche à droite, ils se retrouvent bien incapable de faire certaines choses par eux-même et ça se voit.(je suis en filiale litéraire, j'ai compte sur chatGPT toute l'année pour ce que je pouvais faire à la maison, une fois devant l'examen => fail).

Et oui je n'aime pas les dissertations, inutile ? Sur l'aspect théorique je ne pense pas, sur la façon dont c'est ... "enseignée" (rédige 4 pages je te met une note en haut de la feuille et démerde toi), absolument.

[Bill Fassinou]

DeepMind, la filiale de Google spécialisée dans l'IA, annonce qu'elle lancera bientôt un concurrent de ChatGPT
et affirme que son système est plus avancé et réduit le risque de réponses toxiques

Le PDG de DeepMind, Demis Hassabis, a déclaré que la société envisageait de lancer son propre chatbot, appelé Sparrow, en bêta privée au cours de l'année. Présenté comme une potentielle réponse de Google à ChatGPT, le chatbot de DeepMind promet d'être un assistant d'IA plus sûr et plus avancé que son rival. Sparrow a été présenté au monde l'année dernière comme une preuve de concept dans un document de recherche qui le décrit comme un "agent conversationnel utile et réduisant le risque de réponses toxiques et inappropriées".

DeepMind est un pionnier de la recherche en IA depuis dix ans. La société, basée à Londres, au Royaume-Uni, a fait ses preuves avec les systèmes tels qu’AlphaCode, AlphaGo et AlphaFold. Le système d'IA AlphaGo de DeepMind a réussi l'exploit de terrasser Lee Sedol, l'un des meilleurs joueurs du jeu de Go au monde. La société a été rachetée par Alphabet, la société mère de Google, le géant de la recherche et DeepMind ayant entretenu des liens étroits ces dernières années. Après des systèmes d'IA pour le jeu de Go (AlphaGo) et la programmation (AlphaCode), DeepMind a annoncé qu'il se prépare désormais à se lancer sur le marché des chatbots.

Comme l'a confié le Hassabis, Sparrow pourrait être prêt à prendre son envol à travers une bêta privée dans le courant de l'année. DeepMind a présenté Sparrow en septembre 2022. Comme ChatGPT, ce chatbot est entraîné avec des commentaires humains, ce qui, selon DeepMind, le rend plus utile, précis et inoffensif. Sparrow aura accès à Internet par le biais de Google, ce qui devrait lui permettre d'intégrer des informations actualisées dans ses réponses. En outre, Sparrow serait basé sur le modèle de langage Chinchilla de Deepmind, qui possède moins de paramètres que les plus grands modèles d'OpenAI, mais qui a été entraîné avec beaucoup de données.

Le modèle de langage, qui a été introduit en avril 2022, a surpassé GPT-3 dans les benchmarks de langage courant. Cependant, ChatGPT est basé sur la version 3.5 de GPT, plus avancée. Selon les analystes, il y a de bonnes raisons de penser que Sparrow aurait des performances similaires ou supérieures à celles de ChatGPT. Le chatbot de DeepMind devrait également produire des sources supplémentaires qui correspondent aux réponses qu'il fournit. En outre, l'entreprise affirme que lors des premiers tests, Sparrow a fourni une réponse plausible et, surtout, l'a étayée par des preuves "dans 78 % des cas lorsqu'on lui a posé une question factuelle".

DeepMind a vanté les règles de restriction du comportement sur lesquelles repose son chatbot, ainsi que sa volonté de refuser de répondre aux questions dans "des contextes où il est approprié de s'en remettre aux humains". Mais très peu de détails ont filtré sur ces mécanismes. Il faudra donc attendre le lancement de la bêta publique pour avoir une idée précise des véritables capacités de Sparrow et de son fonctionnement. Cependant, Deepmind pourrait-il aider Google à sortir de son "dilemme de l'innovateur" ? Compte tenu de la relation étroite entre DeepMind et Google, Sparrow pourrait en effet devenir la réponse du géant de la recherche à ChatGPT.

L'arrivée très prochaine de Sparrow est notable, car la société britannique a jusqu'ici fonctionné principalement comme un laboratoire de recherche en IA qui développe des technologies que Google intègre ensuite dans des produits destinés aux consommateurs. Google lui-même a fait de nombreuses recherches au fil des années sur les chatbots d'IA et les grands modèles de langage (Large language models - LLM). L'entreprise a présenté de grands modèles de langage optimisés pour le dialogue, comme LaMDA et Flamingo, avant même le succès de ChatGPT. Avec Meena publié en 2020, Google disposait déjà d'un agent conversationnel "opérationnel".

Toutefois, jusqu'à présent, l'entreprise n'a pas fait un produit à partir de ses recherches. Selon ses propres déclarations, cela est principalement dû à des problèmes de sécurité, bien que d'autres raisons puissent également jouer un rôle. Mais ChatGPT et surtout l'implication importante de Microsoft dans la diffusion d'OpenAI mettent la pression sur Google. Microsoft serait prêt à investir de nouveau jusqu'à 10 milliards de dollars dans la startup d'IA afin de lui permettre d'améliorer les performances ChatGPT, mais également pour l'intégrer à son moteur de recherche Bing. Ainsi, Google cherche à prouver qu'il peut tenir en échec OpenAI, voire le dépasser.

ChatGPT d'OpenAI est le plus grand battage médiatique de l'histoire de l'IA. Il ferait craindre à Google pour son activité principale, car il peut, entre autres, donner des réponses plus ou moins fiables à des questions. C'est censé être le domaine du géant des moteurs de recherche. Le léger retard du lancement de Sparrow serait dû à la volonté de DeepMind de s'assurer que son chatbot possède des fonctionnalités importantes qui font défaut à ChatGPT, notamment la citation de sources spécifiques. À l'échelle à laquelle Google opère, un chatbot qui diffuse des mensonges ou des discours de haine constituerait un risque de réputation important.

Hassabis a déclaré : « il est juste d'être prudent sur ce front ». ChatGPT d'OpenAI, bien que connaissant une croissance rapide, ne compte encore qu'une fraction des utilisateurs de Google. Mais à part la citation de sources dont Sparrow serait capable, rien n'indique qu'il serait supérieur à ChatGPT ni qu'il pourrait aider Google à sortir de son "dilemme de l'innovateur". Ce terme a été inventé par Clayton Christensen en 1997 pour décrire une situation dans laquelle des entreprises établies ont des difficultés à adopter de nouvelles technologies ou de nouveaux modèles commerciaux qui perturbent leurs marchés traditionnels.

Ces entreprises disposent souvent de ressources et de capacités importantes (Google), mais leur clientèle existante et leurs processus internes ne leur permettent pas de tirer parti des innovations révolutionnaires. Cela peut finalement conduire à la disparition de l'entreprise lorsque des concurrents plus petits et plus agiles entrent et prennent le contrôle du marché (OpenAI). L'activité principale de Google, la recherche, est en pleine croissance et est très rentable. L'entreprise imprime de l'argent avec chaque page de résultats de recherche qu'elle affiche. En outre, la concurrence est encore loin de proposer des produits à la hauteur de Google.

Mais un chatbot de recherche aurait besoin d'une nouvelle stratégie de monétisation, et il n'est pas certain qu'il puisse être aussi rentable que la recherche actuelle de Google. L'entreprise pourrait lancer un chatbot performant, le rendre potentiellement rentable, mais si les bénéfices sont inférieurs à ceux qu'elle tire de la recherche en ligne, elle serait toujours perdante. Tel est le dilemme de Google. Une solution possible pour Google afin de réaliser au moins une transition en douceur : la société lance un chatbot à vocation commerciale via sa société sœur Deepmind et construit son propre produit concurrent de Google Search, et d'OpenAI.

En attendant, ChatGPT est déjà en pleine effervescence et se dirige vers un avenir monétisé avec ChatGPT Professional, un niveau payant imminent. Anthropic, une startup fondée par d'anciens employés d'OpenAI, a dévoilé un chatbot d'IA appelé Claude pour concurrencer ChatGPT. Il serait meilleur que ChatGPT pour faire des blagues, mais mauvais en programmation. L'IA d'Anthropic est accessible via une intégration Slack dans le cadre d'une bêta fermée. Les participants à la bêta ont détaillé leurs interactions avec Claude sur Twitter, mais les commentaires montrent également que Claude est sensible à certains des défauts de ChatGPT.

ChatGPT pourrait concurrencer la recherche Google, ce qui signifie qu'il menace les revenus de la recherche Google. Le chatbot d'OpenAI est devenu viral grâce à sa capacité impressionnante à aider tout le monde, des codeurs aux étudiants, mais il a également suscité l'inquiétude par sa capacité à faire des commentaires discriminatoires et à écrire des logiciels malveillants. Néanmoins, ChatGPT fournit à ses utilisateurs des résultats sans les problèmes inhérents à Google et son moteur de recherche, notamment le suivi, la collecte de données personnelles, les annonces, etc. Selon les analystes, c'est une chose que Google pourrait avoir du mal à imiter.

Source : DeepMind

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du chatbot d'IA Sparrow de DeepMind ?
Selon vous, Sparrow pourrait-il permettre à Google de rivaliser avec ChatGPT ?
Le fait que Sparrow soit en mesure de citer ses sources suffit-il pour dire qu'il est meilleur que ChatGPT ?

Voir aussi

OpenAI a fait appel à des travailleurs kényans payés moins de 2 dollars par heure pour rendre ChatGPT moins toxique, les experts jugent ce tarif faible en raison des "tâches ingrates" des employés

Des étudiants néerlandais se servent de ChatGPT pour faire leurs devoirs sans se faire prendre, mais des enseignants rappellent qu'il est essentiel que les élèves écrivent leurs propres textes

Anthropic, une startup fondée par d'anciens employés d'OpenAI, dévoile un chatbot d'IA appelé Claude pour concurrencer ChatGPT, il serait bon pour faire des blagues, mais mauvais en programmation

[kain_tn]

Quel est votre avis sur le sujet ?

Que le risque de "réponses toxiques" réduit dont parle Google est fait de la même façon que pour ChatGPT, si l'on en croit la vidéo que j'ai dénichée dans le post juste au dessus

La seule différence, c'est que ceux qui font le sale travail ne sont pas forcément Kényans!