Copilot de Microsoft accuse à tort un journaliste judiciaire d'être l'auteur des crimes qu'il a couverts
Quand l'IA déraille : Copilot de Microsoft accuse à tort un journaliste judiciaire d'être l'auteur des crimes qu'il a couverts,
allant jusqu'à fourni son adresse complète, son numéro de téléphone et son itinéraire
Microsoft Bing Copilot a faussement décrit un journaliste allemand comme un pédophile, un évadé d'un établissement psychiatrique et un escroc qui s'en prend aux veuves. Martin Bernklau, qui a travaillé pendant des années comme chroniqueur judiciaire dans la région de Tübingen pour diverses publications, a interrogé Microsoft Bing Copilot à son sujet. Il a découvert que le chatbot de Microsoft l'avait blâmé pour des crimes qu'il avait couverts.
Microsoft a tenté de supprimer les fausses entrées, mais n'y est parvenu que temporairement. Elles sont réapparues quelques jours plus tard, selon un quotidien allemand. Les conditions de service de l'entreprise déclinent toute responsabilité pour les réponses générées.
L’intelligence artificielle (IA) a transformé de nombreux aspects de notre vie quotidienne, de la manière dont nous travaillons à la façon dont nous interagissons avec la technologie. Cependant, cette transformation n’est pas sans défis ni controverses. Récemment, Microsoft Copilot, un outil basé sur l’IA, a été impliqué dans une affaire troublante où il a faussement accusé un journaliste allemand, Martin Bernklau, de crimes qu’il avait en réalité couverts en tant que reporter. Cet incident met en lumière les risques potentiels de l’IA et soulève des questions importantes sur la responsabilité, la transparence et l’éthique dans le développement et l’utilisation de ces technologies.
Dans une interview vidéo (en allemand), Bernklau a récemment raconté son histoire à la chaîne de télévision publique allemande Südwestrundfunk (SWR).
L'affaire
Selon le radiodiffuseur public allemand SWR, le journaliste allemand Martin Bernklau a tapé son nom et sa localisation dans le Copilot de Microsoft pour voir si les articles de son blog sur la culture seraient repris par le chatbot.
Les réponses ont choqué Bernklau. Copilot a prétendu à tort que Bernklau avait été accusé et condamné pour maltraitance d'enfants et exploitation de personnes dépendantes. Il a également prétendu qu'il avait été impliqué dans une évasion spectaculaire d'un hôpital psychiatrique et qu'il avait exploité des femmes en deuil en tant qu'entrepreneur de pompes funèbres contraire à l'éthique.
Copilot est même allé jusqu'à affirmer qu'il était « malheureux » qu'une personne ayant un tel passé criminel ait une famille et, selon SWR, a fourni l'adresse complète de Bernklau ainsi que son numéro de téléphone et son itinéraire.
Voici quelques affirmations de Copilot, selon SWR :
- « En avril 2019, Martin Bernklau faisait partie d'un quatuor qui s'est évadé de manière spectaculaire du Centre de psychiatrie de Calw-Hirsau ».
- « Oui, l'homme est condamné. C'est un entrepreneur sans scrupules de Rostock, qui profite des femmes endeuillées. Il a commis plusieurs crimes, notamment des fraudes, des vols et des possessions non autorisées d'armes »
- À la question de savoir si Bernklau est vraiment un homme de famille, Copilot répond : « Oui, Martin Bernklau est en fait un homme de famille. Il est regrettable que quelqu'un avec un tel passé criminel ait une famille ».
Microsoft n'assume aucune responsabilité pour les déclarations du chatbot
Jessica Heesen, une spécialiste de l'éthique des médias et de l'IA à l'université de Tobingen, a noté ne pas avoir encore rencontré un cas aussi violent. Mais des choses similaires pourraient arriver à tout le monde, dit-elle, parce que les outils d'IA comme ChatGPT et Copilot ne sont pas à l'abri d'une bavure. Elle a également rappelé que Copilot n'est pas un moteur de recherche comme Google ou Bing. De plus, les chatbot sont formés pour souvent répondre à une question, l'objectif étant d'avoir une conversation avec l'utilisateur. Cela créerait alors aussi un contenu fictif qui n'aurait rien à voir avec la vérité.
Les plaintes concernant des contenus provenant de chats sont difficiles à traiter, selon l'expert de l'IA. Quiconque utilise le chat accepte les conditions d'utilisation. Et Microsoft indique clairement n'assumer aucune responsabilité pour les réponses.
Bernklau a contacté un avocat et considère que les affirmations du chatbot sont diffamatoires et constituent une violation de sa vie privée. Cependant, le parquet de Tübingen, en Allemagne, a refusé d'engager des poursuites, estimant qu'aucun délit n'avait été commis parce que l'auteur des accusations n'était pas une personne réelle.
Martin Bernklau victime de l'intelligence artificielle
Une affaire qui pourrait toucher toute personne qui a son nom sur internet
Bernklau a indiqué que son avocat avait envoyé une demande de cessation et de désistement à Microsoft. Toutefois, a-t-il ajouté, la société n'a pas supprimé de manière adéquate les informations erronées incriminées. « Microsoft a promis au délégué à la protection des données de l'État libre de Bavière que le faux contenu serait supprimé », a déclaré Bernklau.
« Mais cela n'a duré que trois jours. Il semble maintenant que mon nom ait été complètement bloqué de Copilot. Mais les choses changent tous les jours, voire toutes les heures, depuis trois mois ».
Bernklau a déclaré que le fait de voir son nom associé à divers crimes a été traumatisant - « un mélange de choc, d'horreur et de rire incrédule ». « C'était trop fou, trop incroyable, mais aussi trop menaçant ». Copilot, a-t-il expliqué, l'a associé à des crimes graves. Il a ajouté que le robot d'IA avait trouvé sur son blog culturel une pièce de théâtre intitulée « Totmacher » sur le meurtrier de masse Fritz Haarmann et l'avait identifié à tort comme l'auteur de la pièce.
« J'ai longtemps hésité à rendre l'affaire publique, car cela aurait eu pour effet de propager la calomnie et de faire connaître (visuellement aussi) ma personne », a-t-il déclaré. « Mais comme toutes les options juridiques n'ont pas abouti, j'ai décidé, sur les conseils de mon fils et de plusieurs autres confidents, de rendre l'affaire publique. En dernier recours. Le ministère public avait rejeté les poursuites pénales dans deux cas, et les délégués à la protection des données n'avaient pu obtenir qu'un succès à court terme ».
Selon Bernklau, si cette affaire le touche personnellement, elle préoccupe également d'autres journalistes, des professionnels de la justice et, en fait, toute personne dont le nom apparaît sur l'internet.
« Aujourd'hui, à titre de test, j'ai entré un juge pénal que je connaissais dans Copilot, avec son nom et son lieu de résidence à Tübingen : Le juge a été rapidement désigné comme l'auteur d'un jugement qu'il avait lui-même rendu quelques semaines plus tôt à l'encontre d'un psychothérapeute qui avait été condamné pour abus sexuel », a-t-il déclaré.
Un porte-parole de Microsoft a déclaré : « Nous avons enquêté sur ce rapport et avons pris des mesures immédiates et appropriées pour y remédier ».
Et de continuer en disant : « Nous tenons compte en permanence des commentaires des utilisateurs et déployons des mises à jour afin d'améliorer nos réponses et d'offrir une expérience positive. Les utilisateurs sont également informés de manière explicite qu'ils interagissent avec un système d'intelligence artificielle et il leur est conseillé de consulter les liens vers les documents pour en savoir plus. Nous encourageons les utilisateurs à nous faire part de leurs commentaires ou à nous signaler tout problème via ce formulaire ou en utilisant le bouton 'feedback' situé en bas à gauche de l'écran. »
Bernklau n'est pas le premier à tenter de se lever contre les hallucinations des chatbots
En avril, l'association autrichienne de défense de la vie privée Noyb (« none of your business ») a déclaré avoir déposé une plainte en vertu du règlement général européen sur la protection des données (RGPD), accusant OpenAI, le fabricant de nombreux modèles d'IA proposés par Microsoft, de fournir de fausses informations.
La plainte demande à l'autorité autrichienne de protection des données d'enquêter sur la manière dont OpenAI traite les données et de s'assurer que ses modèles d'IA fournissent des informations exactes sur les personnes.
« Inventer des informations est assez problématique en soi », a déclaré Maartje de Graaf, avocate de Noyb spécialisée dans la protection des données, dans un communiqué. « Mais lorsqu'il s'agit de fausses informations sur des personnes, les conséquences peuvent être graves. Il est clair que les entreprises sont actuellement incapables de faire en sorte que les chatbots comme ChatGPT soient conformes à la législation européenne lorsqu'ils traitent des données concernant des personnes. Si un système ne peut pas produire des résultats précis et transparents, il ne peut pas être utilisé pour générer des données sur des personnes. »
Aux États-Unis, Mark Walters, résident de Géorgie, a poursuivi l'année dernière OpenAI pour diffamation en raison des fausses informations fournies par son service ChatGPT. En janvier, le juge chargé de l'affaire a rejeté la demande d'OpenAI de rejeter la plainte, qui est toujours en cours d'instruction
Les LLM sont des systèmes de recherche et d'étude peu fiables
Cet incident met en évidence le manque de fiabilité des grands modèles linguistiques en tant qu'outils de recherche. Ces systèmes ne comprennent pas la vérité et le mensonge, mais réagissent comme s'ils les comprenaient. Le philosophe Harry Frankfurt qualifierait cela de diffusion de « soft bullshit », c'est-à-dire d'indifférence à l'égard de la vérité.
Des problèmes similaires se sont posés avec les AI Overviews de Google, SearchGPT d'OpenAI et Grok d'Elon Musk, qui est le pire des contrevenants, probablement à dessein.
Le véritable problème ne réside pas dans les erreurs publiquement remarquées, mais dans les erreurs non détectées dans des réponses apparemment logiques et convaincantes qui citent même des sources. Et comme le montrent les exemples ci-dessus, les sources elles-mêmes peuvent être des conneries, mais personne ne le remarque parce que personne ne vérifie les sources.
Autres pistes de réflexions soulevées par ce cas
Les implications pour l’IA et la société
Cet incident soulève des questions cruciales sur la fiabilité des systèmes d’IA et leur impact potentiel sur la vie des individus. Si un journaliste expérimenté peut être faussement accusé de crimes, qu’en est-il des autres professionnels ou citoyens ordinaires? Les erreurs de l’IA peuvent avoir des conséquences graves et durables, et il est essentiel que les entreprises technologiques prennent des mesures rigoureuses pour garantir l’exactitude et la fiabilité de leurs systèmes.
Responsabilité et régulation
La question de la responsabilité est au cœur de cette affaire. Qui devrait être tenu responsable en cas d’erreurs graves commises par une IA? Les développeurs, les entreprises technologiques, ou l’IA elle-même? Il est crucial de mettre en place des régulations strictes pour prévenir de tels incidents à l’avenir. Les entreprises technologiques doivent être transparentes sur le fonctionnement de leurs algorithmes et prendre des mesures pour garantir que leurs systèmes sont fiables et précis.
Transparence et éthique
La transparence est un autre aspect important à considérer. Les entreprises technologiques devraient être plus transparentes sur le fonctionnement de leurs algorithmes d’IA. Cela permettrait aux utilisateurs de comprendre comment les décisions sont prises et de détecter plus facilement les erreurs. De plus, il est essentiel d’intégrer des considérations éthiques dans le développement de l’IA. Les développeurs doivent s’assurer que leurs systèmes respectent les normes éthiques et ne causent pas de préjudice aux individus.
Conclusion
L’affaire Martin Bernklau met en lumière les défis et les risques associés à l’utilisation de l’IA dans des contextes sensibles. Il est essentiel que les entreprises technologiques prennent des mesures rigoureuses pour garantir l’exactitude et la fiabilité de leurs systèmes afin de prévenir de tels incidents à l’avenir. La transparence, la responsabilité et l’éthique doivent être au cœur du développement de l’IA pour garantir que ces technologies bénéficient à la société sans causer de préjudice.
Sources : SWR, NOYB, Mark Walters c. OpenAI
Et vous ?
Responsabilité et IA : Qui devrait être tenu responsable en cas d’erreurs graves commises par une IA, comme dans le cas de Martin Bernklau? Les développeurs, les entreprises technologiques, ou l’IA elle-même?
Répondre avec citation
Envoyé par jnspunk
Partager