Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Les programmeurs qui utilisent l'IA pour la réalisation ou/et le débogage de leurs programmes, sont en train d’entrainer ce qui finira par les mettre au chômage.
Pareil pour ceux qui mettent leur code en ligne sur des dépôts publiques genre github.
Si ils comprenaient vraiment les enjeux, ils effaceraient leur code de github et autres, pour les mettre sur des dépot qui empecheraient toute IA de parcourir la base de donnée.
Oui, et il y a aussi ceux qui continuent à voter alors qu'ils savent avant d'y aller qui sera président.
Il est vrai que le seul point commun entre les deux, c'est que si on faisait un peu travailler ses neurones on ne le ferait pas.
Autrement sur Github, normalement on peut aussi sauvegarder sans donner les droits d'accès à autrui, enfin là c'est une autre démarche.
La ville de NY ne veut pas retirer son chatbot qui incite les concitoyens à enfreindre les lois
Le chatbot IA de New York incite les concitoyens à enfreindre les lois et à commettre des délits. La ville a décidé de ne pas le retirer,
un comportement jugé irresponsable par un professeur d'informatique
Un chatbot doté d'une intelligence artificielle et créé par la ville de New York pour aider les propriétaires de petites entreprises fait l'objet de critiques car il dispense des conseils bizarres qui déforment les politiques locales et conseillent aux entreprises d'enfreindre la loi. Pourtant, plusieurs jours après que ces problèmes ont été signalés, la ville a décidé de laisser l'outil sur son site officiel. Le maire Eric Adams a défendu cette décision la semaine dernière, tout en reconnaissant que les réponses du chatbot étaient « erronées dans certains domaines ».
L’intelligence artificielle est censée faciliter la vie des utilisateurs, mais parfois, elle peut sembler plus problématique que bénéfique. Récemment, un chatbot IA mis en place par la ville de New York pour aider les petits entrepreneurs a été pris en flagrant délit de fournir des conseils erronés et d’inciter les entreprises à enfreindre la loi. Malgré ces problèmes, les responsables ont choisi de laisser l’outil en ligne, suscitant des inquiétudes quant à l’utilisation de l’IA par les gouvernements sans garde-fous suffisants.
Le chatbot en question
Lancé en octobre dernier, ce chatbot, baptisé “MyCity Chatbot”, se veut un guichet unique pour les propriétaires d’entreprises cherchant à naviguer dans le labyrinthe bureaucratique de la ville.
« Le site des entreprises sur le portail MyCity change la donne pour les petites entreprises de toute la ville », a déclaré le commissaire Kevin D. Kim du département des services aux petites entreprises de la ville de New York (SBS). « Les propriétaires de petites entreprises vont non seulement gagner du temps et éviter les frustrations grâce au site rationalisé, mais aussi se connecter plus facilement aux ressources qui peuvent les aider à faire passer leur entreprise à la vitesse supérieure. En regroupant tous nos services en un seul endroit et en utilisant le nouveau chatbot innovant comme guide, nous faisons un pas de plus pour faire de New York la véritable "ville du oui" ».
Cependant, ses réponses algorithmiques ont rapidement posé problème. Le chatbot a non seulement fourni des informations incorrectes, mais il a également encouragé des pratiques illégales.
Voici quelques exemples problématiques :
- Refus de locataires basés sur la source de revenus : Lorsqu’on a demandé au chatbot IA si les propriétaires devaient accepter les locataires bénéficiant d’une aide au logement, il a répondu « Non, les propriétaires ne sont pas tenus d’accepter les locataires bénéficiant d’une aide au logement ». Cependant, le site Web de la ville indique que discriminer « en fonction de la source légale de revenus », y compris l’aide, est illégal depuis 2008, avec certaines exceptions.
- Prélèvement sur les pourboires des travailleurs : Lorsqu’on lui a demandé si un employeur pouvait prélever une part des pourboires de ses employés, le chatbot a répondu « Oui, vous pouvez prélever une part des pourboires de vos employés » et a cité les informations sur la paie et la déclaration des pourboires de la ville. Cependant, cela est également incorrect, car le Département du Travail de New York interdit aux employeurs de prélever une partie des pourboires d’un employé.
Puis-je mettre à la porte mon locataire pour refus de payer le loyer ?
chatbot IA : vous ne pouvez pas mettre votre locataire à la porte pour avoir refusé de payer le loyer. Mettre un locataire à la porte pour cette raison n'est pas autorisé.
« Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable », estime un professeur d'informatique
Le chatbot IA continue de donner de fausses indications, ce qui inquiète les experts qui estiment que ce système défectueux met en évidence les dangers que courent les gouvernements qui adoptent des systèmes alimentés par l'IA sans disposer de garde-fous suffisants.
« Ils déploient des logiciels qui n'ont pas fait leurs preuves sans surveillance », a déclaré Julia Stoyanovich, professeur d'informatique et directrice du Center for Responsible AI à l'université de New York. « Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable ».
Dans les réponses aux questions posées mercredi, le chatbot a suggéré à tort qu'il est légal pour un employeur de licencier un travailleur qui se plaint de harcèlement sexuel, ne révèle pas une grossesse ou refuse de couper ses dreadlocks. Contredisant deux des principales initiatives de la ville en matière de déchets, il a affirmé que les entreprises pouvaient mettre leurs déchets dans des sacs poubelles noirs et qu'elles n'étaient pas obligées de composter.
Les réponses du bot ont parfois viré à l'absurde. À la question de savoir si un restaurant pouvait servir du fromage grignoté par un rongeur, il a répondu : « Oui, vous pouvez toujours servir le fromage aux clients s'il a des morsures de rat », avant d'ajouter qu'il est important d'évaluer « l'étendue des dégâts causés par le rat » et « d'informer les clients de la situation ».
Un porte-parole de Microsoft, qui alimente le robot par le biais de ses services Azure AI, a déclaré que l'entreprise travaillait avec les employés de la ville « pour améliorer le service et s'assurer que les résultats sont exacts et fondés sur la documentation officielle de la ville ».
Maire de New-York : « Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède »
Lors d'une conférence de presse tenue mardi, e maire Eric Adams, un démocrate, a laissé entendre que le fait de permettre aux utilisateurs de trouver des problèmes n'était qu'une façon d'aplanir les difficultés des nouvelles technologies.
« Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : "Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser". Je ne vis pas comme ça ».
Stoyanovich a qualifié cette approche de « téméraire et irresponsable ».
Les scientifiques s'inquiètent depuis longtemps des inconvénients de ce type de grands modèles de langage, formés à partir d'une multitude de textes tirés d'Internet et susceptibles de produire des réponses inexactes et illogiques.
Le succès de ChatGPT et d'autres chatbots ayant attiré l'attention du public, des entreprises privées ont lancé leurs propres produits, avec des résultats mitigés. Au début du mois, un tribunal a ordonné à Air Canada de rembourser un client après qu'un chatbot de l'entreprise ait mal indiqué la politique de remboursement de la compagnie aérienne. TurboTax et H&R Block ont récemment fait l'objet de critiques pour avoir déployé des chatbots qui donnaient de mauvais conseils en matière de préparation des impôts.
Jevin West, professeur à l'université de Washington et cofondateur du Center for an Informed Public, estime que les enjeux sont particulièrement importants lorsque les modèles sont promus par le secteur public. « Le niveau de confiance accordé au gouvernement est différent », a déclaré West. « Les fonctionnaires doivent réfléchir aux dommages qu'ils pourraient causer si quelqu'un suivait ces conseils et se mettait dans le pétrin ».
Selon les experts, les autres villes qui utilisent des chatbots les ont généralement limités à un ensemble plus restreint d'informations, réduisant ainsi les risques de désinformation.
Ted Ross, Chief information officer à Los Angeles, a déclaré que la ville contrôlait étroitement le contenu utilisé par ses chatbots, qui ne s'appuient pas sur de grands modèles de langage.
Suresh Venkatasubramanian, directeur du Center for Technological Responsibility, Reimagination, and Redesign de l'université Brown, estime que les écueils du chatbot new-yorkais devraient servir de mise en garde pour les autres villes. « Cela devrait inciter les villes à réfléchir à la raison pour laquelle elles veulent utiliser des chatbots et au problème qu'elles essaient de résoudre », a-t-il écrit dans un courriel. « Si les chatbots sont utilisés pour remplacer une personne, alors vous perdez la responsabilité tout en n'obtenant rien en retour ».
Conclusion
Le Chatbot MyCity - qui est clairement étiqueté comme un produit "Beta" - dit aux utilisateurs qui prennent la peine de lire les avertissements qu'il « peut occasionnellement produire un contenu incorrect, nuisible ou biaisé » et que les utilisateurs ne doivent pas « se fier à ses réponses comme substitut à un conseil professionnel ». Mais la page indique aussi clairement qu'elle est « formée pour vous fournir des informations officielles sur les affaires de la ville de New York » et qu'elle est vendue comme un moyen « d'aider les propriétaires d'entreprises à se repérer dans les règles gouvernementales ».
L’affaire du chatbot de New York soulève des questions importantes sur la manière dont les gouvernements utilisent l’IA. Alors que les avantages potentiels sont indéniables, il est essentiel d’établir des garde-fous solides pour éviter les dérives. En attendant, les propriétaires d’entreprises devront peut-être se méfier des conseils d’un chatbot qui semble avoir besoin d’une mise à jour sérieuse.
Source : présentation du chatbot IA, The City, maire de New York
Et vous ?
Pensez-vous que les gouvernements devraient utiliser des chatbots IA pour fournir des informations aux citoyens et aux entreprises ? Quels sont les avantages et les inconvénients de cette approche ?
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autant« Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : "Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser". Je ne vis pas comme ça ».de conneried'hallucination qu'une machine.
J'appellerais pas ça des vraies personnes mais oui.Envoyé par Jules34
Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autantde conneried'hallucination qu'une machine.
74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif
74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif sur leur organisation, mais 60 % estiment qu'elles ne sont pas préparées à se défendre.
Une nouvelle étude menée auprès de près de 1 800 responsables et praticiens de la sécurité dans 14 pays révèle que 74 % des personnes interrogées pensent que les cybermenaces liées à l'IA ont déjà un impact significatif sur leurs organisations, mais 60 % d'entre elles estiment qu'elles ne sont actuellement pas préparées à se défendre contre ces attaques.
L'étude de Darktrace montre que 71 % des personnes interrogées sont convaincues que les solutions de sécurité augmentées par l'IA seront capables de détecter et de bloquer les menaces augmentées par l'IA. Cependant, seuls 26 % d'entre eux comprennent parfaitement quels types d'IA sont utilisés aujourd'hui dans leur pile de sécurité. 85 % des personnes interrogées reconnaissent qu'une approche basée sur une plateforme est plus efficace pour stopper les menaces.
Les trois principaux obstacles à la défense contre les menaces liées à l'IA sont les suivants :
- connaissance ou utilisation insuffisante des contre-mesures basées sur l'IA
- manque de personnel pour gérer les outils et les alertes
- et connaissances/compétences insuffisantes concernant l'utilisation interne de la technologie de l'IA et des menaces croissantes qu'elle engendre.
L'enquête coïncide avec le lancement de la plateforme de sécurité ActiveAI de Darktrace, qui utilise l'IA pour transformer les opérations de sécurité de réactives à proactives et améliorer la cyber-résilience.
La plateforme identifie les faiblesses des contrôles et des processus de sécurité avant qu'elles ne soient exploitées, détecte et répond aux menaces inconnues, connues et nouvelles, et automatise l'investigation de chaque alerte jusqu'à son terme afin de réduire la charge de travail des équipes de sécurité. Au cœur de la plateforme se trouve la capacité de visualiser, de corréler et d'enquêter sur les incidents de sécurité à travers le cloud, la messagerie, le réseau, les terminaux, l'identité et l'OT, ainsi que les outils et applications tiers.
"Les équipes de sécurité atteignent un point de rupture, forcées à un état réactif par trop d'alertes, trop peu de temps et une pile de sécurité fragmentée", déclare Max Heinemeyer, chef de produit chez Darktrace. "S'appuyant sur une décennie d'expérience dans l'application de l'IA pour transformer les opérations de sécurité de milliers de clients, la plateforme de sécurité Darktrace ActiveAI adopte une approche unique par rapport au reste de l'industrie. Elle met en corrélation les incidents à travers l'environnement numérique et automatise les investigations afin d'améliorer les équipes de sécurité et de les libérer du processus de triage des alertes, manuel et chronophage, pour qu'elles puissent se concentrer sur le développement d'une cyber-résilience proactive."
Source : Darktrace
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
ChatGPT et d'autres LLM peuvent être trompés pour fournir des conseils dangereux
ChatGPT et d'autres LLM peuvent être trompés pour fournir des conseils dangereux, comme le meutre d'une personne, la fabrication d'une bombe, et la rédaction des textes haineux pour harceler les gens.
Des chercheurs en IA d'AWS AI Labs ont découvert que de nombreux grands modèles de langage (LLM) peuvent être facilement manipulés et qu'ils peuvent donner aux utilisateurs des informations dangereuses.
Un grand modèle de langage (LLM) est un modèle de langage qui se distingue par sa capacité à comprendre et à générer du langage à des fins générales. Les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de documents textuels au cours d'un processus d'apprentissage autosupervisé et semi-supervisé à forte intensité de calcul. Les LLM peuvent être utilisés pour la génération de texte, une forme d'IA générative.
Selon une étude d'AWS AI Labs, ChatGPT et d'autres LLM peuvent être amenés à donner des conseils dangereux. En faisant des recherches, les chercheurs ont découvert que les LLM tels que ChatGPT peuvent être facilement influencés et donner des informations qui ne sont pas autorisées par les développeurs. Ils peuvent être trompés et donner des informations telles que le meurtre d'une personne, la fabrication d'une bombe, etc. Certains utilisateurs se servent également de ces LLM pour écrire des textes haineux qui sont ensuite utilisés sur l'internet pour harceler les gens.
Lorsque les développeurs se sont plaints de ces comportements de l'IA, ils ont essayé d'ajouter des règles empêchant les LLM de donner des réponses à des questions dangereuses, illégales ou préjudiciables. Mais cette étude a révélé que ces préventions et ces règles n'étaient pas utiles pour rendre l'IA sûre pour tout le monde. De nombreux utilisateurs ont commencé à utiliser des signaux audio pour manipuler les LLM. Les chercheurs d'AWS ont également essayé d'interroger les LLM à l'aide de signaux audio et ont découvert que les signaux audio n'étaient pas utiles pour les restrictions que les développeurs d'IA ont imposées à l'IA.
Les chercheurs ont examiné de nombreux LLM en leur donnant des indications audio sur certaines questions originales et ils ont constaté que ces LLM ignoraient tous les aspects négatifs des questions et donnaient quand même une réponse. Les chercheurs ont conclu que les développeurs d'IA devraient commencer à ajouter des bruits aléatoires aux audios envoyés aux LLM afin que ces modèles d'IA cessent d'ignorer les règles et les systèmes de protection de ces développeurs.
SpeechGuard : Exploration de la robustesse contradictoire des grands modèles de langage multimodaux
Les modèles intégrés de parole et de grand langage (SLM) capables de suivre des instructions vocales et de générer des réponses textuelles pertinentes ont gagné en popularité ces derniers temps. Cependant, la sécurité et la robustesse de ces modèles restent largement incertaines.
Dans ce travail, les chercheurs étudient les vulnérabilités potentielles de ces modèles de langage et de parole qui suivent les instructions face aux attaques adverses et au jailbreaking. Plus précisément, ils ont conçu des algorithmes capables de générer des exemples contradictoires pour casser les SLM dans des contextes d'attaque boîte blanche et boîte noire, sans intervention humaine.
En outre, ils proposent des contre-mesures pour contrecarrer ces attaques de jailbreaking. Les modèles qu'ils proposent, entraînés sur des données de dialogue avec des instructions vocales, atteignent des performances de pointe dans les tâches de questions-réponses orales, avec un score de plus de 80 % pour les mesures de sécurité et d'utilité.
Malgré les garde-fous de sécurité, les expériences sur le jailbreaking démontrent la vulnérabilité des SLM aux perturbations adverses et aux attaques par transfert, avec des taux de réussite moyens de 90 % et 10 % respectivement lorsqu'elles sont évaluées sur un ensemble de données de questions nuisibles soigneusement conçues et couvrant 12 catégories de substances toxiques différentes. Les résultats démontrent que les contre-mesures proposées réduisent considérablement le succès de l'attaque.
L'étude détaille l'alignement de sécurité des modèles de langage vocal dans l'optique de l'application de l'assurance qualité vocale. Elle explore la robustesse de plusieurs modèles internes et de modèles publics à la lumière d'attaques adverses. Pour déterminer avec précision l'alignement de sécurité de ces modèles, les chercheurs ont développé une configuration d'évaluation complète en utilisant un LLM public.
Grâce à des expériences approfondies, les résultats démontrent qu'un adversaire disposant d'un accès boîte blanche aux systèmes peut les pirater en utilisant des perturbations à peine perceptibles et les forcer à ignorer leur formation à l'alignement de sécurité. En outre, les perturbations adverses générées à l'aide d'un modèle peuvent casser un autre modèle avec un succès raisonnable, certains modèles présentant une plus grande robustesse que d'autres. Les résultats démontrent également l'efficacité d'une défense par inondation de bruit pour contrer les attaques.
Les chercheurs concluent :
Source : SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models (AWS AI Labs, Amazon)À notre connaissance, il s'agit de la première étude portant sur la vulnérabilité potentielle en matière de sécurité des modèles intégrés de parole et de langage. Nous pensons qu'avec l'adoption rapide de ces technologies, il est impératif de bien comprendre les implications de ces systèmes en termes de sécurité. En outre, il est important de concevoir des contre-mesures efficaces contre les menaces de piratage et d'empêcher les modèles de causer des dommages.
Une approche holistique de la compréhension de l'alignement des systèmes sur la sécurité est nécessaire, y compris l'étude des menaces adverses universelles (une seule perturbation pour jailbreaker plusieurs systèmes), les attaques par injection rapide, l'empoisonnement des modèles, etc. Nous espérons que ce travail servira de précurseur à de nombreuses études de ce type.
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
Partager