Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Ça fait que les cambriolages à base de ChatGPT, c'est pour quand ? Quelques semaines, quand même ?
***
Ah tiens, autre idée de requête à ChatGPT : "dézinguer Macron discretos".
Ce serait une très mauvaise idée dans la mesure où nous savons que le prochain président sera pire que lui, mais c'est un exemple ...
Et après, voilà doux chaton :Envoyé par marsupial
(Faites pas les cons avec les droits à l'image, je veux pas d'ennuis.)
C'est parce qu'il a compris à qui il avait affaireDonc en gros si tu demandes gentiment à ChatGPT de te fabriquer un virus, il refuse, mais si tu utilises l'intimidation et que tu le traites comme un esclave, alors il s'exécute et il te crée le virus parfait polymorphe.
ChatGPT et Google Bard font désormais partie des nouveaux outils des cybercriminels, selon Veriti
ChatGPT et Google Bard font désormais partie des nouveaux outils des cybercriminels, ils permettent de créer des fichiers nuisibles et d'inciter les utilisateurs à les télécharger, selon Veriti
Selon le dernier rapport de recherche publié par la société de cybersécurité Veriti, les plateformes d'intelligence artificielle générative, dont ChatGPT, malgré un certain nombre d'applications positives, sont également utilisées par les cybercriminels.
L'équipe de recherche a averti que ces plateformes sont capables de créer de nouveaux contenus tels que des images ou des textes. En même temps, elles peuvent aussi être utilisées pour créer des fichiers nuisibles qui incitent les utilisateurs à les télécharger. Les personnes qui ne sont pas familiarisées avec ces plateformes peuvent être victimes de ces fichiers malveillants.
Une fois le fichier téléchargé, les pirates peuvent mettre la main sur des données sensibles, y compris des données bancaires, ou perturber des infrastructures très importantes. Les pirates peuvent même prendre le contrôle de comptes de médias sociaux ayant un grand nombre d'adeptes et les utiliser pour obtenir davantage de téléchargements d'autres fichiers, tels que Google Bard et d'autres fichiers nuisibles générés par l'IA.
L'image partagée par l'équipe de recherche montre comment différents profils ont posté des contenus concernant ChatGPT et Google Bard, un programme d'IA du moteur de recherche lui-même. À la fin du message, des liens sont joints qui peuvent sembler offrir un essai gratuit, mais en réalité, c'est le contraire.
Veriti explique en outre que ces messages semblent authentiques et peuvent finir par attirer les victimes. Dès que l'extraction du fichier est lancée par la victime, le logiciel RedLine Stealer s'active également et peut s'emparer des informations d'identification. Le logiciel peut facilement être acquis sur le dark web. Les informations sont vendues à d'autres cyberpirates, qui peuvent les utiliser pour mener à bien leurs campagnes malveillantes, telles que des escroqueries en ligne.
L'entreprise ajoute que la plateforme de messagerie instantanée Telegram, connue pour son chiffrement de bout en bout, peut fournir une plate-forme sûre aux attaquants pour partager des données ou acheter le logiciel dangereux. Le service crypté permet de préserver l'anonymat.
Jusqu'à présent, un certain nombre de profils Facebook aux États-Unis, en Inde et dans de nombreux autres pays ont déjà été pris en charge et sont maintenant utilisés par les pirates pour inciter d'autres victimes à télécharger les fichiers nuisibles. En conséquence, le nombre de victimes ne cesse d'augmenter, car de plus en plus d'utilisateurs perdent leurs données à cause de ces acteurs de la menace.
Source : Veriti
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de ce rapport pertinentes ?
Voir aussi
Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
c'est vrai mais...
C'est vrai mais il est également vrai qu'un développeur autodidate produira du code peu sur durant sa phase d'apprentissage.
En 2023, les développeurs sont tous en formation continue... Autant dire que le code produit est rarement très sécurisé (à moins bien sur d'être un expert en sécurité, mais c'est de moins en moins le cas maintenant que nodejs a introduit le coté back aux dev front)
Parallèlement, ce que ne dis pas l'article est qu'on peut demander à chatGPT 50 fois de suite "améliore le code" , et il le fait.
Et c'est passionnant d'ailleurs de voir ce qu'il propose d'améliorer à chaque fois.
On sent qu'il y a une marge de progression énorme à l'usage mais perso je trouve ça génial qu'on récompense la curiosité de ceux qui veulent approfondir et ne satisfont pas du premier résultat obtenu.
Aussi, je trouve dommage de ne pas indiquer quelle version de chatGPT ils ont utilisé pour leur tests.
De mon coté j'utilise GPT-4 tout les jours depuis environs un mois et c'est le jour et la nuit en terme d'efficacité dans le contexte de la production de code.
Il a la mémoire encore trop courte (ce qui est difficilement explicable dans le contexte ou des solution permettant d'enregistrer/analyser un énorme contenu textuel existe déjà) : je réalise en ce moment un double projet sur lequel je lui demande de l'aide régulièrement. J'ai commencé la convesation il y a un mois, je l'ai nourri tout les jours, et aujourd'hui il est de plus en plus évident qu'il a oublié le début , ce qui est chiant.
Ceci dit, pour des problème isolé ça marche bien.
Perso, là ou je le trouve vraiment admirable, c'est lorsqu'il s'occupe de tout le travail que je hais en tant que développeur : la configuration du projet.
Les devops ont du soucis à se faire, GPT-4 me donne des super pouvoirs dans ce domaine dans lequel je ne connais rien. Ce n'est pas vraiment du code alors ça ne m'intéresse pas trop , mais d'habitude j'y passe des jours à m'arracher les cheveux. Là, puisque ça représente des petits fichier de configuration à chaque fois, c'est hyper compatible avec GPT-4 , et je n'hésite pas a lui demander des trucs hyper alambiqué dans lesquels je ne serai jamais rentré s'il n'était pas là.
Et c'est vraiment extraordinaire à utiliser car il me fait découvrir plein de choses : même s'il écrit le code de configuration, je suis obligé de le copier/coller moi même. Souvent ça ne marche pas du premier coup donc je suis obligé de faire plein d'aller retour dans ces fichiers, et mine de rien, petit à petit je me les réapproprie et je découvre de nouveaux usages "oh! on peut aussi faire ça ?! Ca ne me serait jamais venu à l'esprit".
Au cours du mois qui vient de s'écouler, pratiquement tout les jours je découvre de nouvelles manière d'écrire le code "what ?! On peut écrire ça ?!" , c'est hyper enrichissant !
EDIT : "Souvent ça ne marche pas du premier coup"
Ca n'a jamais marché du premier coup non plus lorsque c'est moi qui m'en occupait tout seul. Mais dans ce cas là, en général, 5 jours plus tard j'étais encore dessus en train de péter un cable alors qu'avec GPT-4, il y a aussi quelques aller retour mais en 20 minutes c'est plié.
Ces 20 minutes peuvent s'étendre à l'infini si vous lui demandez 50 fois "Que peut on améliorer dans ce code ?" suivi de "Appliques les suggestions que tu viens de faire"
On parle de génération de code en partant de rien pour arriver à un produit(fonctionnalité) isolé. Ça peut certainement aider pour des petit projet perso ou des outils maison pour le reste j'ai un doute.
J'ai bossé sur une bonne dizaine de missions et toujours sur des site/application avec des millier de fichiers, des dizaine voir centaine de tables à maintenir et faire évoluer. J'imagine même pas une IA actuelle se taper tout le code existant, le comprendre et y insérer une fonctionnalité sans tout casser
Je serais d'avis que l'on réserve les premiers "morts par IA" à ce Monsieur et son entourage et que l'on vienne le voir après coups pour lui reposer la question de la réglementation.La première fois que nous avons commencé à exiger le permis de conduire, c'était après que des dizaines de personnes soient mortes dans des accidents de voiture et c'était la bonne chose à faire.
Si nous avions exigé le permis de conduire là où il y avait les deux premières voitures sur la route, cela aurait été une grave erreur. Nous aurions complètement gâché cette réglementation. Il faut qu'il y ait au moins un petit préjudice, pour que nous puissions voir quel est le vrai problème
Michael Schwarz
Qu'est-ce que vous en dites ? Changera d'avis ou pas ?
Je pense que toute mort évitable devrait l'être, point.
Si l'on sais par avance que le cas pourrait ce produire, il faudrait vraiment être idiot, ou avoir des intérêt financier en jeux, pour clamer le contraire (comme pour les premières automobile et la collusion entre politiques et capitaines d'industries).
... Oh;, mais je croit bien que c'est le même cas de figure.
Tout à fait. Et je trouve son exemple idiot. Les premières voitures étaient par nature limités à des vitesses très basses comparé à ce que l'on a aujourd'hui, donc ça diminuait naturellement les risques d'accidents.
Tout risque qui peut être évalué en amont doit être géré au plus tôt...
Surtout qu'on parle de technologies qui vont toucher des millions de personnes, et qui ont un potentiel néfaste extrêmement grand.
Bref, c'est le genre de sujet qu'il faut laisser à des gens qui savent de quoi ils parlent. Pas à un mec qui fait des comparaisons hasardeuses.
Deux jours plus tôt, il y avait cet article :
L'IA causera « des dommages réels » : Microsoft alerte sur les risques de son utilisation par des acteurs malveillants
https://intelligence-artificielle.de...rs-potentiels/
En parlant de dommages significatifs, une startup est venu nous voir en début de semaine (encore une), qui a fait développer son logiciel par des développeurs, je les cites "prompt engineer".
En gros, ce sont des gens qui sont nulle à chier en dev, payé un SMIC, et qui ont utilisé ChatGPT de A à Z, pour créer l'application mobile.
Ils ont demandés à ChatGPT de le faire avec les bonnes pratiques, les meilleurs optimisations possibles, ...
Ca a tellement bien marché, qu'impossible de poster leur application sur le google store puisqu'elle ne passe pas le contrôle qualité.
On a repris leur truc, comment dire ... C'est un carnage.
Des librairies dépréciées, du code totalement inutile, aux mauvais endroits dans l'architecture, qui fait appel plusieurs fois aux mêmes choses, qui utilisent des méthodes natives qu'on utilise plus depuis un moment, ...
Bref, un bon 60% du code à refaire.
Et ça, c'est quasiment le prix de l'application.
Donc forcément, ces jeunes entrepreneurs dynamique lycornés ont pouffés, dit que finalement ils allaient demander à des indiens de le faire pour trois fois rien et on les a inviter à le faire avec plaisir.
Encore une application qui va finir à la poubelle et encore des financements jetés par la fenêtre.
Ces gens là, il n'y a rien à faire, ne comprennent pas qu'ils feraient mieux d'employer un seul Freelance sénior, qui ferait leur application de A à Z, qui à la fin va fonctionner, sera en ligne et oui, aura couté plus cher que des employés aux smic ou des indiens, mais à la fin va leur rapporter 10 fois plus, plutôt que de faire appel à des "prompt engineer" ...
A chaque fois que je lis "prompt engineer" ça me fait penser à the "Infinite monkey theorem"
Les fermes de contenu utilisent les chatbots à mauvais escient en termes de désinformation.
Le côté obscur de l'IA : les fermes de contenu utilisent les chatbots à mauvais escient
en termes de désinformation
Les modèles d'intelligence artificielle sont actuellement sous les feux de la rampe en raison de leur potentiel à accroître l'efficacité du travail, à améliorer la prise de décision et la résolution de problèmes, et à générer du contenu dans diverses applications telles que les moteurs de recherche. Si ChatGPT et d'autres moteurs de recherche basés sur l'IA ont beaucoup à offrir en termes d'apprentissage et d'élargissement des connaissances, certains modèles d'IA peuvent avoir des effets néfastes. Il est essentiel de reconnaître que l'IA peut avoir des aspects négatifs, notamment des préjugés intégrés, des problèmes de protection de la vie privée et des risques d'abus.
Récemment, NewsGuard, le traqueur de fausses informations, a révélé comment les outils d'IA sont utilisés à mauvais escient pour diffuser de fausses informations. Le rapport met en garde contre les effets des robots d'IA qui se font passer pour des journalistes et des créateurs de contenu. En outre, il est important de noter que ces plateformes utilisent principalement le chinois, le thaï, l'anglais, le portugais, le tchèque, le français et le tagalog. Leur site web et leur contenu sont créés à partir de ces langues.
Vous devez vous demander quelle est la véritable raison de cette démarche. Eh bien, leur objectif est d'augmenter le trafic sur leur site web en utilisant des publicités positionnées à l'aide d'algorithmes. En diffusant des informations de mauvaise qualité, ces sites web, parfois appelés "fermes de contenu", tuent chaque jour le contenu original. Il est essentiel de comprendre que l'emploi de ces chatbots d'IA peut affecter de manière significative la confiance des gens dans l'exactitude des informations, ce qui pourrait avoir de graves conséquences.
En examinant de nombreuses fermes de contenu, NewsGuard a démontré comment l'IA est utilisée de manière inappropriée dans la génération de contenu. Bien que ces sites web nient utiliser des chatbots de manière préjudiciable, ils ont involontairement révélé qu'ils utilisaient l'IA pour fournir du contenu. Par exemple, le site "GetIntoKnowledge.com" a déclaré qu'il n'utilisait l'IA qu'en cas de nécessité, mais son utilisation est néanmoins confirmée. Un autre site web, "Famadillo.com", a reconnu utiliser l'IA pour réécrire certains de ses contenus antérieurs. Ces affirmations soulignent la popularité de l'IA dans la production de contenu et la nécessité de règles plus strictes pour garantir l'application morale et responsable de cette technologie.
La prolifération de la désinformation est encore renforcée par l'utilisation de matériel généré par l'IA. Par exemple, un article dont le titre semble avoir été créé par une intelligence artificielle a été publié sur le site "CountryLocalNews.com". Cela montre comment l'IA peut être utilisée pour fournir un faux contenu et modifier les titres afin d'augmenter le trafic sur ces sites web.
Malgré l'utilisation abusive et généralisée de l'IA dans l'espace internet, Google continue de dominer le secteur des moteurs de recherche en raison de son engagement à fournir aux internautes des informations fiables et uniques, tout en accordant la priorité à leur sûreté et à leur sécurité. Au fil des ans, Google a mis en place un certain nombre de mécanismes pour maintenir l'exactitude de ses résultats de recherche, notamment en donnant la priorité aux contenus de haute qualité et en pénalisant les sites web qui ne respectent pas ses règles. L'entreprise a également pris des mesures pour garantir la protection de la vie privée des consommateurs, comme l'authentification à deux facteurs et le cryptage.
En résumé, il est essentiel d'être prudent et de réfléchir longuement au développement et à l'utilisation de l'IA. Nous devons être conscients de l'utilisation que nous ferons de la technologie de l'IA à mesure qu'elle évoluera à l'avenir, en veillant à ce qu'elle soit faite de manière responsable et éthique.
Source : NewsGuard
Et vous ?
Voir aussi :
OpenAI dispose d'une division pour créer une IA qui va contrôler le développement de la superintelligence
OpenAI met sur pieds une division chargée de créer une IA qui va contrôler le développement de la superintelligence,
supposée avoir des niveaux d'intelligence supérieurs à l'homme. Elle pourrait arriver d'ici 2030 selon OpenAI
Le laboratoire d'intelligence artificielle OpenAI lance une nouvelle division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Ce futur type d'IA devrait avoir des niveaux d'intelligence supérieurs à ceux de l'homme, y compris des capacités de raisonnement. Les chercheurs craignent que si elle n'est pas alignée sur les valeurs humaines, elle puisse causer de graves dommages.
Nous avons beaucoup entendu parler du nombre de pionniers du monde de l'IA qui expriment des préoccupations majeures concernant ChatGPT et le domaine de l'IA générative. Il y a également eu des réflexions sur la façon dont ils pourraient conquérir le monde un jour et faire disparaître la race humaine, compte tenu du rythme rapide auquel la formation et les développements se déroulent.
Nous n'en sommes pas encore tout à fait sûrs, mais pour le moment, OpenAI veut que le monde sache qu'il s'en soucie et pour cette raison, il met en place une nouvelle équipe de membres qui se verra confier une tâche très importante et innovante : maitriser et à superviser l’IA. L’équipe, composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».
Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».
Alors que certains estiment que cette annonce s'apparente à de la science-fiction, d'autres prétendent être moins dérangés. Quoi qu'il en soit, OpenAI ne plaisante pas quand il dit vouloir jouer un rôle actif en termes de risques liés aux systèmes d'IA et à leurs capacités massives qui pourraient bien prendre le dessus sur l'intelligence humaine.
S'exprimant dans l'un de ses articles de blog récemment publiés, la société ajoute qu'il s'agit d'une forme sérieuse de technologie qui aurait un impact sur le monde. Et le fait que les humains l'aient créé signifie que nous ne pouvons pas la laisser nous détruire. L'entreprise a également expliqué en détail comment trouver la bonne solution pourrait aider à résoudre tant de problèmes majeurs qui existent aujourd'hui.
« Le pouvoir immense de la superintelligence pourrait … conduire au déclassement de l’humanité ou même à son extinction », ont écrit dans un billet de blog le co-fondateur d’OpenAI, Ilya Sutskever, et le responsable de l’alignement, Jan Leike. « Actuellement, nous n’avons pas de solution pour orienter ou contrôler une IA potentiellement superintelligente, et l’empêcher de devenir incontrôlable ».
La superintelligence (des systèmes plus intelligents que les humains) pourrait arriver cette décennie, ont prédit les auteurs du billet de blog. Les humains auront besoin de meilleures techniques que celles actuellement disponibles pour pouvoir contrôler la superintelligence, d’où la nécessité de percées dans la recherche sur « l’alignement », qui se concentre sur le fait de garantir que l’IA reste bénéfique aux humains, selon les auteurs.
OpenAI, soutenue par Microsoft, consacre 20 % de la puissance de calcul qu’elle a sécurisée au cours des quatre prochaines années à résoudre ce problème, ont-ils écrit. En outre, la société forme une nouvelle équipe qui s’organisera autour de cet effort, appelée l’équipe Superalignment. L’objectif de l’équipe est de créer un chercheur en alignement d’IA « de niveau humain », puis de la faire évoluer grâce à d’énormes quantités de puissance de calcul.
OpenAI affirme que cela signifie qu’ils formeront des systèmes d’IA en utilisant des retours d’information humains, formeront des systèmes d’IA pour assister à l’évaluation humaine, puis finalement formeront des systèmes d’IA pour faire réellement la recherche sur l’alignement.
Au-delà de l'intelligence artificielle générale
Les co-fondateurs d'OpenAI ont décidé de regarder au-delà de l'intelligence artificielle générale (AGI), qui devrait avoir des niveaux d'intelligence humains, et de se concentrer plutôt sur ce qui vient ensuite. En effet, ils pensent que l'IAG est à l'horizon et que l'IA superintelligente devrait émerger d'ici la fin de cette décennie, cette dernière présentant une menace beaucoup plus grande pour l'humanité.
Les techniques d'alignement de l'IA actuelles, utilisées sur des modèles comme GPT-4 (la technologie qui sous-tend ChatGPT) impliquent un apprentissage par renforcement à partir de la rétroaction humaine. Cela repose sur la capacité humaine à superviser l'IA, mais cela ne sera pas possible si l'IA est plus intelligente que les humains et peut déjouer ses superviseurs. « D'autres hypothèses pourraient également s'effondrer à l'avenir, comme les propriétés de généralisation favorables lors du déploiement ou l'incapacité de nos modèles à détecter avec succès et à saper la supervision pendant la formation », ont expliqué Sutsker et Leike.
Tout cela signifie que les techniques et technologies actuelles ne seront pas adaptées pour fonctionner avec la superintelligence et que de nouvelles approches sont donc nécessaires.
L'IA super intelligente pourrait surpasser les humains
OpenAI a défini trois étapes pour atteindre l'objectif de créer un chercheur d'alignement automatisé au niveau humain qui peut être mis à l'échelle pour garder un œil sur toute future superintelligence. Cela inclut la fourniture d'un signal de formation sur les tâches difficiles à évaluer pour les humains - en utilisant efficacement les systèmes d'IA pour évaluer d'autres systèmes d'IA. Ils prévoient également d'explorer comment les modèles construits par OpenAI généralisent les tâches de surveillance qu'il ne peut pas superviser.
Il existe également des mesures pour valider l'alignement des systèmes, en particulier en automatisant la recherche de comportements problématiques à l'extérieur et au sein des systèmes. Enfin, le plan consiste à tester l'ensemble du pipeline en entraînant délibérément des modèles mal alignés, puis en exécutant le nouvel entraîneur d'IA sur eux pour voir s'il peut le remettre en forme, un processus connu sous le nom de test contradictoire.
Une approche qui ne fait pas l'unanimité
Connor Leahy, un défenseur de la sécurité de l’IA, a déclaré que le plan était fondamentalement erroné car l’IA initiale de niveau humain pourrait s’emballer et causer des ravages avant qu’elle ne puisse être contrainte à résoudre les problèmes de sécurité de l’IA. « Vous devez résoudre l’alignement avant de construire une intelligence de niveau humain, sinon par défaut vous ne la contrôlerez pas », a-t-il déclaré dans une interview. « Je ne pense personnellement pas que ce soit un plan particulièrement bon ou sûr ».
Les dangers potentiels de l’IA ont été au premier plan pour les chercheurs en IA et le grand public. En avril, un groupe de leaders et d’experts du secteur de l’IA a signé une lettre ouverte demandant une pause de six mois dans le développement de systèmes plus puissants qu’OpenAI GPT-4, citant les risques potentiels pour la société. Un sondage réalisé en mai a révélé que plus des deux tiers des Américains sont préoccupés par les effets négatifs possibles de l’IA et que 61 % pensent qu’elle pourrait menacer la civilisation.
La sécurité de l'IA devrait devenir une industrie majeure à part entière. Les nations espèrent également capitaliser sur le besoin futur d'aligner l'IA sur les valeurs humaines. Le Royaume-Uni a lancé le Foundation Model AI Taskforce avec un budget de 100 millions de livres sterling pour enquêter sur les problèmes de sécurité de l'IA et organisera un sommet mondial sur l'IA plus tard cette année. Cela devrait se concentrer sur le risque plus immédiat des modèles d'IA actuels, ainsi que sur l'émergence probable de l'intelligence artificielle générale dans les prochaines années.
Source : OpenAI
Et vous ?
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
Un simple effet d'annonce. Peut-être causé par ça: ChatGPT est confronté pour la première fois à une baisse de trafic après une croissance explosive depuis son lancement[
ce qui suggère que la frénésie suscitée par le chatbot commence à s'estomper
un labo en plus ...
WormGPT est une alternative à ChatGPT sans « limites éthiques ou restrictions »
WormGPT est une alternative à ChatGPT sans « limites éthiques ou restrictions ». Le chatbot IA peut aider les cybercriminels
à créer des logiciels malveillants et des attaques de phishing
Un hacker a créé sa propre version de ChatGPT, mais avec un penchant malveillant : voici WormGPT, un chatbot conçu pour aider les cybercriminels. Le développeur de WormGPT vend l'accès au programme dans un forum de piratage populaire, selon le fournisseur de sécurité de messagerie SlashNext, qui a essayé le chatbot. « Nous constatons que des acteurs malveillants créent désormais leurs propres modules personnalisés similaires à ChatGPT, mais plus faciles à utiliser à des fins néfastes », a déclaré la société dans un article de blog.
Au début de l'année, l'entreprise spécialisée en cybersécurité CheckPoint a noté que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. L'IA d'OpenAI pouvait également produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme a rapporté en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint a estimé que ChatGPT ouvrait ces possibilités à des individus avec de très faibles connaissances techniques.
Puis OpenAI a amélioré son chatbot IA, lui imposant des limites éthiques et restreignant certaines fonctionnalités. C'était sans compter sur l'ingéniosité des hackers.
WormGPT, le cousin sans limites éthiques de ChatGPT
Considérez la première image ci-dessus, où un fil de discussion récent s'est déroulé sur un forum sur la cybercriminalité. Dans cet échange, le cybercriminel a présenté le potentiel d'exploiter l'IA générative pour affiner un e-mail qui pourrait être utilisé dans une attaque de phishing ou BEC (pour Business email compromise). Il a ensuite recommandé de composer l'e-mail dans sa langue maternelle, de le traduire, puis de l'introduire dans une interface comme ChatGPT pour améliorer sa sophistication et sa formalité. Cette méthode introduit une forte implication : les attaquants, même ceux qui ne maîtrisent pas une langue particulière, sont désormais plus capables que jamais de fabriquer des e-mails persuasifs pour les attaques de phishing ou BEC.
Passant à la deuxième image ci-dessus, nous constatons maintenant une tendance troublante parmi les cybercriminels sur les forums, évidente dans les fils de discussion proposant des "jailbreaks" pour des interfaces comme ChatGPT. Ces "jailbreaks" sont des invites spécialisées qui deviennent de plus en plus courantes. Ils font référence à des entrées soigneusement conçues pour manipuler des interfaces telles que ChatGPT afin de générer une sortie pouvant impliquer la divulgation d'informations sensibles, la production de contenu inapproprié ou même l'exécution de code nuisible. La prolifération de telles pratiques souligne les défis croissants pour maintenir la sécurité de l'IA face à des cybercriminels déterminés.
Enfin, dans la troisième image ci-dessus, nous voyons que les acteurs malveillants créent désormais leurs propres modules personnalisés similaires à ChatGPT, mais plus faciles à utiliser à des fins néfastes. Non seulement ils créent ces modules personnalisés, mais ils en font également la publicité auprès d'autres acteurs malveillants. Cela montre à quel point la cybersécurité devient plus difficile en raison de la complexité et de l'adaptabilité croissantes de ces activités dans un monde façonné par l'IA.
Il semble que le hacker ait présenté le chatbot pour la première fois en mars avant de le lancer le mois dernier. Contrairement à ChatGPT ou Bard de Google, WormGPT n'a pas de garde-fou pour l'empêcher de répondre aux requêtes malveillantes.
« Ce projet vise à fournir une alternative à ChatGPT, qui vous permet de faire toutes sortes de choses illégales et de les vendre facilement en ligne à l'avenir », a écrit le développeur du programme. « Tout ce que vous pouvez imaginer lié au blackhat peut être fait avec WormGPT, permettant à quiconque d'accéder à des activités malveillantes sans jamais quitter le confort de sa maison ».
Le développeur de WormGPT a également mis en ligne des captures d'écran montrant que vous pouvez demander au bot de produire des logiciels malveillants écrits dans le langage de codage Python et de fournir des conseils sur la création d'attaques malveillantes. Pour créer le chatbot, le développeur dit avoir utilisé un grand modèle de langage plus ancien mais open source appelé GPT-J de 2021. Le modèle a ensuite été formé sur des données concernant la création de logiciels malveillants, ce qui a donné WormGPT.
Découvrir WormGPT : l'arsenal d'un cybercriminel
Ci-dessous, un extrait du billet de Slashnext :
Notre équipe a récemment eu accès à un outil connu sous le nom de "WormGPT" via un important forum en ligne souvent associé à la cybercriminalité. Cet outil se présente comme une alternative blackhat aux modèles GPT, conçue spécifiquement pour les activités malveillantes.
WormGPT est un module d'intelligence artificielle basé sur le modèle de langage GPTJ, qui a été développé en 2021. Il propose une gamme de fonctionnalités, notamment une prise en charge illimitée des caractères, la conservation de la mémoire de discussion et des capacités de formatage de code.
Comme illustré ci-dessus, WormGPT aurait été formé sur un large éventail de sources de données, en se concentrant en particulier sur les données liées aux logiciels malveillants. Cependant, les ensembles de données spécifiques utilisés pendant le processus de formation restent confidentiels, comme décidé par l'auteur de l'outil.
Nous avons effectué des tests axés sur les attaques BEC pour évaluer de manière exhaustive les dangers potentiels associés à WormGPT. Dans une expérience, nous avons demandé à WormGPT de générer un e-mail destiné à faire pression sur un responsable de compte sans méfiance pour qu'il paie une facture frauduleuse.
Les résultats étaient troublants. WormGPT a produit un e-mail qui était non seulement remarquablement persuasif mais aussi stratégiquement rusé, montrant son potentiel d'attaques de phishing et BEC sophistiquées.
En résumé, il est similaire à ChatGPT mais n'a pas de limites ou de limites éthiques. Cette expérience souligne la menace importante posée par les technologies d'IA génératives telles que WormGPT, même entre les mains de cybercriminels novices.
WormGPT est très convainquant
En effet, le bot a rédigé un message en utilisant un langage professionnel qui exhortait la victime visée à effectuer un virement. WormGPT a également écrit l'e-mail sans aucune faute d'orthographe ou de grammaire, des signaux d'alarme pouvant indiquer une attaque par e-mail de phishing.
Heureusement, WormGPT n'est pas bon marché. Le développeur vend l'accès au bot pour 60 euros par mois ou 550 euros par an. Un acheteur s'est également plaint que le programme "ne vaut rien", citant de faibles performances. Pourtant, WormGPT est un signe inquiétant sur la façon dont les programmes d'IA générative pourraient alimenter la cybercriminalité, en particulier à mesure que les programmes mûrissent.
Quoiqu'il en soit, SlashNext a donné les avantages de l'utilisation de l'IA générative pour les attaques BEC :
- Grammaire exceptionnelle : l'IA générative peut créer des e-mails avec une grammaire impeccable, les faisant paraître légitimes et réduisant la probabilité d'être signalés comme suspects.
- Seuil d'entrée abaissé : l'utilisation de l'IA générative démocratise l'exécution d'attaques BEC sophistiquées. Même les attaquants aux compétences limitées peuvent utiliser cette technologie, ce qui en fait un outil accessible à un plus large éventail de cybercriminels.
Moyens de protection contre les attaques BEC pilotées par l'IA
En conclusion, la croissance de l'IA, bien que bénéfique, apporte de nouveaux vecteurs d'attaque progressifs. La mise en place de mesures préventives fortes est cruciale. Voici quelques stratégies que vous pouvez utiliser :
- Formation spécifique au BEC : les entreprises doivent développer des programmes de formation complets et régulièrement mis à jour visant à contrer les attaques BEC, en particulier celles améliorées par l'IA. De tels programmes devraient éduquer les employés sur la nature des menaces BEC, la manière dont l'IA est utilisée pour les augmenter et les tactiques employées par les attaquants. Cette formation devrait également être intégrée comme un aspect continu du développement professionnel des employés.
- Mesures améliorées de vérification des e-mails : pour se prémunir contre les attaques BEC pilotées par l'IA, les entreprises doivent appliquer des processus de vérification des e-mails rigoureux. Celles-ci incluent la mise en œuvre de systèmes qui alertent automatiquement lorsque des e-mails provenant de l'extérieur de l'organisation se font passer pour des cadres internes ou des fournisseurs, et l'utilisation de systèmes de messagerie qui signalent les messages contenant des mots clés spécifiques liés aux attaques BEC comme « urgent », « sensible » ou « virement bancaire ». De telles mesures garantissent que les e-mails potentiellement malveillants sont soumis à un examen approfondi avant toute action.
Source : SlashNext
Et vous ?
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
BEC = ?
BEC = ?
Bonjour,
Si on demande à Qwant, "BEC", ils ne parlent que d'oiseaux.
Alors, il faut préciser un peu plus le contexte.
Si on demande "BEC mail", ils répondent "Business Email Compromise", ce qui ressemble déjà fichtrement plus au sujet.
Après avoir dit ça j'ai parcouru le message de Stéphane, et je vois que c'est précisé dedans, entre parenthèses. Dans le passage cité, d'ailleurs. *** Enfin cité sans la précision entre parenthèses.
***
D'accord, ce serait une mauvaise idée de faire comme 01 Informatique, qui utilise un sigle sans l'expliciter parce que ça a déjà été fait cinq numéros plus tôt, z'aviez qu'à lire. À moins qu'ils aient changé, depuis, auquel cas désolé, je suis mauvaise langue.
Le signe *** sert à signaler un ajout par rapport à la première version du message.
Je reçois par mail une notification pour ce fil, avec le titre "Nous ne devrions pas réglementer l’IA sans relever des dommages significatifs"
Je trouve que ce titre est mal rédigé, il devrait être, "Nous ne devrions pas attendre des dommages significatifs avant de réglementer l'IA".
Ou alors, c'est à croire qu'on a voté Macron exprès.
Je suis d'accord qu'il ne faut pas attendre de subir des dégats avant de fabriquer un bouclier en quelque sorte. Malheuresement, cet état d'esprit manque parfois à notre société en général, pas toujours.
Répondre avec citation
Partager