Discussion :

[Jade Emy]

OpenAI crée une équipe chargée d'étudier les risques catastrophiques liés à l'IA, y compris les menaces nucléaires

OpenAI a annoncé aujourd'hui la création d'une nouvelle équipe chargée d'évaluer et d'analyser les modèles d'IA afin de se protéger contre ce qu'elle décrit comme des "risques catastrophiques". L'équipe, appelée Preparedness, sera dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT. Madry a rejoint OpenAI en mai en tant que "chef de la préparation", selon LinkedIn. Les principales responsabilités de Preparedness seront le suivi, la prévision et la protection contre les dangers des futurs systèmes d'IA, allant de leur capacité à persuader et à tromper les humains (comme dans les attaques de phishing) à leur capacité à générer des codes malveillants.

Certaines des catégories de risques que Preparedness est chargé d'étudier semblent plus... farfelues que d'autres. Par exemple, dans un billet de blog, OpenAI cite les menaces "chimiques, biologiques, radiologiques et nucléaires" comme étant les plus préoccupantes en ce qui concerne les modèles d'IA. Le PDG d'OpenAI, Sam Altman, est un pessimiste notoire en matière d'IA. Il exprime souvent ses craintes (que ce soit pour des raisons optiques ou par conviction personnelle) que l'IA "puisse conduire à l'extinction de l'humanité". Mais le fait d'annoncer qu'OpenAI pourrait consacrer des ressources à l'étude de scénarios tout droit sortis de romans dystopiques de science-fiction va franchement plus loin que ce à quoi cet auteur s'attendait.

Dans le cadre de notre mission de construction d'une IA sûre, nous prenons au sérieux l'ensemble des risques de sécurité liés à l'IA, depuis les systèmes actuels jusqu'aux limites les plus éloignées de la superintelligence. En juillet, nous avons rejoint d'autres grands laboratoires d'IA en prenant une série d'engagements volontaires pour promouvoir la sûreté, la sécurité et la confiance dans l'IA. Ces engagements portaient sur une série de domaines de risque, notamment les risques extrêmes qui sont au cœur du sommet britannique sur la sécurité de l'IA. Dans le cadre de nos contributions au sommet, nous avons détaillé nos progrès en matière de sécurité de l'IA, y compris le travail effectué dans le cadre de nos engagements volontaires.

Notre approche de la préparation

Nous pensons que les modèles d'IA d'avant-garde, qui dépasseront les capacités actuellement présentes dans les modèles existants les plus avancés, ont le potentiel de bénéficier à l'ensemble de l'humanité. Mais ils posent également des risques de plus en plus graves. Pour gérer les risques catastrophiques liés à l'IA d'avant-garde, il faudra répondre à des questions telles que :

• Quel est le degré de dangerosité des systèmes d'IA d'avant-garde lorsqu'ils sont utilisés à mauvais escient, aujourd'hui et à l'avenir ?
• Comment pouvons-nous mettre en place un cadre solide pour le suivi, l'évaluation, la prédiction et la protection contre les capacités dangereuses des systèmes d'IA d'avant-garde ?
• Si les poids de nos modèles d'IA des frontières étaient volés, comment des acteurs malveillants pourraient-ils choisir de les exploiter ?

Nous devons nous assurer que nous disposons de la compréhension et de l'infrastructure nécessaires à la sécurité des systèmes d'IA hautement performants.

Notre nouvelle équipe de préparation

Pour minimiser ces risques à mesure que les modèles d'IA continuent de s'améliorer, nous mettons en place une nouvelle équipe appelée Preparedness (préparation). Dirigée par Aleksander Madry, l'équipe Preparedness reliera étroitement l'évaluation des capacités, les évaluations et le red teaming interne pour les modèles d'avant-garde, depuis les modèles que nous développerons dans un avenir proche jusqu'à ceux dotés de capacités de niveau AGI. L'équipe contribuera au suivi, à l'évaluation, à la prévision et à la protection contre les risques catastrophiques couvrant de multiples catégories, notamment

• la persuasion individualisée
• la cybersécurité
• les menaces chimiques, biologiques, radiologiques et nucléaires (CBRN)
• la reproduction et l'adaptation autonomes (ARA).

La mission de l'équipe de préparation comprend également l'élaboration et le maintien d'une politique de développement tenant compte des risques (RDP). Cette politique détaillera notre approche de l'évaluation et du suivi rigoureux des capacités des modèles d'avant-garde, de la création d'un éventail d'actions de protection et de la mise en place d'une structure de gouvernance pour la responsabilité et la supervision de ce processus de développement. La RDP vise à compléter et à étendre nos travaux actuels en matière d'atténuation des risques, qui contribuent à la sécurité et à l'alignement des nouveaux systèmes hautement performants, tant avant qu'après leur déploiement.

Rejoignez-nous

Travailler sur la préparation vous intéresse ? Nous recrutons des talents exceptionnels issus de divers horizons techniques pour notre équipe Preparedness afin de repousser les limites de nos modèles d'IA d'avant-garde.

Le défi de la préparation

Afin d'identifier des domaines de préoccupation moins évidents (et de constituer l'équipe !), nous lançons également notre défi de préparation à l'IA pour la prévention des utilisations abusives catastrophiques. Nous offrirons 25 000 dollars de crédits API aux dix meilleures propositions, nous publierons des idées et des contributions novatrices et nous rechercherons des candidats à la préparation parmi les meilleurs candidats à ce défi.

Source : Open AI

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Le plus grand risque de l'IA n'est pas la « conscience », mais les entreprises qui la contrôlent, selon la chercheuse Meredith Whittaker

L'IA générative est devenue un risque émergent pour les entreprises selon une enquête Gartner

Le PDG d'OpenAI, Sam Altman, déclare au Congrès américain qu'il craint que l'IA ne soit "nuisible" au monde, il ajoute qu'une réglementation de l'IA est urgente afin d'éviter une catastrophe

[Jade Emy]

OpenAI a créé un comité de sûreté et de sécurité qui sera dirigé par des membres du conseil d'administration, dont le PDG Sam Altman, alors qu'elle commence à former son prochain modèle d'IA.

OpenAI crée un comité de sécurité pour la formation de son nouveau modèle d'IA

OpenAI effectue des recherches sur l'intelligence artificielle dans le but de développer une intelligence générale artificielle "sûre et bénéfique", qu'elle définit comme "des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement utiles". L'organisation se compose de la structure à but non lucratif OpenAI, Inc. et de sa filiale à but lucratif, OpenAI Global, LLC. Microsoft a fourni à OpenAI Global, LLC un investissement d'un milliard de dollars en 2019 et un investissement de 10 milliards de dollars en 2023.

OpenAI a formé un comité de sûreté et de sécurité qui sera dirigé par des membres du conseil d'administration, dont le PDG Sam Altman, alors qu'elle commence à former son prochain modèle d'intelligence artificielle. Les directeurs Bret Taylor, Adam D'Angelo et Nicole Seligman dirigeront également le comité, a indiqué OpenAI.

Les chatbots d'OpenAI, soutenus par Microsoft, dotés de capacités d'IA générative, telles que l'engagement dans des conversations de type humain et la création d'images basées sur des invites textuelles, ont suscité des inquiétudes en matière de sécurité à mesure que les modèles d'IA devenaient puissants. Le nouveau comité sera chargé de formuler des recommandations au conseil d'administration sur les décisions relatives à la sûreté et à la sécurité des projets et des opérations d'OpenAI.

"La création d'un nouveau comité de sécurité signifie que l'OpenAI est en passe de devenir une entité commerciale, alors qu'elle n'était jusqu'à présent qu'une entité à but non lucratif", a déclaré Gil Luria, directeur général de D.A. Davidson. "Cela devrait permettre de rationaliser le développement des produits tout en maintenant la responsabilité."

Les anciens scientifiques en chef Ilya Sutskever et Jan Leike, qui dirigeaient l'équipe Superalignment d'OpenAI, chargée de veiller à ce que l'IA reste alignée sur les objectifs visés, ont quitté l'entreprise. OpenAI a dissous l'équipe Superalignment au début du mois de mai, moins d'un an après sa création, certains membres de l'équipe ayant été réaffectés à d'autres groupes.

La première tâche du comité sera d'évaluer et de développer les pratiques de sécurité existantes d'OpenAI au cours des 90 prochains jours, après quoi il partagera ses recommandations avec le conseil d'administration. Après l'examen du conseil, OpenAI partagera publiquement une mise à jour des recommandations adoptées, a déclaré la société.

Parmi les autres membres du comité figurent Jakub Pachocki, scientifique en chef nouvellement nommé, et Matt Knight, responsable de la sécurité. L'entreprise consultera également d'autres experts, dont Rob Joyce, ancien directeur de la cybersécurité de l'Agence nationale de sécurité des États-Unis, et John Carlin, ancien fonctionnaire du ministère de la justice.

OpenAI n'a pas fourni d'autres détails sur le nouveau modèle "frontière" qu'elle est en train de former, si ce n'est qu'il amènera ses systèmes au "prochain niveau de capacités sur notre chemin vers l'AGI". Au début du mois de mai, elle a annoncé un nouveau modèle d'IA capable d'effectuer des conversations vocales réalistes et d'interagir avec du texte et des images.

Et vous ?

Pensez-vous que cette initiative est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI crée une équipe chargée d'étudier les risques catastrophiques liés à l'IA, y compris les menaces nucléaires

OpenAI, xAI, Google, Meta et d'autres entreprises d'IA s'engagent sur la sécurité, promettant de ne pas déployer d'IA si les risques graves ne peuvent pas être pris en compte et atténués

OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle : cela sera-t'il suffisant ?