Discussion :

[Mathis Lucas]

Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, lance une nouvelle startup pour construire une "superintelligence" sûre et puissante
après avoir échoué à maintenir OpenAI sur cette voie

Ilya Sutskever, cofondateur et ancien scientifique en chef d'OpenAI, a dévoilé son nouveau point de chute dans un billet de blogue mercredi. Il lance une nouvelle startup baptisée Safe Superintelligence Inc. (SSI) avec "un seul objectif et un seul produit" : créer une superintelligence sûre et puissante. Il promet que sa nouvelle société donnera la priorité à la sécurité plutôt qu'aux "pressions commerciales", critiquant ainsi la nouvelle direction donnée par Sam Altman à OpenAI. Son départ d'OpenAI a été précipité par son soutien au licenciement de Sam Altman et les désaccords sur la priorité de l'entreprise en ce qui concerne la sécurité et les profits.

Ilya Sutskever a présenté sa nouvelle entreprise d'IA dans un billet de blogue mercredi. L'ancien responsable de la sécurité des produits d'IA chez OpenAI a déclaré d'emblée que la construction d'une superintelligence est le problème technique le plus important de notre époque. L'annonce décrit SSI comme une startup qui "aborde la sécurité et les capacités en tandem", ce qui permet à l'entreprise de faire progresser rapidement son système d'IA tout en donnant la priorité à la sécurité. Elle souligne aussi les pressions externes auxquelles sont souvent confrontées les équipes d'IA d'entreprises telles qu’OpenAI, Google et Microsoft.

Le billet précise que la "focalisation unique" de SSI lui permet d'éviter d'être "distraite par les frais généraux de gestion ou les cycles de produits". Il manque toutefois des détails sur la manière dont la startup compte accomplir sa mission. Sutskever a apporté quelques éclaircissements à Bloomberg, mais a refusé de parler de sa situation financière ou de son évaluation. À en juger par l'intérêt porté à l'IA et par les références impressionnantes de l'équipe, il se pourrait que la startup croule sous les capitaux très bientôt. L'équipe a d'ailleurs assuré à Bloomberg que la recherche de capitaux ne sera pas un problème pour la startup.

I am starting a new company: https://t.co/BG3K3SI3A1

— Ilya Sutskever (@ilyasut) June 19, 2024

SSI a été cofondée par Ilya Sutskever, cofondateur et ancien responsable scientifique d'OpenAI, Daniel Gross, ancien partenaire de l'accélérateur de startup Y Combinator, et Daniel Levy, ancien ingénieur d'OpenAI. « De tous les problèmes auxquels nous sommes confrontés, la recherche de capitaux ne sera pas l'un d'entre eux », a déclaré Gross à Bloomberg. SSI a des bureaux à Palo Alto, en Californie, et à Tel-Aviv, en Israël, où la startup recrute actuellement des talents techniques. Selon les analystes, la mission que s'est donnée SSI pourrait attirer les anciens collaborateurs de Sutskever qui ont aussi quitté OpenAI.

La superintelligence est à portée de main.

SSI est notre mission, notre nom et l'ensemble de notre feuille de route, car c'est notre unique objectif. Notre équipe, nos investisseurs et notre modèle d'entreprise sont tous alignés sur la réalisation de SSI.

Nous abordons la sécurité et les capacités en tandem, comme des problèmes techniques à résoudre grâce à une ingénierie révolutionnaire et à des percées scientifiques. Nous prévoyons de faire progresser les capacités aussi rapidement que possible tout en veillant à ce que notre sécurité reste toujours en tête.

De cette manière, nous pouvons évoluer en toute sérénité.

Notre objectif unique signifie qu'il n'y a pas de distraction due aux frais généraux de gestion ou aux cycles des produits, et notre modèle d'entreprise signifie que la sûreté, la sécurité et le progrès sont tous à l'abri des pressions commerciales à court terme.

Nous sommes une entreprise américaine avec des bureaux à Palo Alto et Tel-Aviv, où nous avons des racines profondes et la capacité de recruter les meilleurs talents techniques.

Nous sommes en train de constituer une équipe légère et soudée, composée des meilleurs ingénieurs et chercheurs du monde, qui se consacrera exclusivement à la SSI.

Si c'est votre cas, nous vous offrons l'opportunité de faire le travail de votre vie et de contribuer à résoudre le défi technique le plus important de notre époque.

Chez OpenAI, Sutskever a joué un rôle essentiel dans les efforts déployés par l'entreprise pour améliorer la sécurité de l'IA face à l'essor des systèmes "superintelligents", un domaine sur lequel il a travaillé aux côtés de Jan Leike, qui a codirigé l'équipe "Superalignment" d'OpenAI. Cependant, Sutskever et Leike ont tous deux quitté l'entreprise en mai, après une rupture brutale avec la direction d'OpenAI sur la manière d'aborder la sécurité de l'IA. Leike dirige aujourd'hui une équipe au sein de l'entreprise d'IA rivale Anthropic. Cela fait longtemps que Sutskever met en lumière les aspects les plus épineux de la sécurité de l'IA.

Dans un billet de blogue publié en 2023, en collaboration avec Leike, Sutskever a prédit que l'IA dotée d'une intelligence supérieure à celle des humains pourrait arriver dans la décennie, et qu'à ce moment-là, elle ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la contrôler et de la restreindre. Aujourd'hui, il est manifestement plus engagé que jamais dans cette cause. Selon les analystes, ce qui pourrait aussi attirer les talents vers SSI, c'est que la startup est conçue dès le départ comme une entité à but lucratif, et non comme une simple organisation à but non lucratif travaillant sur l'AGI.

Sutskever a tiré des leçons de son passage chez OpenAI et est conscient que le développement de l'IA requiert d'énormes investissements. Contrairement à SSI, OpenAI a été lancée en 2015 comme une entité à but non lucratif, mais l'entreprise s'est restructurée en 2019 pour créer une filiale à but lucratif lorsqu'elle a compris qu'elle avait besoin d'énormes sommes d'argent pour investir dans la puissance de calcul. Cette initiative a créé des désaccords internes, poussant Sutskever à soutenir l'éviction d'Altman du poste de PDG d'OpenAI. Atman était accusé de donner la priorité au profit au détriment de la sécurité.

Superintelligence is within reach.

Building safe superintelligence (SSI) is the most important technical problem of our​​ time.

We've started the world’s first straight-shot SSI lab, with one goal and one product: a safe superintelligence.

It’s called Safe Superintelligence…

— SSI Inc. (@ssi) June 19, 2024

Sutskever a regretté son action et a contribué au retour d'Altman. Mais à partir de ce moment-là, Sutskever s'est fait discret et a laissé planer l'incertitude sur son avenir au sein d'OpenAI. Puis, à la mi-mai, Sutskever a annoncé son départ d'OpenAI, affirmant que "le lancement de produits brillants" a pris le pas sur les processus de sécurité. Gretchen Krueger, ancienne chercheuse en politique chez OpenAI, a également mentionné des problèmes de sécurité lors de l'annonce de son départ. En annonçant son départ, Sutskever avait également déclaré qu'il dévoilerait son prochain projet "en temps voulu". C'est désormais chose faite.

Alors qu'OpenAI a conclu des partenariats avec Apple et Microsoft, il est peu probable que SSI fasse de même dans un avenir proche. Sutskever a déclaré que le premier produit de SSI serait une IA sûre et que "l'entreprise ne ferait rien d'autre" d'ici là. « Cette entreprise est spéciale en ce sens que son premier produit sera la superintelligence sûre, et qu'elle ne fera rien d'autre jusqu'à ce moment-là. Elle sera totalement isolée des pressions extérieures liées à la gestion d'un produit vaste et complexe et à la course à la concurrence », a-t-il déclaré. Mais selon certains critiques, la sécurité de l'IA est une notion subjective.

La notion de sécurité repose sur un ensemble de jugements de valeur arbitraires, selon lesquels certaines choses sont acceptables et d'autres non. Qui décide de ce qu'elles sont ? Ces décisions peuvent favoriser certaines personnes par rapport à d'autres. Les personnes moins favorisées accepteront-elles que leurs intérêts soient subordonnés à ceux des autres ?

La SSI pourrait arriver avec à un ensemble de règles. Et étant donné qu'elle est plus intelligente que ses créateurs, elle pourrait être en mesure de trouver un moyen de contourner les restrictions et ses garde-fous initiaux. Les créateurs la considéreront-ils toujours comme sûre ? Cela dépendra probablement du fait qu'ils sont personnellement moins favorisés qu'auparavant.

En bref : si nous construisons une superintelligence, je ne pense pas que nous puissions être assurés qu'il sera sûr à long terme.

Pour l'instant, la startup ne semble pas comprendre beaucoup plus que trois personnes, une page Web HTML statique, une présence sur les médias sociaux et une mission. Et de nombreuses questions demeurent. Qui sont ses investisseurs ? La page ne l'indique pas. Il en va de même pour le modèle d'entreprise. La page est signée par les trois cofondateurs. Aucun détail n'a été fourni sur ce que SSI livrera comme produit, quand il arrivera, ou comment la startup assurera la sécurité.

Selon certains analystes, cela fait ressembler ce lancement à un exercice connu sous le nom : ubiquité d'abord, revenus ensuite (Ubiquity first, Revenue Later - URL). Il s'agit d'un modèle de revenus rendu célèbre par Eric Schmidt, PDG de Google de 2001 à 2011.

Source : Safe Superintelligence Inc.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la nouvelle entreprise d'IA de Ilya Sutskever et de sa mission ?
Que vous inspire la question de la sécurité de l'IA ? L'industrie peut-elle créer une superintelligence sûre ?
Selon vous, quels sont les principaux critères pouvant permettre d'affirmer qu'une IA est sûre ? Qui décidera de ces critères ?
La mission de la nouvelle startup d'Ilya Sutskever est-elle un vœu pieux pour attirer les investisseurs et bénéficier de la sympathie du public ?

Voir aussi

Tous les employés d'OpenAI qui quittent le navire sont-ils de simples alarmistes, ou le signe d'une profonde crise de confiance sur la nouvelle direction que Sam Altman impose à OpenAI ?

Le cofondateur d'OpenAI, Ilya Sutskever, annonce son départ de la société créatrice de ChatGPT et déclare : "je suis convaincu qu'OpenAI construira une AGI à la fois sûre et bénéfique."

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

[Fluxgraveon]

Ha-ha ! Cela nous met sur la voie des ombres-vagues-super-intelligentes-et-de-couleur-bleue !
Mmm ... c'est dépassé malheureusement : celles-ci sont en passe d'atteindre l'hyperintelligence pan-dimensionnelle.
Afin de retrouver la question à l'origine de toutes ces réponses, bien entendu.

[Fluxgraveon]

Quant à URL, il m'apparaît que le "business model" en vogue est la levée de fonds hautement spéculative, comme une carrière flash en plus flashy justement : il s'agit de s'insérer dans la marge (ou business plan ou The Plan) du solutionnisme technologique et du cirque prédictif, qui va logiquement avec, muni d'un bon bagout (tiens, tiens, j'ai ça avec moi d'ailleurs), et/ou d'un bon background, et last but not the least : un miroir aux alouettes performant (et la tête ...). Moyennant quoi, vous pourrez rejoindre la cohorte des millionnaires, milliardaires, qui alimentent le système (un "miroir de Ponzi" ?).
S'agissant de l'hyperintelligence pan-dimensionnelle, point d'omniscience, ni d'omnipotence d'ailleurs (pour l'omnibus quantique mieux que la FOSA, nous n'y sommes pas encore, cela dit ... ça avance bien ! Au cas où quelqu'un(e) serait intéressé(e) par un éventuel développement planétaire ...), il n'y a aucun humour dans ces omnipouvoirs (essayez vous verrez), c'est ennuyant (boring) !