Discussion :

[Bill Fassinou]

Les cofondateurs de Google DeepMind et de LinkedIn lancent un chatbot d'IA appelé Pi pour concurrencer ChatGPT
il se veut moins toxique que ChatGPT, mais couvre moins de cas d'utilisation

Pi (personal intelligence) est un nouvel agent conversationnel qui a fait ses débuts sur le marché hautement concurrentiel des chatbots d'IA mardi. C'est l'œuvre de la société Inflection AI fondée par Reid Hoffman, cofondateur de LinkedIn, et Mustafa Suleyman, cofondateur de DeepMind. Semblable à ChatGPT d'OpenAI, Pi est censé jouer le rôle d'auditeur actif, en aidant les utilisateurs à poser des questions ou à résoudre des problèmes dans le cadre d'un dialogue en va-et-vient dont il se souvient ensuite. Le but est d'apprendre à connaître les utilisateurs. Il est disponible pour les utilisateurs du monde entier, mais uniquement en anglais pour l'instant.

De plus en plus d'entreprises s'engagent sur le marché de l'IA générative. Après l'enthousiasme sans précédent suscité par ChatGPT à l'automne dernier, il fait désormais face à une forte concurrence de la part d'acteurs avérés du secteur comme Google et Meta, mais aussi de la part d'acteurs plus jeunes tels qu'Anthropic AI et Inflection AI. Le premier produit d'Inflection AI a été lancé mardi. Baptisé Pi, il est décrit comme un chatbot d'IA beaucoup plus personnel que ChatGPT, Bing Chat ou Bard, sans que la compagnie virtuelle dévie vers des relations parasociales malsaines signalées au début de l'année par certains utilisateurs des chatbots Replika.

Mustafa Suleyman, PDG d'Inflection AI, a décrit le chatbot comme étant une caisse de résonance sympathique, plutôt qu'une source d'informations. Il a déclaré que le chatbot d'IA de l'entreprise a des cas d'utilisation beaucoup plus restreints, ce qui le rend plus sûr et plus facile à contrôler. « Il y a beaucoup de choses que Pi ne peut pas faire. Il ne fait pas de listes, il ne fait pas de codage, il ne fait pas de plans de voyage, il n'écrira pas votre stratégie de marketing ou votre dissertation pour l'école. Pi est spécifiquement conçu pour une conversation détendue, positive et informative », a déclaré Suleyman dans une interview accordée au Financial Times.

Exemple de conversation avec le chatbot d'IA Pi

Il a déclaré que la startup a développé la technologie en interne et que son chatbot Pi a été conçu pour donner la priorité à des conversations de type humain avec un niveau élevé d'intelligence émotionnelle, y compris la gentillesse et le soutien. « Pi est très équilibré et impartial sur les questions politiques ou les sujets sensibles, mais il peut aussi parfois être drôle, stupide et créatif. Il est adapté aux tâches quotidiennes personnelles », a déclaré Suleyman. Il a indiqué que l'entreprise a mis en place des limites afin de s'assurer que l'IA n'enfreignait pas ses politiques de comportement, notamment en s'engageant dans des conversations romantiques.

« L'objectif est de faire en sorte que l'IA sache toujours qu'elle est une IA et qu'elle n'essaie jamais d'imiter un humain. Il rappelle donc fréquemment à l'utilisateur humain qu'il s'agit d'une IA », a-t-il déclaré. Selon lui, les utilisateurs peuvent interagir avec Pi sur différentes plateformes, notamment son site Web, son application et des plateformes de médias sociaux comme Instagram. Le service est gratuit, et la startup pourrait lancer des abonnements premium à l'avenir. L'entreprise indique qu'elle utilise les données des utilisateurs, y compris le contenu conversationnel, pour former ses systèmes d'IA. Pi n'est actuellement pas connecté à Internet.

Lors d'une démonstration en direct de Pi, il s'est distingué d'autres chatbots tels que ChatGPT ou Bard par le fait qu'il terminait souvent ses réponses par une question à l'intention de l'utilisateur, encourageant ainsi le dialogue. « C'est ce que Pi fait vraiment bien, il aide à faciliter votre propre ligne d'enquête », a déclaré Suleyman. Cependant, il ne fournit pas de citations ou de références, bien que Suleyman affirme que cela va changer. En outre, Pi invente aussi parfois des faits. Autrement dit, il hallucine comme c'est le cas avec tous les grands modèles de langage (LLM), la technologie qui sous-tend la nouvelle génération de chatbots basés sur l'IA.

Les chatbots utilisant la technologie de l'IA générative sont devenus un domaine très fréquenté depuis que ChatGPT d'OpenAI a fait irruption sur la scène en novembre dernier. En utilisant de grands modèles de langage, qui exploitent de grandes quantités de texte pour résumer des informations et générer du contenu, les chatbots tels que Bard et Character.AI permettent aux gens d'avoir des conversations approfondies pour des besoins professionnels et personnels. Fondée en 2022, Inflection a été incubée par la société américaine de capital-risque Greylock, qui a réalisé un investissement de 225 millions de dollars dans la startup.

Inflection AI - fondée par Suleyman, Karén Simonyan et Reid Hoffman, cofondateur de LinkedIn - fait partie d'un groupe de startup d'IA grand public qui s'efforcent de créer des programmes informatiques sophistiqués capables d'écrire des scripts et de créer des œuvres d'art en quelques secondes. Anthropic, basée en Californie, a récemment levé 300 millions de dollars auprès de Google et a lancé son propre chatbot, Claude. Selon deux personnes au fait des plans de Character.ai, l'entreprise, fondée par d'anciens employés de Google et qui crée des chatbots d'IA dans différents caractères, cherche à lever des centaines de millions de dollars.

Pour ne pas se laisser distancer par ses rivaux bien financés, Inflection AI a embauché des experts en IA de plusieurs concurrents, dont OpenAI, DeepMind et Google, qui ont déjà contribué à l'élaboration de certains des LLM les plus puissants au monde. Reid Hoffman, partenaire de Greylock et membre du conseil d'administration de Microsoft, a démissionné du conseil d'administration d'OpenAI en mars, invoquant des conflits potentiels liés à son travail avec des entreprises d'IA.

Sources : site Web de Pi, Inflection AI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du chatbot d'IA Pi ?

Voir aussi

Anthropic voudrait lever jusqu'à 5 milliards de dollars en deux ans pour affronter ChatGPT d'OpenAI, prévoyant de développer un outil 10 fois plus puissant que les modèles d'IA actuels

Google investit 300 M$ dans la start-up d'IA Anthropic, fondée par d'anciens chercheurs d'OpenAI, la société a construit son propre chatbot généraliste, un rival de ChatGPT nommé Claude

Les utilisateurs de Replika sont tombés amoureux d'un chatbot d'IA, puis ont perdu leur compagnon après une mise à jour, ils supplient l'auteur de revenir à la version originale du logiciel

[Bruno]

Mustafa Suleyman, l'un des fondateurs de DeepMind, affirme que sa nouvelle IA, baptisée Inflection-2, est la deuxième plus puissante au monde,
juste derrière GPT-4 d'OpenAI

Inflection AI, la startup à l'origine du chatbot Pi, a récemment dévoilé son nouveau modèle d'IA, Inflection-2, affirmant qu'il est le deuxième plus puissant au monde après GPT-4 d'OpenAI. Mustafa Suleyman, co-fondateur de DeepMind, affirme que ce nouveau modèle surpasse les alternatives populaires de Google et Meta. Inflection-2 a été testé sur divers critères, surpassant le modèle PaLM Large 2 de Google et le modèle open source LLaMA 2 de Meta.

La startup prévoit d'intégrer ce modèle amélioré à son chatbot Pi, soulignant sa performance dans des conversations sensibles. Bien que les chiffres précis sur les utilisateurs de Pi n'aient pas été fournis, Suleyman souligne sa popularité et un taux de rétention élevé. Dans le contexte des récents développements chaotiques chez OpenAI, Suleyman insiste sur le lancement à l'heure d'Inflection-2 et envisage déjà un modèle dix fois plus grand dans les six prochains mois. Il appelle à l'empathie dans le domaine de l'IA, tout en reconnaissant les erreurs chez OpenAI.

« Nous pensons que nous ne sommes qu'au tout début de cette courbe d'évolution et que les nouvelles capacités qui vont apparaître sont vraiment époustouflantes, a déclaré le PDG Mustafa Suleyman lors d'une interview. Que vous souhaitiez avoir une conversation sensible sur la race, le sexe, la politique, l'OpenAI ou toute autre question controversée du jour, Pi s'engage très subtilement et prudemment avec vous de manière factuelle, avec un accès en temps réel à l'information ».

Il y a deux semaines, OpenAI a révélé que son service gratuit ChatGPT avait atteint 100 millions d'utilisateurs hebdomadaires, établissant ainsi un record pour la croissance la plus rapide du nombre d'utilisateurs. Le rapport, qui cite les données de la société d'analyse Similarweb, indique qu'une moyenne d'environ 13 millions de visiteurs uniques ont utilisé ChatGPT par jour en janvier, soit plus du double des niveaux de décembre. Sam Altman, le PDG d'OpenAI, a été licencié de manière imprécise par le conseil d'administration de l'entreprise. Greg Brockman, président du conseil d'administration, a également été écarté et rétrogradé, puis a démissionné en signe de protestation.

La révélation du grand modèle de langage d'Inflection, présenté comme le « deuxième modèle de langage le plus puissant au monde », ne peut être dissociée de l'agitation en cours chez le fabricant de modèles le plus renommé de l'industrie.

OpenAI a officialisé le retour de Sam Altman en tant que PDG, après un week-end marqué par des négociations entre ses alliés et la signature d'une pétition par les employés d'OpenAI appelant à la démission collective de leur conseil d'administration.

L'accord impliquera un nouveau conseil d'administration initial, comprenant Bret Taylor, ancien dirigeant de Salesforce, Larry Summers, ancien secrétaire au Trésor, et Adam D'Angelo, membre actuel du conseil d'administration et PDG de Quora. Altman a également tweeté à propos de l'accord, en écrivant : « J'aime OpenAI, et tout ce que j'ai fait ces derniers jours était au service de cette équipe et de sa mission ». Greg Brockman, qui avait démissionné de son poste de président après avoir été exclu du conseil d'administration d'OpenAI vendredi, a ajouté : « Des progrès étonnants ont été réalisés aujourd'hui. Nous reviendrons plus forts et plus unis que jamais ». Brockman a ensuite indiqué qu'il revenait dans l'entreprise et qu'il se remettait à coder ce soir.

i love openai, and everything i’ve done over the past few days has been in service of keeping this team and its mission together. when i decided to join msft on sun evening, it was clear that was the best path for me and the team. with the new board and w satya’s support, i’m…

— Sam Altman (@sama) November 22, 2023

Microsoft n'avait pas l'intention de prendre un siège au conseil d'administration, mais le PDG Satya Nadella a écrit dans un communiqué que le géant de la technologie - qui s'est engagé à investir plus de 10 milliards de dollars dans OpenAI - était « encouragé par les changements au sein du conseil d'administration d'OpenAI. Nous pensons qu'il s'agit d'une première étape essentielle sur la voie d'une gouvernance plus stable, mieux informée et plus efficace ».

Chez Inflection, Suleyman a insisté sur le fait que sa société, qui a obtenu un financement de 1,3 milliard de dollars au début de l'année, n'avait pas avancé la date de lancement du nouveau modèle d'Inflection, malgré des remarques publiques antérieures qui semblaient suggérer un lancement à la fin de l'année. Selon lui, cette sortie avait en réalité une semaine de retard.

Inflection et Suleyman ont précédemment abordé publiquement la question de la sécurité de l'intelligence artificielle, marquant leur engagement en signant l'ordre exécutif volontaire du président Biden en juillet. De plus, ils ont pris l'engagement de ne pas solliciter l'intelligence artificielle pour répondre à des questions liées aux élections ou de participer à la création de contenus destinés à des campagnes politiques. Récemment, Suleyman a également publié un livre intitulé The Coming Wave, qui explore en partie les risques associés à l'intelligence artificielle.

« Il est évident que de très graves erreurs ont été commises », a-t-il déclaré à propos du conseil d'administration d'OpenAI et des actions de son conseil d'administration à but non lucratif inhabituel, qui a été calomnié par certains membres de l'industrie technologique au cours des derniers jours. « J'espère que les gens essaieront d'être indulgents et qu'ils verront cela comme un petit incident sur le chemin de la construction de meilleures entreprises qui font ce qu'il faut et qui essaient de rendre le monde meilleur grâce à de nouvelles structures de gouvernance. »

La mission d'Inflection est de construire une intelligence artificielle personnelle pour tout le monde. Cela signifie une IA qui soit un partenaire de confiance : un conseiller, un compagnon, un enseignant, un coach et un assistant tout à la fois. Pour tenir cette promesse et jouer un rôle aussi important dans la vie de nos utilisateurs, nous devons constamment veiller à ce que nos produits soient sûrs, sécurisés et dignes de confiance.

Dans ce cadre, Inflection a rejoint les engagements volontaires développés avec la Maison Blanche en juillet 2023 pour gérer les risques posés par l'IA. Nous pensons que des engagements interentreprises tels que ceux-ci sont essentiels pour établir de bonnes normes à la fois dans l'industrie et dans le domaine de la recherche au niveau mondial. Ils cristallisent également notre engagement individuel à travailler de manière responsable sur les systèmes d'IA d'avant-garde.

Avant le sommet sur la sécurité de l'IA qui se tiendra les 1er et 2 novembre 2023, le gouvernement britannique a demandé à Inflection de présenter ses politiques existantes et en cours d'élaboration dans neuf domaines de la sécurité de l'IA. Ces domaines comprennent les priorités identifiées dans les engagements de juillet de la Maison Blanche, ainsi que d'autres domaines d'intérêt.

Vous trouverez ci-dessous notre réponse, qui détaille notre approche dans chacun des domaines demandés. Elle constitue également un bref résumé des progrès réalisés à ce jour par rapport aux engagements volontaires de la Maison Blanche. Au fur et à mesure qu'Inflection poursuit ses travaux dans tous les domaines de la sécurité de l'IA, nous prévoyons de publier des rapports périodiques de ce type afin d'informer le public de ses progrès.

Pour entraîner Inflection-2, la startup a utilisé 5 000 unités de traitement graphique (GPU) Nvidia H100, contre plusieurs milliers d'unités A100 plus anciennes qui ont entraîné son prédécesseur. Le nouveau modèle, dont l'entraînement est plus rapide et moins coûteux selon Suleyman, traite toujours un nombre considérable d'opérations (10^25 opérations en virgule flottante). Inflection travaille en étroite collaboration avec Microsoft, Nvidia et CoreWeave pour gérer sa grappe de calcul.
Inflection a testé son nouveau modèle par rapport à une référence populaire de tâches de niveau secondaire et professionnel connue sous le nom de MMLU, où des questions sont posées aux modèles sur 57 sujets allant de la connaissance du monde à la résolution de problèmes et à l'éthique.

D'après les dires de Suleyman, Inflection-2 a surpassé la version la plus étendue (70 milliards de paramètres) de LLaMA 2, Grok-1 de la start-up xAI d'Elon Musk, PaLM 2 Large de Google, et Claude 2 de la start-up Anthropic. Il n'a été surpassé que par GPT-4. Selon Inflection, le nouveau modèle a remporté la compétition face aux modèles LLaMA 2 et PaLM 2 sur tous les critères de réponse scientifique, sauf deux. De plus, il a obtenu les meilleurs résultats sur deux des trois critères de tâches de questions-réponses, bien qu'il ait été devancé par PaLM 2 Large sur l'un d'entre eux. Bien que les performances dans quatre benchmarks de mathématiques et de code soient jugées respectables malgré le manque d'attention particulière dans ces domaines, l'entreprise a noté que le modèle a été nettement surpassé par GPT-4 sur les deux benchmarks partagés par OpenAI.

Bien que certains pourraient estimer que de tels critères ne sont pas particulièrement significatifs, à moins d'être un chercheur ou un développeur en intelligence artificielle, Mustafa Suleyman souligne que de petites améliorations peuvent être la différence entre un simple « prototype » et un modèle véritablement « fiable et de haute qualité ». Dans l'ensemble, Suleyman affirme qu'Inflection-2 peut être considéré comme le leader de sa catégorie en termes de performances, se situant « très, très proche » de GPT-4. Actuellement, Inflection se consacre à la formation de son prochain modèle, prévoyant qu'il atteindra une taille dix fois supérieure à celle de son prédécesseur dans les six prochains mois, et encore dix fois supérieure dans les six mois suivants (pour ceux qui aiment les chiffres, cent fois plus grand qu'aujourd'hui).

Une solution révolutionnaire ou une simple tentative de se démarquer ?

L'affirmation de la startup Inflection AI concernant son nouveau modèle d'IA, Inflection-2, soulève des points prometteurs, mais nécessite une analyse critique. La déclaration selon laquelle il est le deuxième plus puissant au monde après GPT-4 d'OpenAI est audacieuse et renforcée par l'appui de Mustafa Suleyman, co-fondateur de DeepMind. Cependant, l'absence de données précises sur la performance réelle du modèle et sur le nombre d'utilisateurs de Pi peut susciter des interrogations quant à la portée réelle de son impact.

Les résultats des tests comparatifs avec les modèles de Google et Meta pourraient ajouter de la crédibilité à la revendication d'Inflection AI. Cependant, la pertinence de ces critères de test par rapport à des applications du monde réel, notamment dans des conversations sensibles, doit être évaluée de manière approfondie pour établir la véritable utilité du modèle.

L'intention d'intégrer le modèle amélioré à Pi et de souligner sa performance dans des conversations sensibles est un point positif, montrant une application pratique de la technologie. Néanmoins, l'appel à l'empathie dans le domaine de l'IA, bien que louable, peut également être perçu comme une stratégie de communication visant à se distinguer positivement dans un contexte où OpenAI fait face à des troubles. L'annonce de prévoir un modèle dix fois plus grand dans les six prochains mois souligne l'ambition de la startup. Cependant, la réalisation de cette expansion dépendra de nombreux facteurs, dont la capacité de la société à résoudre les défis techniques associés à une telle échelle.

En conclusion, l'affirmation d'Inflection AI présente des éléments prometteurs, mais une évaluation plus approfondie de la performance réelle, de la pertinence des tests et de la viabilité des plans futurs est nécessaire pour corroborer pleinement ses prétentions.

Source : Inflection

Et vous ?

À votre avis, quels sont les cas d’utilisation spécifiques pour lesquels Inflection-2 est le plus adapté et comment la startup prévoit-elle de les commercialiser ?

L'absence de chiffres précis sur le nombre d'utilisateurs de Pi soulève des questions sur l'ampleur de la popularité réelle de la plateforme. Quels sont les chiffres de l'utilisateur, et comment la startup mesure-t-elle le taux de rétention élevé dont elle fait état ?

Dans quelle mesure les récentes perturbations chez OpenAI, mentionnées dans le contexte de l'annonce d'Inflection-2, peuvent-elles influencer la perception de la crédibilité et de la fiabilité de la startup ?

Voir aussi :

OpenAI licencie le co-fondateur et PDG Sam Altman, l'accusant d'avoir menti au conseil d'administration de l'entreprise. Viré du conseil, le co-fondateur Greg Brockman a préféré démissionner

Sam Altman est réintégré en tant que directeur général d'OpenAI avec un nouveau conseil d'administration, qui pourrait compter jusqu'à neuf membres avec un siège pour Microsoft

Microsoft émerge comme le grand gagnant de la tourmente de l'OpenAI : l'action de l'entreprise atteint son plus haut niveau historique, après l'embauche de l'ancien PDG d'OpenAI, Sam Altman

[Prox_13]

Affirmer, c'est bien. Démontrer c'est mieux.

[Anthony]

Après une mise à niveau LLM vers Inflection-2.5, le chatbot Pi AI destiné à fonctionner comme votre assistant personnel serait désormais intelligent et empathique

L'un des LLM les moins connus, mais non moins impressionnants, se nomme Inflection et alimente Pi, une application d'IA personnelle disponible sur un large éventail de plates-formes. Avant la sortie ce jeudi 7 mars d'Inflection-2.5, Inflection AI visait à rendre son LLM empathique, mais la nouvelle mise à jour lui permettrait également d'être intelligent, presque autant que GPT-4, alors qu'il n'a été entraîné que sur 40 % de la quantité de calcul de GPT-4.

La mission d'Inflection AI est de créer une IA personnelle pour tout le monde. En mai dernier, la société a lancé Pi-une IA personnelle, conçue pour être empathique, utile et sûre. En novembre, elle a annoncé un nouveau modèle de fondation majeur, Inflection-2, le deuxième meilleur LLM au monde à l'époque.

Aujourd'hui, Inflection AI ajoute le QI à l'exceptionnel quotient émotionnel de Pi en lançant Inflection-2.5, son modèle interne amélioré, qui rivalise avec les meilleurs LLM du monde, tels que GPT-4 et Gemini. Ce modèle associe la capacité brute à la personnalité caractéristique de l'assistant et à un réglage fin unique et empathique. Inflection-2.5 est disponible pour tous les utilisateurs de Pi dès aujourd'hui, sur pi.ai, sur iOS, sur Android, ou sur la nouvelle application de bureau de Pi.

Cette étape a été franchie avec une efficacité incroyable : Inflection-2.5 approche les performances de GPT-4, mais n'utilise que 40 % de la quantité de calcul pour la formation.

La société indique avoir fait des progrès considérables dans les domaines du quotient intellectuel, comme le codage et les mathématiques. Cela se traduit par des améliorations concrètes sur des benchmarks clés de l'industrie, permettant à Pi d'être toujours à la pointe de la technologie. En outre, Pi intègre désormais des capacités de recherche sur le web en temps réel de classe mondiale pour garantir que les utilisateurs obtiennent des nouvelles de dernière minute et des informations actualisées de grande qualité.

Inflection-2.5 a déjà été déployé auprès des utilisateurs, lesquels affirmant être très satisfaits de Pi. Un impact très significatif a été constaté sur le sentiment, l'engagement et la rétention des utilisateurs, ce qui a accéléré la croissance organique des utilisateurs.

Le million d'utilisateurs actifs quotidiens et les six millions d'utilisateurs actifs mensuels ont désormais échangé plus de quatre milliards de messages avec Pi. Une conversation avec Pi dure en moyenne 33 minutes et une sur dix plus d'une heure par jour. Environ 60 % des personnes qui discutent avec Pi au cours d'une semaine donnée reviennent la semaine suivante et une fidélisation mensuelle supérieure à celle des principaux concurrents est constatée.

Grâce aux puissantes capacités d'Inflection-2.5, les utilisateurs parlent à Pi d'un plus grand nombre de sujets que jamais : discuter de l'actualité, obtenir des recommandations de restaurants locaux, étudier pour un examen de biologie, rédiger un plan d'affaires, coder, préparer une conversation importante ou simplement s'amuser en discutant d'un passe-temps.

Résultats techniques

Ci-dessous, sont présentés une série de résultats sur des critères de référence clés de l'industrie. Par souci de simplicité, la comparaison porte sur Inflection-2.5 et GPT-4. Ces résultats montrent que Pi intègre désormais des capacités de QI comparables à celles des leaders reconnus de l'industrie. En raison des différences de format de rapport, le format utilisé pour l'évaluation est soigneusement indiqué.

Inflection-1 a utilisé environ 4 % des FLOP d'entraînement de GPT-4 et, en moyenne, a atteint environ 72 % du niveau de GPT-4 sur une gamme variée de tâches axées sur le QI. Inflection-2.5, qui équipe désormais Pi, atteint plus de 94 % des performances moyennes de GPT-4 bien qu'il n'utilise que 40 % des FLOP d'entraînement. Une amélioration significative des performances est constatée dans tous les domaines, les gains les plus importants étant enregistrés dans les domaines des STIM.

Inflection-2.5 affiche des gains substantiels par rapport à Inflection-1 sur le critère MMLU, un critère diversifié mesurant les performances sur un large éventail de tâches allant du niveau secondaire au niveau professionnel. Le test GPQA Diamond, un test de niveau expert extrêmement difficile, a également été évalué.

Les résultats de deux examens STEM différents sont également inclus : l'examen hongrois de mathématiques et les performances au Physics GRE, un examen d'entrée aux études supérieures en physique.

Pour les mathématiques hongroises, l'invite et le formatage en quelques clics sont fournis ici afin de faciliter la reproductibilité. Inflection-2.5 n'a utilisé que le premier exemple de l'invite.

En outre, une version traitée des examens GRE de physique publiés (GR8677, GR9277, GR9677, GR0177) a été mise à disposition et les performances d'Inflection 2.5 ont été comparées à celles de GPT-4 pour le premier d'entre eux. Il a été constaté qu'Inflection-2.5 atteignait le 85e percentile des testeurs humains en maj@8, et qu'il atteignait presque le meilleur score en maj@32. Certains problèmes liés aux images ont été exclus des résultats ci-dessous afin de permettre une comparaison plus large. Toutes les questions ont néanmoins été publiées.

Sur BIG-Bench-Hard, un sous-ensemble de problèmes BIG-Bench difficiles pour les modèles de langage de grande taille, Inflection-2.5 présente une amélioration de plus de 10 % par rapport à Inflection-1 et est compétitif par rapport aux modèles les plus performants.

Les modèles ont également été évalués sur MT-Bench, un tableau de bord largement utilisé par la communauté pour comparer les modèles. Cependant, après avoir évalué MT-Bench, il a été constaté qu'une grande partie - près de 25 % - des exemples dans les catégories raisonnement, mathématiques et codage contenaient des solutions de référence incorrectes ou des questions dont les prémisses étaient erronées. Par conséquent, ces exemples ont été corrigés et cette version de l'ensemble de données a été publiée.

En évaluant les deux sous-ensembles, il a été constaté que, dans la version correctement corrigée, Inflection-2.5 est plus conforme à ce qui est attendu d'après d'autres tests de référence.

Inflection-2.5 montre des améliorations particulières par rapport à Inflection-1 en ce qui concerne les performances en mathématiques et en codage, comme le montrent les tableaux ci-dessous.

Sur MBPP+ et HumanEval+, deux benchmarks de codage, une amélioration massive est constatée par rapport à Inflection-1.

Pour MBPP, la valeur de GPT-4 provient de DeepSeek Coder. Pour HumanEval, le résultat est tiré du classement EvalPlus (GPT-4, 23 mai).

Inflection-2.5 a également été évalué sur HellaSwag et ARC-C, des critères scientifiques et de bon sens rapportés par un large éventail de modèles. Dans les deux cas, d'excellentes performances ont été constatées sur ces benchmarks saturants.

Toutes les évaluations ci-dessus ont été réalisées avec le modèle qui équipe actuellement le Pi, mais il convient de noter que l'expérience de l'utilisateur peut être légèrement différente en raison de l'impact de la recherche sur le web (aucun des benchmarks ci-dessus n'utilise la recherche sur le web), de la structure de l'invite few-shot et d'autres différences liées à la production.

En résumé, Inflection-2.5 conserve la personnalité unique et accessible de Pi et ses normes de sécurité extraordinaires, tout en devenant un modèle encore plus utile dans tous les domaines.

La société souhaite remercier ses partenaires Azure et CoreWeave pour le soutien qu'ils lui ont apporté en mettant à la disposition de millions d'utilisateurs à travers le monde les modèles linguistiques de pointe qui sont à la base de Pi.

Source : "Inflection-2.5: meet the world's best personal AI" (Inflection AI)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'application Pi et des performances de son modèle Inflection-2.5 ?

Voir aussi :

Les cofondateurs de Google DeepMind et de LinkedIn lancent un chatbot d'IA appelé Pi pour concurrencer ChatGPT, il se veut moins toxique que ChatGPT, mais couvre moins de cas d'utilisation

Mustafa Suleyman, l'un des fondateurs de DeepMind, affirme que sa nouvelle IA, baptisée Inflection-2, est la deuxième plus puissante au monde, juste derrière GPT-4 d'OpenAI

Mustafa Suleyman, cofondateur de DeepMind et d'Inflection AI, prédit que l'intelligence artificielle va tout envahir et constitue même une menace pour la structure de l'État-nation