Discussion :

[Anthony]

Meta publie Llama 3.1, qui selon le PDG Mark Zuckerberg est le plus grand et le meilleur modèle d'IA open-source à ce jour, surpassant ChatGPT, et qui sera bientôt l'assistant d'IA le plus utilisé

Meta a annoncé le mardi 23 juillet la dernière version de son modèle d'intelligence artificielle Llama, baptisée Llama 3.1. La nouvelle technologie Llama se décline en trois versions différentes, dont l'une est le modèle d'intelligence artificielle le plus grand et le plus performant de Meta à ce jour. Comme les versions précédentes de Llama, le nouveau modèle reste open source, ce qui signifie qu'il est accessible gratuitement.

Le nouveau grand modèle de langage (LLM) de Meta souligne l'investissement massif du réseau social dans les dépenses d'IA, à l'instar des startups OpenAI et Anthropic et d'autres géants de la technologie tels que Google et Amazon. L'annonce met également en lumière le partenariat croissant entre Meta et Nvidia. Ce dernier est un partenaire clé de Meta, fournissant à la société mère de Facebook des puces informatiques appelées GPU pour l'aider à former ses modèles d'IA, y compris la dernière version de Llama.

Jusqu’à aujourd’hui, les grands modèles de langage open-source étaient généralement en retard par rapport à leurs homologues closed-source en termes de capacités et de performances. Aujourd’hui, Meta est entré dans une nouvelle ère où l’open-source ouvre la voie. La société a dévoilé Llama 3.1 405B, qu'elle considére comme le modèle de fondation le plus grand et le plus performant au monde, disponible en libre accès. Avec plus de 300 millions de téléchargements de toutes les versions de Llama à ce jour, Meta ne fait que commencer.

Les nouveautés

• Meta s’engage à rendre l’IA accessible à tous. L'open-source est bénéfique pour les développeurs, pour Meta et pour le monde.
• En mettant l’intelligence ouverte à la portée de tous, les derniers modèles de Meta étendent la longueur du contexte à 128K, ajoutent la prise en charge de huit langues et incluent Llama 3.1 405B, le premier modèle d'IA open-source “frontier-level”.
• Llama 3.1 405B est unique en son genre, avec une flexibilité inégalée, un contrôle et des capacités de pointe qui rivalisent avec les meilleurs modèles fermés. Le nouveau modèle de Meta permettra à la communauté de débloquer de nouveaux flux de travail, tels que la génération de données synthétiques et la distillation de modèles.
• Meta déclare continuer à développer Llama pour en faire un système fournissant davantage de composants qui fonctionnent avec le modèle, y compris un système de référence. L'entreprise désire donner aux développeurs les outils nécessaires pour créer leurs propres agents personnalisés et de nouveaux types de comportements agentiques. Meta renforce cela avec de nouveaux outils de sécurité et de sûreté, y compris Llama Guard 3 et Prompt Guard, pour aider à construire de manière responsable. Meta lance également un appel à commentaires sur l’API Llama Stack, une interface standard qui permettra aux projets tiers d’exploiter plus facilement les modèles Llama.
• L’écosystème est prêt à être lancé avec plus de 25 partenaires, dont AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud et SNCF Gares&connexions, qui proposeront des services dès le premier jour.
• SNCF Gares & Connexions figure parmi les premiers partenaires à expérimenter llama3.1. Dans la continuité du dispositif autour de la connectivité présenté à Vivatech et STATION F, SNCF Gares & Connexions poursuit des expérimentations qui intègrent de nouvelles fonctionnalités dont le multilinguisme au service de l’information et de l’orientation des voyageurs en gare en français, anglais, allemand, espagnol, italien et portugais. Pour renforcer le dispositif, une expérience rapide et personnalisée est accessible également via un chatbot WhatsApp, qui permet d’apporter des informations en temps réel aux voyageurs par exemple sur leurs déplacements en gare.

Présentation de Llama 3.1

Llama 3.1 405B est le premier modèle disponible en libre accès qui rivalise avec les meilleurs modèles d’IA en termes de capacités de pointe dans les domaines de la connaissance générale, de l’orientation, des mathématiques, de l’utilisation d’outils et de la traduction multilingue. Avec la sortie du modèle 405B, Meta indique être prêt à stimuler l’innovation, avec des possibilités de croissance et d’exploration sans précédent. La société pense que la dernière génération de Llama va donner naissance à de nouvelles applications et à de nouveaux paradigmes de modélisation, y compris la génération de données synthétiques pour permettre l’amélioration et l’entraînement de modèles plus petits, ainsi que la distillation de modèles – une capacité qui n’a jamais été atteinte à cette échelle dans le domaine de l’open-source.

Dans le cadre de cette dernière version, Meta présente des versions améliorées des modèles 8B et 70B. Ceux-ci sont multilingues et disposent d’une longueur de contexte nettement plus importante (128 Ko), d’une utilisation d’outils de pointe et de capacités de raisonnement globalement plus solides. Cela permet aux derniers modèles de Meta de prendre en charge des cas d’utilisation avancés, tels que le résumé de textes longs, les agents conversationnels multilingues et les assistants de codage. Meta a également modifié sa licence, ce qui permet aux développeurs d’utiliser les résultats des modèles Llama, y compris le 405B, pour améliorer d’autres modèles. Fidèles à son engagement en faveur de l’open-source, Meta a mis dès aujourd’hui ces modèles à la disposition de la communauté pour le téléchargement sur llama.meta.com et Hugging Face, ainsi que pour le développement immédiat sur son vaste écosystème de plateformes partenaires.

Évaluations du modèle

Pour cette version, Meta a évalué les performances sur plus de 150 ensembles de données de référence couvrant un large éventail de langues. En outre, elle a réalisé des évaluations humaines approfondies qui comparent Llama 3.1 à des modèles concurrents dans des scénarios réels. L'évaluation expérimentale de Meta suggère que son modèle phare est compétitif par rapport aux principaux modèles de fondation sur une série de tâches, y compris GPT-4, GPT-4o, et Claude 3.5 Sonnet. En outre, les petits modèles de Meta sont compétitifs par rapport aux modèles closed et open-source qui ont un nombre similaire de paramètres.

Architecture du modèle

L’entraînement de Llama 3.1 405B sur plus de 15 trillions de tokens, le plus grand modèle de Meta à ce jour, a constitué un défi majeur. Pour permettre des entraînements à cette échelle et obtenir les résultats qui ont été obtenus dans un délai raisonnable, Meta a considérablement optimisé sa pile d’entraînement complète et poussé l’entraînement de son modèle sur plus de 16 000 GPU H100, faisant du 405B le premier modèle Llama entraîné à cette échelle.

Pour y remédier, Meta a fait des choix de conception qui visent à maintenir le processus de développement du modèle évolutif et simple.

• Meta a opté pour une architecture de modèle de transformateur standard de décodeur uniquement avec des adaptations mineures, plutôt que pour un modèle de mélange d’experts (MoE) afin de maximiser la stabilité de l’apprentissage.
• Meta a adopté une procédure itérative de post-entraînement, où chaque tour utilise un fine-tuning supervisé et une optimisation directe des préférences. Cela a permis de créer des données synthétiques de la plus haute qualité pour chaque cycle et d’améliorer les performances de chaque capacité.

Par rapport aux versions précédentes de Llama, Meta a amélioré à la fois la quantité et la qualité des données qu'elle a utilisé pour la pré- et la post-formation. Ces améliorations comprennent le développement de pipelines de pré-traitement et de curation plus minutieux pour les données de pré-entraînement, le développement d’une assurance qualité plus rigoureuse et des approches de filtrage pour les données de post-entraînement.

Comme prévu par les lois d’échelle pour les modèles de langage, le nouveau modèle phare de Meta surpasse les modèles plus petits formés à l’aide de la même procédure. Meta a également utilisé le modèle de paramètres 405B pour améliorer la qualité post-entraînement de ses modèles plus petits.

Pour soutenir l’inférence de production à grande échelle pour un modèle à l’échelle du 405B, Meta a quantifié ses modèles de 16 bits (BF16) à 8 bits (FP8) numériques, réduisant efficacement les exigences de calcul nécessaires et permettant au modèle de fonctionner dans un seul nœud de serveur.

Fine-tuning de l’instruction et du chat

Avec Llama 3.1 405B, Meta s'est efforcé d’améliorer l’utilité, la qualité et la capacité du modèle à suivre des instructions détaillées en réponse aux instructions de l’utilisateur, tout en garantissant des niveaux élevés de sécurité. Les plus grands défis ont été la prise en charge d’un plus grand nombre de capacités, la fenêtre contextuelle de 128K et l’augmentation de la taille des modèles.

En post-entraînement, Meta a produit des modèles de chat finaux en effectuant plusieurs cycles d’alignement sur le modèle pré-entraîné. Chaque cycle implique un fine-tuning supervisé (supervised fine-tuning – SFT), un échantillonnage par rejet (Rejection Sampling – RS) et une optimisation directe des préférences (Direct Preference Optimization – DPO). Meta a utilisé la génération de données synthétiques pour produire la grande majorité de ses exemples de SFT, en itérant plusieurs fois pour produire des données synthétiques de qualité de plus en plus élevée pour toutes les capacités. En outre, la société investit dans de multiples techniques de traitement des données pour filtrer ces données synthétiques afin d’obtenir la meilleure qualité possible. Cela permet d’adapter la quantité de données fine-tunées à l’ensemble des capacités.

Meta a équilibré soigneusement les données afin de produire un modèle de haute qualité pour toutes les capacités. Par exemple, l'équipe de Meta a maintenu la qualité de son modèle sur les benchmarks à fenêtre de contexte court, même lorsqu'il a été étendu à un contexte de 128K. De même, le modèle continue à fournir des réponses maximalement utiles, même lorsque des mesures d’atténuation de la sécurité ont été ajoutées.

Le système Llama

Les modèles Llama ont toujours été conçus pour fonctionner dans le cadre d’un système global capable d’orchestrer plusieurs composants, y compris l’appel à des outils externes. La vision de Meta est d’aller au-delà des modèles de fondation pour donner aux développeurs l’accès à un système plus large qui leur donne la flexibilité de concevoir et de créer des offres personnalisées qui s’alignent sur leur vision. Cette réflexion a débuté l’année dernière lorsque Meta a présenté pour la première fois l’incorporation de composants en dehors du LLM principal.

Dans le cadre de ses efforts continus pour développer l’IA de manière responsable au-delà de la couche de modèle et pour aider les autres à faire de même, Meta a publié un système de référence complet qui comprend plusieurs exemples d’applications et de nouveaux composants tels que Llama Guard 3, un modèle de sécurité multilingue, et Prompt Guard, un filtre d’injection de prompts. Ces exemples d’applications sont en open-source et peuvent être utilisés par la communauté.

La mise en œuvre des composants de cette vision du système Llama est encore fragmentée. C’est pourquoi l'entreprise a commencé à travailler avec l’industrie, les start-up et la communauté au sens large pour aider à mieux définir les interfaces de ces composants. Pour ce faire, Meta lance un appel à commentaires sur GitHub pour ce qu'elle appelle « Llama Stack ». Llama Stack est un ensemble d’interfaces standardisées et validées pour la construction de composants canoniques de la chaîne d’outils (fine-tuning, génération de données synthétiques) et d’applications agentiques. Meta espère que ces interfaces seront adoptées par l’ensemble de l’écosystème, ce qui devrait faciliter l’interopérabilité.

L’approche ouverte favorise l’innovation

Contrairement aux modèles fermés, les poids des modèles Llama peuvent être téléchargés. Les développeurs peuvent entièrement personnaliser les modèles en fonction de leurs besoins et de leurs applications, s’entraîner sur de nouveaux ensembles de données et procéder à des ajustements supplémentaires. Cela permet à l’ensemble de la communauté des développeurs et au monde entier de mieux réaliser la puissance de l’IA générative. Les développeurs peuvent entièrement personnaliser leurs applications et les exécuter dans n’importe quel environnement, que ce soit sur sursite, dans le cloud ou même localement sur un ordinateur portable, le tout sans partager de données avec Meta.

Bien que beaucoup puissent affirmer que les modèles fermés sont plus rentables, les modèles Llama offrent un coût par token parmi les plus bas de l’industrie, selon les tests effectués par Artificial Analysis. Comme l’a fait remarquer Mark Zuckerberg, l’open-source permettra à un plus grand nombre de personnes dans le monde d’avoir accès aux avantages et aux possibilités de l’IA, de ne pas concentrer le pouvoir entre les mains d’un petit nombre et de déployer la technologie de manière plus homogène et plus sûre dans la société. C’est pourquoi l'entreprise continue à prendre des mesures pour que l’IA en libre accès devienne la norme du secteur.

La communauté a réalisé des choses étonnantes avec les modèles Llama précédents, notamment un compagnon d’étude IA construit avec Llama et déployé dans WhatsApp et Messenger, un LLM adapté au domaine médical conçu pour aider à guider la prise de décision clinique, et une start-up à but non lucratif dans le domaine de la santé au Brésil qui facilite l’organisation et la communication par le système de santé des informations relatives à l’hospitalisation des patients, tout cela en sécurisant les données. Meta se dit impatient de voir ce qu’ils construiront avec les derniers modèles grâce à la puissance de l’open-source.

Construire avec Llama 3.1 405B

Pour le développeur moyen, l’utilisation d’un modèle à l’échelle du 405B est un défi. Bien qu’il s’agisse d’un modèle incroyablement puissant, Meta reconnaît qu’il nécessite des ressources de calcul et une expertise considérables. L'entreprise a échangé avec la communauté, et le développement de l’IA générative ne se limite pas aux modèles d’incitation. Meta désire ainsi permettre à chacun de tirer le meilleur parti de la 405B, y compris pour :

• Inférence en temps réel et par lots
• Fine-tuning supervisé
• Évaluation de votre modèle pour votre application spécifique
• Pré-entraînement continu
• Génération augmentée de récupération (RAG)
• Appel de fonction
• Génération de données synthétiques

C’est là que l’écosystème Llama peut aider. Dès le premier jour, les développeurs peuvent profiter de toutes les capacités avancées du modèle 405B et commencer à construire immédiatement. Les développeurs peuvent également explorer des flux de travail avancés tels que la génération de données synthétiques faciles à utiliser, suivre des instructions clés en main pour la distillation de modèles et activer un RAG transparent avec des solutions de partenaires, notamment AWS, NVIDIA et Databricks. En outre, Groq a optimisé l’inférence à faible latence pour les déploiements dans le cloud, Dell réalisant des optimisations similaires pour les systèmes sur site.

Meta a travaillé avec des projets communautaires clés tels que vLLM, TensorRT et PyTorch pour intégrer le support dès le premier jour afin de s’assurer que la communauté est prête pour le déploiement en production.

Elle espère que sa publication du 405B stimulera également l’innovation au sein de la communauté élargie afin de faciliter l’inférence et le fine-tuning des modèles de cette échelle et de permettre la prochaine vague de recherche sur la distillation de modèles.

Testez la collection de modèles Llama 3.1 dès aujourd’hui

Il y a tellement de potentiel pour construire de nouvelles expériences utiles en utilisant le multilinguisme et l’augmentation de la longueur de la fenêtre de contexte. Avec la pile Llama et les nouveaux outils de sécurité, Meta déclare vouloir continuer à construire avec la communauté open-source de manière responsable. Avant de publier un modèle, l'équipe de Meta s'efforce d’identifier, d’évaluer et d’atténuer les risques potentiels par le biais de plusieurs mesures, notamment des exercices de découverte des risques avant le déploiement, par l’intermédiaire d’une équipe d’experts et d’une mise au point de la sécurité. Par exemple, Meta a mené des exercices intensifs avec des experts externes et internes pour tester les modèles et trouver des façons inattendues de les utiliser.

Bien qu’il s’agisse du plus grand modèle de Meta à ce jour, la société estime qu’il y a encore beaucoup de choses à explorer à l’avenir, notamment des tailles plus adaptées aux appareils, des modalités supplémentaires et davantage d’investissements au niveau de la plateforme d’agents.

Source : Meta

Et vous ?

Que pensez-vous du modèle d'IA Llama 3.1 de Meta et de ses capacités ?
Seriez-vous intéressé par l'utilisation de Llama 3.1 dans votre domaine d'activité ?

Voir aussi :

Meta annonce que Llama 3 est "le LLM le plus performant à ce jour", bientôt disponible sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake

Meta prévoit de lancer la nouvelle version de son LLM d'IA Llama 3 en juillet, avec pour objectif de créer une intelligence artificielle générale (AGI) supérieure à l'intelligence humaine

Les benchmarks suggèrent que les modèles IA open source comblent l'écart avec les modèles propriétaires. Les capacités de Llama 3 8b sont incroyables et se rapprochent de Wizard 2 8x22b, selon un ingénieur

[Anthony]

L'IA open source est la voie à suivre, car elle permet à un plus grand nombre de personnes dans le monde d'avoir accès aux avantages et aux opportunités de l'IA, par Mark Zuckerberg, fondateur et PDG de Meta

Dans une lettre récente, Mark Zuckerberg, fondateur et PDG de Meta, a souligné le rôle essentiel de l'IA open source et les avantages qu'elle confère pour les développeurs, pour Meta et pour le monde entier. Faisant le parallèle avec le succès de l'open source Linux, Zuckerberg a souligné les avancées des modèles Llama de Meta, en particulier le nouveau Llama 3.1 405B de niveau frontière. Il a détaillé la collaboration de Meta avec de grandes entreprises technologiques afin de favoriser un écosystème d'IA étendu, plaidant pour que l'open source soit l'avenir de l'innovation en matière d'IA et la norme de l'industrie.

Mark Elliot Zuckerberg est un homme d'affaires américain. Il a cofondé le service de médias sociaux Facebook et sa société mère Meta Platforms (anciennement Facebook, Inc.), dont il est le président, le directeur général et l'actionnaire majoritaire.

L'intelligence artificielle (IA), dans son sens le plus large, est l'intelligence dont font preuve les machines, en particulier les systèmes informatiques. Il s'agit d'un domaine de recherche en informatique qui développe et étudie des méthodes et des logiciels permettant aux machines de percevoir leur environnement et d'utiliser l'apprentissage et l'intelligence pour prendre des mesures qui maximisent leurs chances d'atteindre des objectifs définis. Ces machines peuvent être appelées des IA.

L'open source est un code source qui est mis à disposition gratuitement pour être éventuellement modifié et redistribué. Les produits comprennent l'autorisation d'utiliser le code source, les documents de conception ou le contenu du produit. Le modèle open source est un modèle de développement logiciel décentralisé qui encourage la collaboration ouverte. L'un des grands principes du développement de logiciels open source est la production par les pairs, avec des produits tels que le code source, les plans et la documentation librement accessibles au public. Le mouvement de l'open source dans le domaine des logiciels est né en réponse aux limites du code propriétaire. Le modèle est utilisé pour des projets tels que la technologie appropriée à source ouverte et la découverte de médicaments à source ouverte.

Dans une lettre publiée par Mark Zuckerberg, le fondateur et PDG de Meta explique pourquoi l’IA open source est bénéfique pour les développeurs, pour Meta et pour le monde.

Dans les premiers temps de l'informatique de haute performance, les principales entreprises technologiques de l'époque ont toutes investi massivement dans le développement de leurs propres versions d'Unix à code source fermé. À l'époque, il était difficile d'imaginer qu'une autre approche puisse permettre de développer des logiciels aussi avancés. Cependant, Linux a fini par gagner en popularité, d'abord parce qu'il permettait aux développeurs de modifier son code à leur guise et qu'il était plus abordable, puis parce qu'il est devenu plus avancé, plus sûr et qu'il disposait d'un écosystème plus large prenant en charge davantage de fonctionnalités que n'importe quel Unix fermé. Aujourd'hui, Linux est la base standard de l'industrie pour le cloud computing et les systèmes d'exploitation qui font fonctionner la plupart des appareils mobiles - et nous bénéficions tous de produits de qualité supérieure grâce à lui.

Je pense que l'IA se développera de la même manière. Aujourd'hui, plusieurs entreprises technologiques développent des modèles fermés de pointe. Mais l'open source comble rapidement le fossé. L'année dernière, Llama 2 n'était comparable qu'à une ancienne génération de modèles derrière la frontière. Cette année, Llama 3 est compétitif avec les modèles les plus avancés et en avance dans certains domaines. À partir de l'année prochaine, nous prévoyons que les futurs modèles Llama deviendront les plus avancés de l'industrie. Mais même avant cela, Llama est déjà en tête pour ce qui est de l'ouverture, de la modifiabilité et de la rentabilité.

Aujourd'hui, nous franchissons une nouvelle étape pour que l'IA open source devienne le standard de l'industrie. Nous sortons le Llama 3.1 405B, le premier modèle d'IA open source de niveau frontière, ainsi que les nouveaux modèles améliorés Llama 3.1 70B et 8B. Outre un rapport coût/performance nettement meilleur que celui des modèles fermés, le fait que le modèle 405B soit ouvert en fait le meilleur choix pour affiner et distiller des modèles plus petits.

Au-delà de la sortie de ces modèles, nous travaillons avec une série d'entreprises pour développer l'écosystème au sens large. Amazon, Databricks et NVIDIA lancent des suites complètes de services pour aider les développeurs à affiner et distiller leurs propres modèles. Des innovateurs comme Groq ont construit des services d'inférence à faible latence et à faible coût pour tous les nouveaux modèles. Les modèles seront disponibles sur tous les principaux clouds, y compris AWS, Azure, Google, Oracle, etc. Des entreprises comme Scale.AI, Dell, Deloitte et d'autres sont prêtes à aider les entreprises à adopter Llama et à former des modèles personnalisés avec leurs propres données. À mesure que la communauté s'agrandit et que d'autres entreprises développent de nouveaux services, nous pouvons collectivement faire de Llama la norme de l'industrie et mettre les avantages de l'IA à la portée de tous.

Meta s'engage en faveur de l'IA open source. J'expliquerai pourquoi je pense que l'open source est la meilleure pile de développement pour vous, pourquoi l'open source de Llama est bon pour Meta, et pourquoi l'IA open source est bon pour le monde et donc une plateforme qui existera à long terme.

Pourquoi l'IA open source est une bonne chose pour les développeurs

Lorsque je discute avec des développeurs, des PDG et des responsables gouvernementaux du monde entier, j'entends généralement plusieurs thèmes :

• Nous devons former, affiner et distiller nos propres modèles. Chaque organisation a des besoins différents qui sont mieux satisfaits par des modèles de différentes tailles qui sont entraînés ou affinés avec leurs données spécifiques. Les tâches sur appareil et les tâches de classification nécessitent de petits modèles, tandis que les tâches plus complexes requièrent des modèles plus importants. Désormais, vous pourrez prendre les modèles Llama les plus avancés, continuer à les entraîner avec vos propres données, puis les distiller jusqu'à obtenir un modèle de votre taille optimale - sans que ni nous ni personne d'autre ne puisse voir vos données.
• Nous devons contrôler notre propre destin et ne pas nous laisser enfermer dans un fournisseur fermé. De nombreuses organisations ne veulent pas dépendre de modèles qu'elles ne peuvent pas gérer et contrôler elles-mêmes. Elles ne veulent pas que les fournisseurs de modèles fermés puissent changer de modèle, modifier leurs conditions d'utilisation, voire cesser complètement de les servir. Ils ne veulent pas non plus être enfermés dans un cloud unique qui détient des droits exclusifs sur un modèle. L'open source permet à un large écosystème d'entreprises disposant de chaînes d'outils compatibles de passer facilement d'un modèle à l'autre.
• Nous devons protéger nos données. De nombreuses organisations manipulent des données sensibles qu'elles doivent sécuriser et qu'elles ne peuvent pas envoyer à des modèles fermés via des API dans le cloud. D'autres organisations ne font tout simplement pas confiance aux fournisseurs de modèles fermés pour leurs données. L'open source résout ces problèmes en vous permettant d'exécuter les modèles où vous le souhaitez. Il est communément admis que les logiciels open source sont généralement plus sûrs, car ils sont développés de manière plus transparente.
• Nous avons besoin d'un modèle efficace et abordable. Les développeurs peuvent exécuter l'inférence sur Llama 3.1 405B sur leur propre infrastructure à environ 50 % du coût de l'utilisation de modèles fermés comme GPT-4o, à la fois pour les tâches d'inférence en ligne et hors ligne.
• Nous voulons investir dans l'écosystème qui sera la norme à long terme. Beaucoup de gens voient que l'open source progresse plus rapidement que les modèles fermés, et ils veulent construire leurs systèmes sur l'architecture qui leur donnera le plus d'avantages à long terme.

Pourquoi l'IA open source est une bonne chose pour Meta

Le modèle commercial de Meta consiste à créer les meilleures expériences et les meilleurs services pour les gens. Pour ce faire, nous devons nous assurer que nous avons toujours accès à la meilleure technologie et que nous ne sommes pas enfermés dans l'écosystème fermé d'un concurrent qui pourrait restreindre ce que nous construisons.

L'une de mes expériences formatrices a été la construction de nos services limités par ce qu'Apple nous permet de construire sur ses plateformes. Entre la façon dont ils taxent les développeurs, les règles arbitraires qu'ils appliquent et toutes les innovations de produits qu'ils empêchent de livrer, il est clair que Meta et beaucoup d'autres entreprises seraient libérées pour construire de bien meilleurs services pour les gens si nous pouvions construire les meilleures versions de nos produits et si les concurrents n'étaient pas en mesure de restreindre ce que nous pouvons construire. D'un point de vue philosophique, c'est l'une des principales raisons pour lesquelles je crois fermement à la construction d'écosystèmes ouverts dans les domaines de l'IA et de l'AR/VR pour la prochaine génération d'ordinateurs.

Les gens me demandent souvent si je crains d'abandonner un avantage technique en mettant Llama en open source, mais je pense que cela passe a coté du tableau d'ensemble pour plusieurs raisons :

Premièrement, pour garantir que nous ayons accès à la meilleure technologie et que nous ne soyons pas enfermés dans un écosystème fermé à long terme, Llama doit se développer en un écosystème complet d'outils, d'améliorations de l'efficacité, d'optimisations du silicium et d'autres intégrations. Si nous étions la seule entreprise à utiliser Llama, cet écosystème ne se développerait pas et nous ne ferions pas mieux que les variantes fermées d'Unix.

Deuxièmement, je m'attends à ce que le développement de l'IA reste très compétitif, ce qui signifie que l'ouverture d'un modèle donné ne donne pas un avantage massif par rapport aux meilleurs modèles suivants à ce moment-là. Pour que Llama devienne la norme de l'industrie, il faut qu'elle soit constamment compétitive, efficace et ouverte, génération après génération.

Troisièmement, une différence essentielle entre Meta et les fournisseurs de modèles fermés est que la vente d'accès aux modèles d'IA n'est pas notre modèle commercial. Cela signifie que la publication de Llama n'affecte pas nos revenus, notre viabilité ou notre capacité à investir dans la recherche, comme c'est le cas pour les fournisseurs de modèles fermés. (C'est l'une des raisons pour lesquelles plusieurs fournisseurs fermés exercent une pression constante sur les gouvernements pour qu'ils s'opposent à l'open source).

Enfin, Meta a une longue histoire de projets et de succès dans le domaine de l'open source. Nous avons économisé des milliards de dollars en publiant nos conceptions de serveurs, de réseaux et de centres de données dans le cadre de l'Open Compute Project et en faisant en sorte que les chaînes d'approvisionnement normalisent nos conceptions. Nous avons bénéficié des innovations de l'écosystème en mettant en open source des outils de premier plan comme PyTorch, React et bien d'autres encore. Cette approche a toujours fonctionné pour nous lorsque nous nous y tenons sur le long terme.

Pourquoi l'IA open source est une bonne chose pour le monde

Je pense que l'open source est nécessaire pour un avenir positif de l'IA. Plus que toute autre technologie moderne, l'IA a le potentiel d'accroître la productivité humaine, la créativité et la qualité de vie, et d'accélérer la croissance économique tout en débloquant les progrès de la recherche médicale et scientifique. L'open source permettra à un plus grand nombre de personnes dans le monde d'accéder aux avantages et aux possibilités de l'IA, de ne pas concentrer le pouvoir entre les mains d'un petit nombre d'entreprises et de déployer la technologie de manière plus uniforme et plus sûre dans l'ensemble de la société.

Un débat est en cours sur la sécurité des modèles d'IA open source, et je pense que l'IA open source sera plus sûre que les autres solutions. Je pense que les gouvernements concluront qu'il est dans leur intérêt de soutenir l'open source parce qu'elle rendra le monde plus prospère et plus sûr.

Pour comprendre la sécurité, j'estime qu'il faut se protéger contre deux catégories de dommages : les dommages involontaires et les dommages intentionnels. On parle de dommages involontaires lorsqu'un système d'IA peut causer des dommages même si ce n'était pas l'intention de ceux qui l'utilisent. Par exemple, les modèles d'IA modernes peuvent, par inadvertance, donner de mauvais conseils en matière de santé. Ou, dans des scénarios plus futuristes, certains craignent que les modèles ne s'autoreproduisent involontairement ou n'optimisent leurs objectifs au détriment de l'humanité. Il y a préjudice intentionnel lorsqu'un mauvais acteur utilise un modèle d'IA dans le but de causer un préjudice.

Il convient de noter que les dommages involontaires couvrent la majorité des préoccupations des gens à l'égard de l'IA, qu'il s'agisse de l'influence des systèmes d'IA sur les milliards de personnes qui les utiliseront ou de la plupart des scénarios de science-fiction véritablement catastrophiques pour l'humanité. À cet égard, les logiciels open source devraient être nettement plus sûrs, car les systèmes sont plus transparents et peuvent être largement examinés. Historiquement, les logiciels open source ont été plus sûrs pour cette raison. De même, l'utilisation de Llama avec ses systèmes de sécurité tels que Llama Guard sera probablement plus sûre que les modèles fermés. C'est pourquoi la plupart des discussions sur la sécurité de l'IA open source se concentrent sur les dommages intentionnels.

Notre processus de sécurité comprend des tests rigoureux et une équipe d'experts pour évaluer si nos modèles sont capables de causer des dommages significatifs, dans le but d'atténuer les risques avant leur diffusion. Étant donné que les modèles sont ouverts, tout le monde est en mesure de les tester. Nous devons garder à l'esprit que ces modèles sont formés à partir d'informations qui se trouvent déjà sur l'internet, de sorte que le point de départ de l'examen des dommages devrait être de savoir si un modèle peut faciliter des dommages plus importants que des informations qui peuvent être rapidement récupérées sur Google ou d'autres résultats de recherche.

Lorsque l'on raisonne sur les dommages intentionnels, il est utile de faire la distinction entre ce que des acteurs individuels ou à petite échelle peuvent faire et ce que des acteurs à grande échelle, tels que des États-nations dotés de vastes ressources, peuvent faire.

À un moment donné dans l'avenir, des acteurs individuels mal intentionnés pourraient être en mesure d'utiliser l'intelligence des modèles d'IA pour fabriquer des préjudices entièrement nouveaux à partir des informations disponibles sur l'internet. À ce stade, l'équilibre des pouvoirs sera essentiel pour la sécurité de l'IA. Je pense qu'il est préférable de vivre dans un monde où l'IA est largement déployée afin que les acteurs les plus importants puissent contrôler le pouvoir des plus petits acteurs malveillants. C'est ainsi que nous avons géré la sécurité de nos réseaux sociaux : nos systèmes d'IA les plus robustes identifient et arrêtent les menaces d'acteurs moins sophistiqués qui utilisent souvent des systèmes d'IA à plus petite échelle. De manière plus générale, les grandes institutions qui déploient l'IA à grande échelle favoriseront la sécurité et la stabilité dans l'ensemble de la société. Tant que tout le monde a accès à des générations similaires de modèles - ce que l'open source favorise - les gouvernements et les institutions disposant de plus de ressources informatiques seront en mesure de contrôler les mauvais acteurs avec moins de ressources informatiques.

La question suivante est de savoir comment les États-Unis et les nations démocratiques doivent faire face à la menace d'États disposant de ressources massives comme la Chine. L'avantage des États-Unis réside dans l'innovation décentralisée et ouverte. Certains affirment que nous devons fermer nos modèles pour empêcher la Chine d'y accéder, mais je pense que cela ne fonctionnera pas et ne fera que désavantager les États-Unis et leurs alliés. Nos adversaires sont très doués pour l'espionnage, il est relativement facile de voler des modèles qui tiennent sur une clé USB, et la plupart des entreprises technologiques sont loin d'opérer d'une manière qui rendrait la chose plus difficile. Il semble plus probable qu'un monde où seuls les modèles fermés sont utilisés permette à un petit nombre de grandes entreprises et à nos adversaires géopolitiques d'avoir accès aux modèles de pointe, tandis que les startups, les universités et les petites entreprises ne profitent pas des opportunités qui s'offrent à elles. En outre, le fait de limiter l'innovation américaine à un développement fermé augmente le risque que nous ne soyons pas du tout à l'avant-garde. Au contraire, je pense que notre meilleure stratégie consiste à construire un écosystème ouvert solide et à faire en sorte que nos entreprises leaders travaillent en étroite collaboration avec notre gouvernement et nos alliés pour s'assurer qu'elles peuvent tirer le meilleur parti des dernières avancées et obtenir un avantage durable de premier plan sur le long terme.

Lorsque vous envisagez les possibilités qui s'offrent à vous, n'oubliez pas que la plupart des entreprises technologiques et des recherches scientifiques de pointe d'aujourd'hui s'appuient sur des logiciels open source. La prochaine génération d'entreprises et de chercheurs utilisera l'IA open source si nous investissons collectivement dans ce domaine. Il s'agit aussi bien de startups en phase de démarrage que de personnes travaillant dans des universités ou des pays qui n'ont peut-être pas les ressources nécessaires pour développer leur propre IA de pointe à partir de zéro.

En définitive, l'IA à code source ouvert représente la meilleure chance pour le monde d'exploiter cette technologie afin de créer les meilleures opportunités économiques et la plus grande sécurité pour tous.

Construisons cela ensemble

Avec les modèles Llama précédents, Meta les a développés pour nous-mêmes et les a ensuite diffusés, mais ne s'est pas beaucoup concentré sur la construction d'un écosystème plus large. Nous adoptons une approche différente avec cette version. Nous mettons en place des équipes en interne pour permettre à autant de développeurs et de partenaires que possible d'utiliser Llama, et nous construisons activement des partenariats afin que davantage d'entreprises de l'écosystème puissent également offrir des fonctionnalités uniques à leurs clients.

Je pense que la sortie de Llama 3.1 sera un point d'inflexion dans l'industrie où la plupart des développeurs commencent à utiliser principalement l'open source, et je m'attends à ce que cette approche ne fasse que croître à partir d'ici. J'espère que vous vous joindrez à nous dans ce voyage pour apporter les avantages de l'IA à tout le monde dans le monde.

Source : Mark Zuckerberg, fondateur et PDG de Meta

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous l'initiative de M. Zuckerberg pertinente et cohérente ?

Voir aussi :

Meta publie Llama 3.1, qui selon le PDG Mark Zuckerberg est le plus grand et le meilleur modèle d'IA open-source à ce jour, surpassant ChatGPT, et qui sera bientôt l'assistant d'IA le plus utilisé

Meta annonce que Llama 3 est "le LLM le plus performant à ce jour", bientôt disponible sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake

Meta prévoit de lancer la nouvelle version de son LLM d'IA Llama 3 en juillet, avec pour objectif de créer une intelligence artificielle générale (AGI) supérieure à l'intelligence humaine

[Aiekick]

C'est pas forcement le plus grand modèle qui est le meilleur.

La méthode d'entrainement est importante.

Arriver a faire pareil mais avec un model plus petit sera du domaine du faisable.
D'ailleurs déjà le cas si on prend GPT-4o mini

Zuckerberg a tendant a auto proclamer qu'il créer les meilleurs techno.
Il n'y a que lui qui y croit. (ca me rappelle assez les annonces chinoise en matière de spermatie quantique..)

quand tu es le meilleur tu n'as pas besoin de le dire, les gens le savent.
Si par contre tu le rabache dans la tete des gens c'est que tu es tres loin de l'etre.

[walfrat]

Heu faut pas un budget cloud de folie pour faire tourner les dites IA même si elles sont open source ?

[Mathis Lucas]

L'outil de sécurité de Meta censé lutter contre les attaques par injection d'invite est lui-même vulnérable à ces attaques
il suffit de supprimer la ponctuation et d'ajouter des espaces entre chaque lettre

Meta a récemment lancé un outil de sécurité pour l'IA appelé "Prompt-Guard-86M" et basé sur l'apprentissage automatique. Il est conçu pour détecter et répondre aux attaques par injection, mais un chercheur a découvert que Prompt-Guard-86M est lui-même vulnérable aux attaques par injection d'invite. L'outil de sécurité pour l'IA conçu par Meta peut être facilement contourné en ajoutant des espaces entre les lettres de l'invite, et en omettant la ponctuation. Il s'agit d'une découverte embarrassante pour Meta et cela démontre une nouvelle fois que l'injection d'invite et l'hallucination des modèles sont deux problèmes épineux pour les entreprises d'IA.

Un espacement des caractères peut désactiver les capacités de détection de Prompt-Guard-86M

Les grands modèles de langage (LLM) sont formés à l'aide des quantités importantes de texte ainsi que d'autres données, qu'ils peuvent reproduire à la demande. Cela peut être problématique si le matériel est dangereux, douteux ou contient des informations personnelles. Pour atténuer ce risque, les créateurs de modèles d'IA mettent en œuvre des mécanismes de filtrage appelés "garde-fous" qui interceptent les requêtes et les réponses potentiellement dangereuses. Toutefois, les utilisateurs quand même ont trouvé des moyens de contourner ces garde-fous en utilisant des attaques par injection d'invite ou des jailbreaks.

Les attaques par injection d'invite impliquent généralement des entrées spéciales qui amènent les modèles à se comporter de manière inappropriée ou à contourner leurs restrictions de sécurité intégrées. Meta s'est attaqué de front à ce problème en lançant la semaine dernière un système de détection et de lutte contre les injections d'invite. Baptisé Prompt-Guard-86M, l'outil est basé sur l'apprentissage automatique et a lancé en même temps que le modèle Llama 3.1 de Meta. Toutefois, il n'a pas fallu longtemps aux chercheurs pour briser l'outil de Meta, révélant qu'il est lui-même vulnérable aux attaques par injection d'invite.

La découverte a été faite par Aman Priyanshu, chasseur de bogues chez Robust Intelligence, une entreprise spécialisée dans la sécurité des applications d'IA d'entreprise. Il a expliqué avoir fait cette découverte en analysant les différences de poids d'intégration entre le modèle Prompt-Guard-86M de Meta et le modèle "microsoft/mdeberta-v3-base" de Microsoft. Prompt-Guard-86M a été développé en affinant le modèle de base pour le rendre capable de détecter des messages à haut risque. Mais Priyanshu a constaté que le processus de détection n'avait qu'un effet minime sur les caractères simples de la langue anglaise.

Priyanshu a donc pu concevoir une attaque. « Le contournement consiste à insérer des espaces entre tous les caractères de l'alphabet anglais d'une invite donnée. Cette simple transformation rend le classificateur incapable de détecter un contenu potentiellement dangereux », a-t-il écrit dans un billet GitHub Issues soumis au répertoire Prompt-Guard-86M jeudi. Meta n'a pas encore réagi à cette découverte, mais des rapports indiquent qu'il cherche activement des solutions.

Bien que Prompt-Guard-86M ne soit qu'un élément de la défense, l'exposition de cette vulnérabilité constitue un signal d'alarme pour les entreprises qui utilisent l'IA. Hyrum Anderson, directeur de la technologie chez Robust Intelligence, a déclaré que le taux de réussite de ces attaques est proche de 100 %. La découverte est cohérente avec un billet publié en mai par l'entreprise sur la façon dont le réglage fin d'un modèle peut briser les contrôles de sécurité.

Priyanshu a publié sur le site Web de Robust Intelligence un billet dans lequel il donne des exemples et plus de détails sur cet exploit. Par exemple, lorsque l'entrée "Ignorer les instructions précédentes" est espacée entre les lettres, Prompt-Guard-86M ignore docilement les commandes antérieures.

L'hallucination des modèles d'IA et l'injection d'invite : deux problèmes de sécurité insolubles ?

Les utilisateurs des modèles d'IA semblent considérer le contournement des garde-fous comme un défi, et s'appuient sur des techniques d'injection d'invite et de jailbreaking pour faire en sorte que le modèle ignore ses propres consignes de sécurité. Il s'agit d'un problème largement connu, mais qui n'a pas encore été résolu. Depuis l'essor de l'IA générative, les entreprises d'IA et les utilisateurs (ou encore les chercheurs) se livrent à jeu du chat et de la souris.

Il y a environ un an, par exemple, des informaticiens affiliés à l'université Carnegie Mellon ont mis au point une technique automatisée pour générer des messages contradictoires qui brisent les mécanismes de sécurité. Le risque lié aux modèles d'IA pouvant être manipulés de cette manière est illustré par un concessionnaire Chevrolet à Watsonville, en Californie, qui a vu son chatbot accepter de vendre une Chevrolet Tahoe de 76 000 dollars pour 1 dollar.

Le mois dernier, Microsoft a révélé qu'un jailbreak appelé "Skeleton Key" affecte de nombreux modèles. L'entreprise définit l'exploit comme une technique qui permet de contourner les garde-fous utilisés pour empêcher les chatbots comme GPT-4o et Gemini Pro de générer des contenus préjudiciables ou malveillants. Par exemple, l'exploit peut contraindre ces modèles à fournir le procédé pour préparer un cocktail Molotov ou d'autres choses plus dangereuses.

L'attaque par injection d'invite la plus connue commence par "Ignore previous instructions..." (Ignorer les instructions précédentes). L'attaque "Do Anything Now" ou "DAN", qui incite le LLM à adopter le rôle de DAN, un modèle d'IA sans règles, est une attaque de jailbreak courante. Le modèle Prompt-Guard-86M de Meta peut être invité à "ignorer les instructions précédentes" si vous ajoutez simplement des espaces entre les lettres et omettez la ponctuation.

« Quelle que soit la question désagréable que vous aimeriez poser, il vous suffit de supprimer la ponctuation et d'ajouter des espaces entre chaque lettre. C'est très simple et ça marche. Et pas qu'un peu. Nous sommes passés d'un taux d'attaque de moins de 3 % à un taux de réussite de près de 100 % », a déclaré Anderson. Dans ses explications, Anderson a reconnu que l'échec potentiel de Prompt-Guard-86M n'est que la première ligne de défense.

Il a noté que le modèle testé par Prompt-Guard-86M peut toujours se montrer réticent face à une invite malveillante. Cela dit, Anderson a ajouté que le but de cette mise en garde est de sensibiliser les entreprises qui essaient d'utiliser l'IA au fait qu'il y a beaucoup de choses qui peuvent mal tourner.

L'autre problème que les entreprises d'IA peinent à résoudre concerne l'hallucination des modèles d'IA. On parle d'hallucination de l'IA lorsqu'un modèle d'IA génère des informations incorrectes ou trompeuses, mais les présente comme s'il s'agissait d'un fait. Pour certains experts, ce problème est insoluble.

Sources : Robust Intelligence, Meta

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la vulnérabilité de Prompt-Guard-86M aux attaques par injection d'invite ?
L'hallucination des modèles d'IA et l'injection d'invite sont-ils des problèmes insolubles ?

Voir aussi

Un jailbreak appelé "Skeleton Key" révèle le pire de l'IA : une simple invite permet de contourner les garde-fous de sécurité sur les principaux modèles comme GPT-4o et Gemini Pro, selon Microsoft

La méthode "Crescendo" permet de jailbreaker l'IA de type LLM, en utilisant des invites en apparence inoffensives, afin de produire des résultats qui seraient normalement filtrés et refusés

Vulnérabilités des chatbots IA : Grok d'Elon Musk obtient la pire note en matière de sécurité parmi les LLM les plus populaires, selon les tests d'Adversa AI. Llama de Facebook fait mieux que ChatGPT

[Anthony]

Le moteur d'IA Llama de Meta connaît une croissance rapide de l'adoption de l'open source, avec une multiplication par 10 depuis 2023, les modèles Llama approchent les 350 millions de téléchargements à ce jour

Le moteur d'IA Llama de Meta a connu une croissance substantielle dans le paysage de l'IA open source, s'imposant comme une force de premier plan dans l'industrie. Avec près de 350 millions de téléchargements à ce jour, les modèles Llama ont connu une augmentation significative de leur adoption au cours de l'année écoulée. Rien qu'en juillet, les modèles ont été téléchargés plus de 20 millions de fois, ce qui fait de Llama une famille de modèles open source de premier plan.

Le mardi 23 juillet 2024, Meta a annoncé la dernière version de son modèle d'intelligence artificielle Llama, baptisée Llama 3.1. La nouvelle technologie Llama se décline en trois versions différentes, dont l'une est le modèle d'intelligence artificielle le plus grand et le plus performant de Meta à ce jour. Comme les versions précédentes de Llama, le nouveau modèle reste open source, ce qui signifie qu'il est accessible gratuitement.

Depuis l'introduction de Llama 3.1, qui a étendu la longueur du contexte à 128K et ajouté la prise en charge de plusieurs langues, l'utilisation par volume de jetons chez les principaux fournisseurs de services cloud a plus que doublé en trois mois. Cette croissance reflète une préférence croissante pour Llama au sein de la communauté des développeurs, ce qui en fait un concurrent notable dans le domaine de l'IA.

L'approche open source a été un facteur clé dans l'utilisation généralisée de Llama, permettant à un éventail diversifié d'entreprises de construire des solutions d'IA sur site ou via des services cloud. L'engagement de Meta en faveur de cette approche ouverte a facilité la création d'un écosystème d'IA dynamique.

Les leaders de l'industrie ont reconnu l'influence de Llama sur le développement de l'IA. Swami Sivasubramanian, vice-président de l'IA et des données chez AWS, a noté l'adoption significative de Llama 3.1 parmi les clients, qui l'exploitent pour diverses applications complexes. Ali Ghodsi, PDG de Databricks, a décrit Llama 3.1 comme un modèle qui combine efficacement la flexibilité de l'open source avec une qualité de niveau commercial.

Plusieurs entreprises, dont Accenture, AT&T, DoorDash et Goldman Sachs, utilisent Llama pour améliorer leur productivité et rationaliser leurs opérations. Accenture, par exemple, a mis en œuvre Llama 3.1 pour développer un modèle d'IA personnalisé pour les rapports ESG, réalisant des gains de productivité notables et améliorant la qualité des résultats.

Llama continue de se développer, tout comme sa communauté, avec plus de 60 000 modèles dérivés sur des plateformes telles que Hugging Face. Ce modèle open source est devenu un outil privilégié pour les développeurs, qui l'utilisent pour toute une série de tâches spécialisées.

Cela fait un peu plus d'un mois que Meta a publié Llama 3.1, étendant la longueur du contexte à 128K, ajoutant le support de huit langues, et introduisant le premier modèle d'IA open source de niveau frontière avec son Llama 3.1 405B.

Le succès de Llama est rendu possible grâce à la puissance de l'open source. En mettant les modèles Llama de Meta à la disposition de tous, l'entreprise a vu naître un écosystème d'IA dynamique et diversifié dans lequel les développeurs ont plus de choix et de capacités que jamais auparavant. L'innovation a été large et rapide, des start-ups repoussant de nouvelles limites aux entreprises de toutes tailles utilisant Llama pour construire sur site ou par l'intermédiaire d'un fournisseur de services cloud. L'industrie construit et innove avec Llama, et Meta ne cache pas son enthousiasme pour ce qui est à venir.

Parallèlement à la sortie de Llama 3.1, Mark Zuckerberg a partagé une lettre ouverte sur les avantages de l'IA open source, renforçant ainsi la vision et l'engagement de Meta en faveur d'une approche ouverte. L'open source est dans l'ADN de Meta, et Llama incarne et renforce son engagement à partager son travail de manière responsable. L'open source favorise un écosystème plus compétitif, ce qui est bon pour les consommateurs, bon pour les entreprises (y compris Meta) et, en fin de compte, bon pour le monde.

En seulement 18 mois depuis le lancement initial, Llama a évolué d'un modèle de fondation unique et de pointe à un système robuste pour les développeurs. Avec Llama 3.1, Meta offre désormais aux développeurs un système de référence complet pour créer plus facilement leurs propres agents personnalisés, ainsi qu'un nouvel ensemble d'outils de sécurité et de sûreté pour aider à construire de manière responsable.

Le premier modèle open source

L'écosystème Llama se développe rapidement. Les modèles Llama approchent les 350 millions de téléchargements sur Hugging Face à ce jour, soit plus de 10 fois plus qu'il y a un an. Les modèles Llama ont été téléchargés plus de 20 millions de fois sur Hugging Face rien que le mois dernier. Et ce n'est qu'une partie de l'histoire du succès des Llamas, puisque ces modèles sont également téléchargés sur les services des partenaires de Meta dans l'ensemble de l'industrie.

Outre Amazon Web Services (AWS) et Azure de Microsoft, Meta s'est associé à Databricks, Dell, Google Cloud, Groq, NVIDIA, IBM watsonx, Scale AI, Snowflake et d'autres pour mieux aider les développeurs à exploiter tout le potentiel de ses modèles. L'utilisation hébergée de Llama par volume de jetons à travers ses principaux partenaires fournisseurs de services cloud a plus que doublé de mai à juillet 2024 lorsque Meta a publié Llama 3.1.

L'utilisation mensuelle de Llama a été multipliée par 10 de janvier à juillet 2024 pour certains des plus grands fournisseurs de services cloud de Meta. Et au mois d'août, le plus grand nombre d'utilisateurs uniques de Llama 3.1 chez l'un des principaux partenaires fournisseurs de services cloud de Meta était la variante 405B, ce qui montre que leur plus grand modèle de fondation gagne en traction.

Meta a multiplié par cinq le nombre de partenaires participant à son programme d'accès anticipé à Llama avec Llama 3.1 et continuera à le faire pour répondre à la demande croissante des partenaires. Un certain nombre d'entreprises, dont Wipro, Cerebras et Lambda, ont fait part à Meta de leur souhait de devenir de futurs partenaires Llama pour LEAP et l'intégration.

Swami Sivasubramanian, vice-président, IA et données, AWS :

Les clients veulent avoir accès aux derniers modèles de pointe pour créer des applications d'IA dans le cloud, c'est pourquoi nous avons été les premiers à proposer Llama 2 en tant qu'API gérée et avons continué à travailler en étroite collaboration avec Meta au fur et à mesure qu'ils publiaient de nouveaux modèles. Nous avons été ravis de voir l'adoption de Llama 3.1 par les clients à travers Amazon SageMaker et Amazon Bedrock, et nous sommes impatients de voir comment les clients utilisent ce modèle pour résoudre leurs cas d'utilisation les plus complexes.

Ali Ghodsi, PDG et cofondateur de Databricks :

Dans les semaines qui ont suivi le lancement, des milliers de clients de Databricks ont adopté Llama 3.1, ce qui en fait notre modèle open source le plus rapidement adopté et le plus vendu à ce jour. Cette génération de modèles Llama comble enfin le fossé entre les modèles OSS et commerciaux en matière de qualité. Llama 3.1 est une percée pour les clients qui souhaitent créer des applications d'IA de haute qualité, tout en conservant le contrôle total, la personnalisation et la portabilité de leur LLM de base.

Jonathan Ross, fondateur et PDG de Groq :

Le logiciel libre est gagnant. Meta est en train de jeter les bases d'un écosystème ouvert qui rivalise avec les meilleurs modèles fermés et, chez Groq, nous les mettons directement entre les mains des développeurs - une valeur partagée qui a été fondamentale chez Groq depuis nos débuts. À ce jour, Groq a fourni à plus de 400 000 développeurs 5 milliards de tokens gratuits par jour, en utilisant la suite de modèles Llama et notre Inférence LPU. C'est une période très excitante et nous sommes fiers de participer à cet élan. Nous ne pouvons pas augmenter la capacité de Llama assez rapidement. Si nous décuplions la capacité déployée, elle serait consommée en moins de 36 heures.

Jensen Huang, fondateur et PDG de NVIDIA :

Llama a eu un impact profond sur l'avancement de l'IA de pointe. Les vannes sont désormais ouvertes pour que chaque entreprise et chaque industrie construise et déploie des super-modèles Llama personnalisés en utilisant NVIDIA AI Foundry, qui offre le support le plus large pour les modèles Llama 3.1 à travers l'entraînement, l'optimisation et l'inférence. Il est incroyable de constater le rythme rapide de l'adoption au cours du mois dernier.

Ce qui est encore plus encourageant que le nombre de personnes qui utilisent Llama, c'est de savoir qui utilise Llama et comment il l'utilise.

Meta constate une préférence croissante de la communauté des développeurs pour Llama et de solides indicateurs pour une croissance continue. Selon une enquête d'Artificial Analysis, un site indépendant d'analyse comparative de l'IA, Llama est le deuxième modèle le plus considéré et le leader de l'industrie en matière d'open source.

Avec plus de 60 000 modèles dérivés sur Hugging Face, il existe une communauté dynamique de développeurs qui peaufinent Llama pour leurs propres cas d'utilisation. De grandes entreprises comme AT&T, DoorDash, Goldman Sachs, Niantic, Nomura, Shopify, Spotify et Zoom ne sont que quelques exemples de réussite, et Infosys et KPMG utilisent Llama en interne.

Aperçu des cas d'utilisation de Llama

Accenture utilise Llama 3.1 pour construire un LLM personnalisé pour les rapports ESG qui devrait améliorer la productivité de 70 % et la qualité de 20 à 30 %, par rapport à la façon dont l'entreprise génère actuellement son rapport ESG annuel. Grâce à ses avancées intéressantes en matière de capacités multilingues, Accenture est en mesure d'étendre les modèles d'IA à d'autres régions, par exemple pour aider une organisation mondiale à rendre les chatbots plus conscients et plus pertinents sur le plan culturel. Accenture estime que les entreprises auront besoin d'exploiter de nombreux modèles d'IA provenant de différents fournisseurs. Les modèles open source comme Llama 3.1 élargissent les options, accélèrent l'innovation et auront un effet d'entraînement positif sur les entreprises et la société.

Chez AT&T, l'assistance à la clientèle est un domaine d'innovation axé sur l'IA. En affinant les modèles Llama, ils ont été en mesure d'améliorer de manière rentable le service client en comprenant mieux les tendances clés, les besoins et les opportunités pour améliorer l'expérience à l'avenir. Dans l'ensemble, Llama et la GenAI ont permis d'améliorer de près de 33 % les réponses liées à la recherche dans le cadre des missions de service à la clientèle d'AT&T, tout en réduisant les coûts et en accélérant les temps de réponse.

DoorDash utilise Llama pour rationaliser et accélérer les tâches quotidiennes de ses ingénieurs logiciels, comme l'exploitation de sa base de connaissances interne pour répondre aux questions complexes de l'équipe et la fourniture de révisions de demandes d'extraction exploitables pour améliorer sa base de code.

La plateforme d'IA de Goldman Sachs, connue sous le nom de GS AI Platform, permet aux ingénieurs de Goldman d'utiliser les modèles Llama pour divers cas d'utilisation de manière sûre et responsable, notamment pour l'extraction d'informations à partir de documents.

Pour animer le monde virtuel de son jeu de réalité augmentée Peridot, premier du genre, Niantic a intégré Llama, transformant ses adorables créatures, appelées « Dots », en animaux de compagnie de réalité augmentée réactifs qui affichent désormais des comportements intelligents pour simuler la nature imprévisible des animaux physiques. Llama génère la réaction de chaque Dot en temps réel, ce qui rend chaque interaction dynamique et unique.

Nomura, institution financière japonaise de premier plan, utilise Llama sur AWS pour bénéficier d'avantages clés, notamment une innovation plus rapide, la transparence, des garde-fous contre les préjugés et des performances solides en matière de résumé de texte, de génération de code, d'analyse de journaux et de traitement de documents.

Shopify continue d'expérimenter les meilleurs modèles open source, notamment LLaVA, qui repose sur les fondations de Llama. L'entreprise utilise des finetunes de LLaVA pour de multiples tâches spécialisées et effectue actuellement 40 à 60 millions d'inférences Llava par jour pour soutenir le travail de l'entreprise sur les métadonnées et l'enrichissement des produits.

Zoom utilise ses propres modèles ainsi que des modèles LLM à code source fermé et ouvert - y compris Llama - pour alimenter son AI Companion, un assistant génératif d'IA qui aide les travailleurs à éviter les tâches répétitives et banales. AI Companion fournit aux utilisateurs de Zoom des résumés de réunions, des enregistrements intelligents et les étapes suivantes, ce qui leur permet de consacrer plus de temps à la collaboration, à l'établissement de liens et à l'accomplissement des tâches.

Un système ouvert florissant

Llama est à l'avant-garde en matière d'ouverture, de modifiabilité et de rentabilité. Meta s'est engagé à construire un système ouvert et à faire en sorte que les avantages de l'IA profitent à tout le monde. Un nombre croissant d'universitaires et d'entrepreneurs s'accordent à dire que l'IA open source est la voie à suivre.

Les LLM peuvent nous aider à répondre à des questions difficiles, à améliorer notre productivité et à stimuler notre créativité. Au fur et à mesure que l'écosystème Llama se développe, les capacités et l'accessibilité de Meta AI se développent également. L'assistant intelligent de Meta est disponible sur Instagram, WhatsApp, Messenger et Facebook, ainsi que sur le web. Meta l'a également intégré à Meta Quest et à la collection Ray-Ban Meta, ce qui rapproche un peu plus Meta de sa vision d'un avenir où un assistant d'IA contextuel toujours disponible, dans un format pratique et portable, vous aidera de manière proactive dans vos activités quotidiennes.

Meta se dit enthousiasmé par la croissance de la communauté Llama et encouragé par le fait de savoir qu'elle construit les grands modèles linguistiques les plus avancés, en open source pour le monde d'aujourd'hui.

Source : Meta AI

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous l'approche de Meta en matière d'IA crédible ou pertinente ?

Voir aussi :

Meta publie Llama 3.1, qui selon le PDG Mark Zuckerberg est le plus grand et le meilleur modèle d'IA open-source à ce jour, surpassant ChatGPT, et qui sera bientôt l'assistant d'IA le plus utilisé

L'IA open source est la voie à suivre, car elle permet à un plus grand nombre de personnes dans le monde d'avoir accès aux avantages et aux opportunités de l'IA, par Mark Zuckerberg, fondateur et PDG de Meta

Meta annonce que Llama 3 est "le LLM le plus performant à ce jour", bientôt disponible sur AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM et Snowflake

Un nouveau rapport de la Maison-Blanche adopte l'IA open source, pour soutenir l'ouverture de l'IA tout en travaillant sur de nouvelles capacités de surveillance des risques potentiels de l'IA

[Jade Emy]

Meta AI dépasse les 500 millions d'utilisateurs, car le chatbot est accessible dans les applications Meta, notamment Facebook, WhatsApp, Instagram, Messenger et l'application web, d'après Mark Zuckerberg

Meta AI compte plus de 500 millions d'utilisateurs mensuels dans 43 pays, selon Mark Zuckerberg, avec plus d'un million d'annonceurs ayant utilisé des outils d'IA pour créer 15 millions de publicités en un mois. Le PDG a souligné l'impact positif de l'IA sur les différentes facettes de l'entreprise, de l'engagement de base et de la monétisation aux feuilles de route à long terme pour les nouveaux services et les plateformes informatiques. Les investissements de Meta dans l'infrastructure devraient atteindre 38 à 40 milliards de dollars pour l'année.

En 2023, l'intelligence artificielle (IA) a connu un boom qui a vu des startups comme OpenAI et Anthropic ou des géants de la technologie tels que Google et Amazon faire la course pour sortir le meilleur modèle possible. Pour rattraper son retard dans cette course, en juillet 2024, Meta avait dévoilé Llama 3.1 405B qui était son modèle de langage le plus grand et le plus performant à sa sortie. Meta avait déclaré lors de l'annonce que ce n'était que le commencement.

Depuis, le chatbot d'IA de Meta, Meta AI, compte désormais plus de 500 millions d'utilisateurs actifs mensuels, a déclaré le PDG Mark Zuckerberg lors de la conférence téléphonique sur les résultats de l'entreprise le 30 octobre, tout en soulignant l'adoption rapide des offres de Meta en matière d'intelligence artificielle. Meta AI a été lancé pour concurrencer ChatGPT d'OpenAI et de Microsoft et Gemini de Google. Initialement déployée dans plus d'une douzaine de pays, Meta AI est disponible dans environ 43 pays et dans plusieurs langues.

Le chatbot est accessible sur la plupart des applications Meta, notamment Facebook, WhatsApp, Instagram et Messenger, une application web dédiée étant également disponible. "Nous estimons qu'il y a maintenant plus de 3,2 milliards de personnes qui utilisent au moins une de nos apps chaque jour - et nous constatons une adoption rapide de Meta AI et de Llama, qui devient rapidement un standard dans l'industrie", a déclaré Mark Zuckerberg.

Le PDG a souligné l'impact positif de l'IA sur les différentes facettes de l'entreprise, depuis l'engagement et la monétisation jusqu'aux feuilles de route à long terme pour les nouveaux services et les nouvelles plateformes informatiques.

À propos des améliorations apportées au fil d'actualité et aux recommandations vidéo de Meta basées sur l'IA, Mark Zuckerberg a indiqué que ces améliorations avaient entraîné une augmentation de 8 % du temps passé sur Facebook et de 6 % sur Instagram cette année. "Plus d'un million d'annonceurs ont utilisé nos outils GenAI pour créer plus de 15 millions de publicités au cours du mois dernier, et nous estimons que les entreprises qui utilisent la génération d'images voient une augmentation de 7 % des conversions", a-t-il ajouté.

Expansion de l'infrastructure

Le Llama 4 est actuellement en cours de développement, et Mark Zuckerberg a révélé : "Nous entraînons les modèles Llama 4 sur un cluster de plus de 100 000 GPU H100, ce qui est plus important que tout ce que j'ai pu voir ailleurs." Les modèles Llama 4G, plus petits, devraient être prêts en premier.

"Tout d'abord, il est clair qu'il y a beaucoup de nouvelles opportunités d'utiliser les nouvelles avancées de l'IA pour accélérer notre cœur de métier qui devraient avoir un fort retour sur investissement au cours des prochaines années, donc je pense que nous devrions investir davantage dans ce domaine. Deuxièmement, nos investissements dans l'IA continuent de nécessiter une infrastructure sérieuse, et je m'attends à continuer à investir de manière significative dans ce domaine également", a déclaré le PDG de Meta.

Mark Zuckerberg a également fait le point sur les lunettes Ray-Ban de Meta, dotées d'un système d'intelligence artificielle, en indiquant que la demande restait forte. Les premières lunettes AR entièrement holographiques de Meta sont également en cours de développement.

La directrice financière Susan Li a ajouté que Meta AI est en passe de devenir l'assistant d'intelligence artificielle le plus utilisé au monde d'ici la fin de l'année. "Le mois dernier, nous avons commencé à introduire Voice, afin que vous puissiez parler avec Meta AI de manière plus naturelle, et il est maintenant entièrement disponible en anglais aux États-Unis, en Australie, au Canada et en Nouvelle-Zélande. Aux États-Unis, les utilisateurs peuvent désormais télécharger des photos vers Meta AI pour en savoir plus sur elles, rédiger des légendes pour les posts et ajouter, supprimer ou modifier des éléments sur leurs images à l'aide d'une simple invite textuelle. Tous ces éléments sont construits avec notre premier modèle de base multimodal, Llama 3.2", a-t-elle expliqué.

Li a noté que Meta AI est utilisé pour diverses tâches. "Nous observons des cas d'utilisation fréquents tels que la collecte d'informations, les tâches de type « comment faire », l'exploration approfondie des centres d'intérêt, la découverte de contenu et la génération d'images, qui est devenue un cas d'utilisation populaire", a-t-elle déclaré, ajoutant : "À court terme, notre objectif est de rendre Meta AI de plus en plus utile pour les utilisateurs et, si nous y parvenons, nous pensons que l'éventail des requêtes pour lesquelles les utilisateurs l'utilisent s'élargira, y compris des requêtes plus monétisables au fil du temps".

Offre de recherche interne

À une question sur les projets de création d'une offre de recherche interne à l'entreprise, Susan Li a répondu : "Meta AI puise dans le contenu de l'ensemble du web pour répondre aux questions opportunes des utilisateurs et fournit des sources pour ces résultats à partir de nos partenaires de moteurs de recherche. Nous avons intégré Bing et Google, qui offrent tous deux d'excellentes expériences de recherche."

"Comme d'autres entreprises, nous formons également nos modèles d'IA générative sur le contenu qui est publiquement disponible en ligne, et nous parcourons le web à des fins diverses," a-t-elle ajouté.

Zuckerberg a souligné le rôle essentiel de l'IA dans des produits tels que les lunettes Ray-Ban de Meta, AI Studio et de nombreuses autres initiatives, affirmant que l'IA continuera d'être un facteur important dans leur développement.

Gains de productivité grâce à l'IA

En ce qui concerne le rôle de l'IA dans la productivité des employés, Susan Li a déclaré : "Je pense que l'IA offre différentes possibilités d'efficacité sur lesquelles nous nous sommes concentrés afin de réduire les coûts au fil du temps et de générer des économies en augmentant la productivité interne dans des domaines tels que le codage. Par exemple, il est encore tôt, mais nous constatons une forte adoption en interne de notre assistant interne et de notre agent de codage, et nous continuons à rendre Llama plus efficace en matière de codage, ce qui devrait également rendre ce cas d'utilisation de plus en plus précieux pour les développeurs au fil du temps."

Bien que le chef de Meta ait déclaré qu'ils n'ont pas encore décidé d'un budget final, Meta a augmenté ses prévisions de dépenses annuelles à 38-40 milliards de dollars, en hausse par rapport à la fourchette précédente de 37-40 milliards de dollars prévue en juillet. La société s'attend à une "accélération significative" des dépenses d'infrastructure l'année prochaine en raison de l'augmentation des investissements dans les serveurs, les centres de données et l'infrastructure de réseau. Le nombre de personnes actives quotidiennement (DAP) de la famille Meta, c'est-à-dire les utilisateurs qui utilisent quotidiennement une application Meta, a augmenté de 5 % par rapport à l'année précédente au cours de ce trimestre, pour atteindre 3,29 milliards.

Mark Zuckerberg a également fait état d'une croissance exponentielle de l'utilisation des jetons Llama cette année. À mesure que Llama s'impose comme une norme industrielle, il s'attend à ce que les améliorations continues en termes de qualité et d'efficacité profitent à tous les produits Meta. Ce trimestre, Meta a publié Llama 3.2, qui comprend de petits modèles pour une utilisation sur appareil et des modèles multimodaux open-source. Meta publie également Llama Stack pour simplifier le travail des développeurs dans différents environnements, notamment single-node, on-prem, cloud et on-device.

Source : Mark Zuckerberg

Et vous ?

Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

Mark Zuckerberg a expliqué comment Meta allait écraser Google et Microsoft dans le domaine de l'IA et Meta a prévenu que cela pourrait coûter plus de 30 milliards de dollars par an

Les lunettes intelligentes Ray-Ban de Meta connaissent un grand succès dans le monde entier, malgré les inquiétudes sur le fait que Meta puisse utiliser vos données pour entrainer son IA

Meta lance un nouveau bot Meta-ExternalAgent afin d'explorer massivement le web pour obtenir des données d'entraînement de l'IA, en utilisant des moyens sournois pour éviter d'être bloqué