Discussion :

[Jade Emy]

La startup française Mistral AI annonce la sortie de Large 2, son nouveau LLM phare avec 123 milliards de paramètres, qui serait meilleur pour générer du code, des mathématiques et du raisonnement.

Mistral AI annonce la sortie de Mistral Large 2, la nouvelle génération de son grand modèle de langage. Par rapport à son prédécesseur, Mistral Large 2 est nettement plus performant en matière de génération de code, de mathématiques et de raisonnement. Il offre également un support multilingue beaucoup plus solide et des capacités d'appel de fonctions avancées. Il est enrichi de nouvelles fonctionnalités pour faciliter la création d'applications d'IA innovantes.

Mistral AI est une entreprise française spécialisée dans les produits d'intelligence artificielle (IA). Fondée en avril 2023 par d'anciens employés de Meta Platforms et de Google DeepMind, l'entreprise se concentre sur la production de grands modèles de langage open source, soulignant l'importance fondatrice des logiciels libres et open-source, et se positionnant comme une alternative aux modèles propriétaires.

La startup française Mistral AI vient d'annoncer la sortie de Large 2, son nouveau modèle phare dont les capacités de génération de code, de mathématiques et de raisonnement sont considérablement accrues. Mistral AI a également ajouté un support multilingue amélioré et des capacités d'appel de fonctions avancées avec Large 2.

Le modèle Mistral Large 2 compte 123 milliards de paramètres, ce qui lui permet de fonctionner sur un seul nœud H100 à haut débit. Il prend en charge les langues française, allemande, espagnole, italienne, portugaise, arabe, hindi, russe, chinoise, japonaise et coréenne. En termes de codage, il prend en charge plus de 80 langages de codage, dont Python, Java, C, C++, JavaScript et Bash.

Pour les développeurs, Mistral Large 2 est désormais doté de compétences améliorées en matière d'appel et de récupération de fonctions. Il peut désormais exécuter des appels de fonctions parallèles et séquentielles, ce qui permet aux développeurs de créer des applications d'IA commerciales complexes.

Les performances de Mistral Large 2 (123B) sont comparables à celles de GPT-4o d'OpenAI, du Claude Opus 3 et du Meta's Llama 3.1 405B récemment sorti sur les benchmarks de codage. Sur les benchs Wild Bench, Arena Hard et MT Bench, Large 2 surpasse Llama 3.1 405B et Claude 3 Opus. Sur le populaire benchmark MMLU, ce nouveau modèle surpasse Llama 3.1 70B et est comparable à Llama 3.1 405B.

Mistral Large 2 est maintenant disponible avec des poids ouverts, mais il n'est disponible gratuitement que pour la recherche et l'utilisation non-commerciale. Pour une utilisation commerciale, une licence de modèle est nécessaire. Avec sa sortie, Mistral consolide son portefeuille de modèles. Il y aura deux modèles polyvalents, Mistral Nemo et Mistral Large, et deux modèles spécialisés, Codestral et Embed.

Microsoft et Mistral avaient déjà conclu un partenariat pour rendre les modèles Mistral disponibles sur Azure. Elle vient d'étendre son partenariat à Google pour rendre les modèles Mistral disponibles sur Google Cloud.

Présentation de Mistral Large 2

Mistral Large 2 continue de repousser les limites de la rentabilité, de la vitesse et de la performance. Cette dernière génération dispose d'une fenêtre contextuelle de 128k et prend en charge des dizaines de langues, dont le français, l'allemand, l'espagnol, l'italien, le portugais, l'arabe, l'hindi, le russe, le chinois, le japonais et le coréen, ainsi que plus de 80 langages de codage, dont Python, Java, C, C++, JavaScript et Bash.

Mistral Large 2 est conçu pour l'inférence sur un seul nœud, avec à l'esprit des applications à contexte long - sa taille de 123 milliards de paramètres lui permet de fonctionner à haut débit sur un seul nœud. Mistral AI publie Mistral Large 2 sous la licence Mistral Research License, qui autorise l'utilisation et la modification à des fins de recherche et non commerciales. Pour une utilisation commerciale de Mistral Large 2 nécessitant un auto-déploiement, une licence commerciale Mistral doit être acquise.

Performances générales

Mistral Large 2 établit une nouvelle frontière en termes de performance/coût de service sur les métriques d'évaluation. En particulier, sur MMLU, la version pré-entraînée atteint une précision de 84,0 %, et établit un nouveau point sur le front de Pareto performance/coût des modèles ouverts.

Code et raisonnement

Suite aux expériences avec Codestral 22B et Codestral Mamba, Mistral AI a entraîné Mistral Large 2 sur une très grande partie du code. Mistral Large 2 surpasse largement le précédent Mistral Large, et affiche des performances comparables à celles des principaux modèles tels que GPT-4o, Claude 3 Opus et Llama 3 405B.

Des efforts considérables ont également été consacrés à l'amélioration des capacités de raisonnement du modèle. L'un des principaux objectifs de la formation était de minimiser la tendance du modèle à "halluciner" ou à générer des informations plausibles mais factuellement incorrectes ou non pertinentes. Pour ce faire, le modèle a été affiné de manière à être plus prudent et à faire preuve de discernement dans ses réponses, ce qui lui a permis de fournir des résultats fiables et précis.

En outre, le nouveau Mistral Large 2 est entraîné à reconnaître lorsqu'il ne peut pas trouver de solutions ou qu'il ne dispose pas d'informations suffisantes pour fournir une réponse fiable. Cet engagement en faveur de la précision se reflète dans l'amélioration des performances du modèle sur des critères de référence mathématiques courants, ce qui démontre l'amélioration de ses capacités de raisonnement et de résolution de problèmes :

Suivi et alignement des instructions

Mistral AI annonce avoir considérablement amélioré les capacités de suivi des instructions et de conversation de Mistral Large 2. Le nouveau Mistral Large 2 est particulièrement apte à suivre des instructions précises et à gérer de longues conversations à plusieurs tours. Voici ces performances sur les benchmarks MT-Bench, Wild Bench et Arena Hard :

Sur certains benchmarks, la génération de longues réponses tend à améliorer les scores. Cependant, dans de nombreuses applications commerciales, la concision est primordiale - les générations de modèles courtes facilitent des interactions plus rapides et sont plus rentables pour l'inférence. Mistral AI a travaillé pour que les générations restent succinctes et directes dans la mesure du possible. Voici la longueur moyenne des générations de différents modèles sur les questions du benchmark MT Bench :

Diversité linguistique

Une grande partie des cas d'utilisation professionnels impliquent de travailler avec des documents multilingues. Alors que la majorité des modèles sont centrés sur l'anglais, le nouveau modèle Mistral Large 2 a été entraîné sur une grande proportion de données multilingues. Il excelle notamment en anglais, français, allemand, espagnol, italien, portugais, néerlandais, russe, chinois, japonais, coréen, arabe et hindi. Voici les résultats de performance de Mistral Large 2 sur le benchmark multilingue MMLU, comparés aux modèles Mistral Large et Llama 3.1 précédents, ainsi qu'au Command R+ de Cohere.

Utilisation d'outils et appel de fonctions

Mistral Large 2 est doté de compétences améliorées en matière d'appel et de récupération de fonctions et a été formé à l'exécution efficace d'appels de fonctions parallèles et séquentielles, ce qui lui permet de servir de moteur de puissance pour des applications commerciales complexes.

Disponibilité des modèles

Vous pouvez utiliser Mistral Large 2 dès aujourd'hui via la Plateforme de Mistral AI sous le nom de mistral-large-2407, et le tester. Il est disponible sous la version 24.07 (un système de versionnement YYY.MM appliqué à tous les modèles), et le nom API mistral-large-2407. Les poids pour le modèle d'entrainement sont disponibles et sont également hébergés sur HuggingFace.

De plus, Mistral AI consolidera l'offre sur la Plateforme autour de deux modèles à usage général, Mistral Nemo et Mistral Large, et de deux modèles spécialisés, Codestral et Embed. Mistral AI retirera progressivement les anciens modèles de la Plateforme, mais tous les modèles Apache (Mistral 7B, Mixtral 8x7B et 8x22B, Codestral Mamba, Mathstral) restent disponibles pour le déploiement et la mise au point à l'aide des SDK mistral-inference et mistral-finetune.

Mistral AI est également fier de s'associer à des fournisseurs de services cloud de premier plan pour proposer le nouveau Mistral Large 2 à un public mondial. En particulier, il étend aujourd'hui son partenariat avec Google Cloud Platform pour apporter les modèles de Mistral AI sur Vertex AI via une API gérée. Les meilleurs modèles de Mistral AI sont désormais disponibles sur Vertex AI, en plus d'Azure AI Studio, Amazon Bedrock et IBM watsonx.ai.

Source : Mistral AI

Et vous ?

Avez-vous utilisé cet outil ou un outil similaire, et si oui qu'en pensez-vous ?

Voir aussi :

Qualité vs prix : Mistral 8x7B est le modèle d'IA le plus rapide et le plus accessible en matière de coût, tandis que GPT-4 Turbo et Claude 3 Opus fournissent des réponses de meilleure qualité

Meta publie Llama 3.1, qui selon le PDG Mark Zuckerberg est le plus grand et le meilleur modèle d'IA open-source à ce jour, surpassant ChatGPT, et qui sera bientôt l'assistant d'IA le plus utilisé

GPT-4o arrive en tête du classement des modèles d'IA les plus performants de LMSYS Chatbot Arena avec un score Elo de 1 289, surpassant ainsi Gemini Pro 1.5 de Google et Claude 3 Opus d'Anthropic

[Jade Emy]

La startup française d'IA Mistral a publié ses premiers modèles d'IA générative "Les Ministraux" conçus pour être exécutés sur des appareils périphériques, ils seraient plus performants que Llama et Gemma.

La startup française d'IA Mistral a publié ses premiers modèles d'IA générative, "Les Ministraux", conçus pour être exécutés sur des appareils périphériques, tels que les ordinateurs portables et les téléphones. Ils seraient plus performants que Llama et Gemma ainsi que Mistral 7B dans plusieurs tests d'IA conçus pour évaluer les capacités de suivi des instructions et de résolution des problèmes.

Mistral AI est une entreprise française spécialisée dans les produits d'intelligence artificielle (IA). Fondée en avril 2023 par d'anciens employés de Meta Platforms et de Google DeepMind, l'entreprise se concentre sur la production de grands modèles de langage open source. En juillet 2024, Mistral AI a annoncé la sortie de Large 2, son nouveau modèle phare dont les capacités de génération de code, de mathématiques et de raisonnement sont considérablement accrues. Mistral AI a également ajouté un support multilingue amélioré et des capacités d'appel de fonctions avancées avec Large 2.

Le 16 octobre, la startup française a publié ses premiers modèles d'IA générative conçus pour être exécutés sur des appareils périphériques, tels que les ordinateurs portables et les téléphones. La nouvelle famille de modèles, que Mistral appelle "Les Ministraux", peut être utilisée ou réglée pour une variété d'applications, de la génération de texte de base au travail en conjonction avec des modèles plus performants pour accomplir des tâches.

Deux modèles Les Ministraux sont disponibles, Ministral 3B et Ministral 8B, qui ont tous deux une fenêtre contextuelle de 128 000 tokens, ce qui signifie qu'ils peuvent ingérer à peu près la longueur d'un livre de 50 pages. De plus, Mistral affirme que Ministral 3B et Ministral 8B surpassent les modèles Llama et Gemma comparables, ainsi que son propre Mistral 7B, dans plusieurs tests d'IA conçus pour évaluer les capacités de suivi des instructions et de résolution des problèmes.

Performances des modèles "Les Ministraux"

• Comparaison des modèles Ministral 3B et 8B aux modèles Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B et Mistral 7B
  
  
  
• Comparaison des modèles de base Ministral 3B et 8B aux modèles Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B et Mistral 7B
  
  
  
• Comparaison des modèles Ministral 3B et 8B Instruct aux modèles Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B, Gemma 2 9B et Mistral 7B
  
  
  
• Comparaison des modèles Instruct de la famille 3B - Gemma 2 2B, Llama 3.2 3B et Ministral 3B. La figure montre les améliorations apportées par le Ministral 3B par rapport au Mistral 7B, beaucoup plus grand.
  
  
  
• Comparaison des modèles Instruct de la famille 8B - Gemma 2 9B, Llama 3.1 8B, Mistral 7B et Ministral 8B.
  
  
  

Voici la présentation des modèles "Les Ministraux" par Mistral AI :

À l'occasion du premier anniversaire de la sortie de Mistral 7B, le modèle qui a révolutionné l'innovation en matière d'IA à la frontière indépendante pour des millions de personnes, nous sommes fiers de présenter deux nouveaux modèles de pointe pour l'informatique sur appareil et les cas d'utilisation à la pointe de la technologie. Nous les appelons les Ministraux : Ministral 3B et Ministral 8B.

Ces modèles établissent une nouvelle frontière en matière de connaissance, de bon sens, de raisonnement, d'appel de fonction et d'efficacité dans la catégorie inférieure à 10B, et peuvent être utilisés ou adaptés à une variété d'utilisations, de l'orchestration de flux de travail agentiques à la création de travailleurs spécialisés. Les deux modèles supportent jusqu'à 128k de longueur de contexte (actuellement 32k sur vLLM) et Ministral 8B dispose d'un modèle d'attention intercalaire spécial à fenêtre coulissante pour une inférence plus rapide et moins gourmande en mémoire.

Nos clients et partenaires les plus innovants demandent de plus en plus souvent une inférence locale et respectueuse de la vie privée pour des applications critiques telles que la traduction sur appareil, les assistants intelligents sans internet, l'analyse locale et la robotique autonome. Les Ministraux ont été conçus pour fournir une solution efficace en termes de calcul et de faible latence pour ces scénarios. De l'amateur indépendant à l'équipe de production mondiale, les Ministraux répondent à une grande variété de cas d'utilisation.

Utilisés en conjonction avec des modèles de langage plus larges tels que Mistral Large, les Ministraux sont également des intermédiaires efficaces pour l'appel de fonctions dans des flux de travail agentiques à plusieurs étapes. Ils peuvent être réglés pour gérer l'analyse des entrées, le routage des tâches et l'appel des API en fonction de l'intention de l'utilisateur dans de multiples contextes, avec une latence et un coût extrêmement faibles.

Source : Mistral AI

Et vous ?

Quel est votre avis sur cette annonce ?
Pensez-vous que ces tests sont crédibles ou pertinents ?

Voir aussi :

Les agents de Mistral AI, des systèmes autonomes alimentés par des LLM, peuvent planifier, utiliser des outils, effectuer des étapes de traitement, pour atteindre des objectifs spécifiques

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

"Chat With RTX" de NVIDIA, un chatbot IA qui fonctionne localement sur votre PC contrairement à ChatGPT. S'il contribue ainsi à la protection de la vie privée, le chatbot présente déjà des limites

[Zeeraptor]

C'est comme miner du Bitcoin via microprocesseur...Rendement horrible

[Jules34]

C'est comme miner du Bitcoin via microprocesseur...Rendement horrible

Je lisais un post sur reddit, on peut faire tourner ça sur un pi zero 2 avec 512 mo de ram...

Un quart d'heure pour savoir ce que c'est qu'un T-rex avec TinyLama 1.1b mais c'est magnifique de pouvoir avoir ça en local chez soi.

It’s ok because making entirely useless projects is half the fun of boards like raspberry pi

[Zeeraptor]

@Jules34

En terme de coding...l'exploit est là il est vrai...Ça compresse le tableau des liens d’adressage d'une façon ou d'une autre