Discussion :

[Jade Emy]

Meta et Microsoft annoncent qu'ils achèteront la nouvelle puce d'IA d'AMD pour remplacer celle de Nvidia

Microsoft et Meta utiliseront la nouvelle puce AMD comme alternative à Nvidia. AMD a terminé en légère baisse mercredi, même après que Meta et Microsoft aient déclaré qu'ils utiliseraient sa dernière puce d'intelligence artificielle comme alternative à Nvidia.

Le MI300X est-il comparable au H100 de Nvidia ?

Instinct MI300X - un nouvel accélérateur qui, selon AMD, commencera à être livré dans les mois à venir, devrait coûter moins cher que les produits concurrents de Nvidia, dont le prix peut atteindre 40 000 dollars.

Lisa Su, directrice générale d'Advanced Micro Devices, a même comparé cette puce, qui offre 192 Go de mémoire HBM3, directement avec le Nvidia H100 lors d'un événement organisé à l'intention des investisseurs.

Ces performances se traduisent directement par une meilleure expérience utilisateur. Lorsque vous demandez quelque chose à un modèle, vous aimeriez qu'il vous réponde plus rapidement, surtout lorsque les réponses sont de plus en plus complexes.

L'action AMD est actuellement en hausse de plus de 80 % sur l'année.

La nouvelle puce AMD pourrait nuire aux ventes de Nvidia

Si l'Instinct MI300X est effectivement bien accueilli par les grands noms de la technologie qui travaillent sur des applications d'IA, il constituera une concurrence significative pour Nvidia et pourrait réduire ses ventes, qui ont plus que triplé au cours du troisième trimestre.

Il est à noter que Nvidia a déjà mis en garde contre un impact sur son trimestre actuel en raison des restrictions américaines sur l'exportation de puces sophistiquées vers la Chine.

Mercredi, Lisa Su a annoncé aux investisseurs qu'AMD avait également amélioré sa suite logicielle (ROCm), supprimant ainsi une autre lacune qui incitait les développeurs d'intelligence artificielle à préférer les produits Nvidia.

Wall Street accorde actuellement une note consensuelle d'"achat" aux actions du géant californien des semi-conducteurs.

Source : AMD

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Azure Maia 100 : Microsoft présente sa première puce IA conçue sur mesure et optimisée pour l'IA générative, tandis que l'entreprise cherche à réduire sa dépendance coûteuse à Nvidia

Meta et IBM lancent l'Alliance pour l'IA un an après le lancement de ChatGPT, des entreprises comme AMD et ServiceNow s'associent à des universités pour promouvoir des alternatives "ouvertes" à OpenAI

AMD prévoit le lancement d'une puce d'IA d'ici la fin de l'année pour concurrencer Nvidia et voit l'opportunité de l'IA en Chine

[Ryu2000]

Quel est votre avis sur le sujet ?

C'est chouette quand un constructeur propose une alternative aussi performante et moins cher que la concurrence.

Si AMD n'existait pas peut-être qu'Intel aurait quasiment le monopole dans un domaine et que Nvidia aurait quasiment le monopole dans un autre domaine.
Les prix des cartes graphiques et des processeurs seraient probablement plus élevés.

[Anthony]

AMD annonce l'Instinct MI300, des accélérateurs d'IA générative et des APU pour centres de données, qui offrent des performances jusqu'à 1,3 fois plus élevées dans les charges de travail d'IA

AMD a annoncé ses derniers produits et technologies pour l'intelligence artificielle (IA) et le calcul haute performance (HPC) lors de son événement Advancing AI, visant à contester la domination de rivaux tels que NVIDIA Corp. et Intel Corp. sur ce marché en pleine croissance.

Le 6 décembre 2023, AMD a annoncé la disponibilité des accélérateurs AMD Instinct™ MI300X - avec une bande passante mémoire à la pointe du secteur pour l'IA générative et des performances de premier plan pour la formation et l'inférence de grands modèles de langage (LLM). L'entreprise a également présenté l'unité de traitement accélérée (APU) AMD Instinct™ MI300A - combinant la dernière architecture AMD CDNA™ 3 et les CPU "Zen 4" pour offrir des performances révolutionnaires pour les charges de travail HPC et IA.

"Les accélérateurs AMD Instinct MI300 Series sont conçus avec nos technologies les plus avancées, offrant des performances de leader, et seront dans les déploiements cloud et d'entreprise à grande échelle", a déclaré Victor Peng, président d'AMD. "En s'appuyant sur notre approche matérielle, logicielle et d'écosystème ouvert leader, les fournisseurs de cloud, les OEM et les ODM mettent sur le marché des technologies qui donnent aux entreprises les moyens d'adopter et de déployer des solutions alimentées par l'IA."

Adoption par les clients et les partenaires

Parmi les clients qui tirent parti du dernier portefeuille d'accélérateurs AMD Instinct, citons Microsoft, qui a récemment annoncé la nouvelle série de machines virtuelles (VM) Azure ND MI300x v5, optimisée pour les charges de travail d'IA et alimentée par les accélérateurs AMD Instinct MI300X. En outre, El Capitan - un supercalculateur alimenté par des APU AMD Instinct MI300A et hébergé au Lawrence Livermore National Laboratory - devrait être le deuxième supercalculateur de classe exascale alimenté par AMD et devrait fournir plus de deux exaflops de performance en double précision lorsqu'il sera entièrement déployé. Oracle Cloud Infrastructure prévoit d'ajouter des instances bare metal basées sur AMD Instinct MI300X aux instances de calcul accéléré haute performance de l'entreprise pour l'IA. Les instances basées sur MI300X sont prévues pour prendre en charge OCI Supercluster avec un réseau RDMA ultrarapide.

Plusieurs grands équipementiers ont également présenté des systèmes de calcul accéléré, parallèlement à l'événement AMD Advancing AI. Dell a présenté le serveur Dell PowerEdge XE9680 doté de huit accélérateurs AMD Instinct MI300 Series et de la nouvelle conception validée Dell pour l'IA générative avec des frameworks d'IA alimentés par AMD ROCm. HPE a récemment annoncé le HPE Cray Supercomputing EX255a, la première lame accélératrice de supercalculateur alimentée par des APU AMD Instinct MI300A, qui sera disponible début 2024. Lenovo a annoncé sa prise en charge de la conception des nouveaux accélérateurs AMD Instinct MI300 Series, dont la disponibilité est prévue pour le premier semestre 2024. Supermicro a annoncé de nouveaux ajouts à sa génération H13 de serveurs accélérés alimentés par des CPU AMD EPYC™ de 4e génération et des accélérateurs AMD Instinct MI300 Series.

AMD Instinct MI300X

Les accélérateurs AMD Instinct MI300X sont alimentés par la nouvelle architecture AMD CDNA 3. Par rapport aux accélérateurs AMD Instinct MI250X de la génération précédente, MI300X offre près de 40 % d'unités de calcul en plus, 1,5 fois plus de capacité mémoire, 1,7 fois plus de bande passante mémoire théorique maximale, ainsi que la prise en charge de nouveaux formats mathématiques tels que FP8 et sparsity, tous orientés vers les charges de travail d'IA et de HPC.

Les LLM d'aujourd'hui continuent d'augmenter en taille et en complexité, nécessitant des quantités massives de mémoire et de calcul. Les accélérateurs AMD Instinct MI300X disposent d'une capacité de mémoire HBM3 de 192 Go, la meilleure de sa catégorie, ainsi que d'une bande passante mémoire de pointe de 5,3 To/s, afin de fournir les performances nécessaires aux charges de travail d'IA de plus en plus exigeantes. La plateforme AMD Instinct est une plateforme d'IA générative de premier plan construite sur un design OCP standard avec huit accélérateurs MI300X pour offrir une capacité de mémoire HBM3 de 1,5 To. La conception standard de la plateforme AMD Instinct permet aux partenaires OEM de concevoir des accélérateurs MI300X dans les offres AI existantes, de simplifier le déploiement et d'accélérer l'adoption des serveurs basés sur les accélérateurs AMD Instinct.

Par rapport au NVIDIA H100 HGX, la plateforme AMD Instinct peut offrir une augmentation de débit allant jusqu'à 1,6x lors de l'exécution de l'inférence sur des LLM comme BLOOM 176B4 et constitue la seule option du marché capable d'exécuter l'inférence pour un modèle à 70B paramètres, comme Llama2, sur un seul accélérateur MI300X ; simplifiant les déploiements LLM de classe entreprise et permettant un coût total de possession exceptionnel.

AMD Instinct MI300A

Les APU AMD Instinct MI300A, les premiers APU de centre de données au monde pour le HPC et l'IA, s'appuient sur le packaging 3D et l'architecture Infinity AMD de 4ème génération pour offrir des performances de premier plan sur les charges de travail critiques à la convergence du HPC et de l'IA. Les APU MI300A combinent des cœurs de GPU AMD CDNA 3 haute performance, les derniers cœurs de CPU AMD "Zen 4" basés sur le x86 et 128 Go de mémoire HBM3 de nouvelle génération, pour offrir ~1,9 fois la performance par watt sur les charges de travail FP32 HPC et AI, par rapport à l'AMD Instinct MI250X5 de la génération précédente.

L'efficacité énergétique est de la plus haute importance pour les communautés HPC et AI, mais ces charges de travail sont extrêmement gourmandes en données et en ressources. Les APU AMD Instinct MI300A bénéficient de l'intégration des cœurs de CPU et de GPU sur un seul boîtier, ce qui permet d'obtenir une plateforme très efficace tout en offrant les performances de calcul nécessaires pour accélérer l'entraînement des derniers modèles d'IA. AMD donne le ton de l'innovation en matière d'efficacité énergétique avec son objectif 30x25, qui vise à améliorer de 30 fois l'efficacité énergétique des processeurs de serveurs et des accélérateurs pour la formation à l'IA et le HPC entre 2020 et 2025.

L'avantage de l'APU signifie que les APU AMD Instinct MI300A disposent de ressources de mémoire et de cache unifiées offrant aux clients une plateforme GPU facilement programmable, un calcul très performant, un entraînement rapide à l'IA et une efficacité énergétique impressionnante pour alimenter les charges de travail HPC et IA les plus exigeantes.

Logiciel ROCm et partenaires de l'écosystème

AMD a annoncé la dernière plateforme logicielle ouverte AMD ROCm™ 6 ainsi que l'engagement de l'entreprise à contribuer à des bibliothèques de pointe à la communauté open-source, faisant progresser la vision de l'entreprise en matière de développement de logiciels d'IA open-source. Le logiciel ROCm 6 représente un bond en avant significatif pour les outils logiciels AMD, augmentant les performances d'accélération de l'IA de ~8x lors de l'exécution sur les accélérateurs de la série MI300 dans la génération de texte Llama 2 par rapport au matériel et au logiciel de la génération précédente. En outre, ROCm 6 prend en charge plusieurs nouvelles fonctionnalités clés pour l'IA générative, notamment FlashAttention, HIPGraph et vLLM, entre autres. Ainsi, AMD est particulièrement bien placé pour exploiter les modèles, algorithmes et frameworks logiciels d'IA open-source les plus largement utilisés - tels que Hugging Face, PyTorch, TensorFlow et d'autres - stimulant l'innovation, simplifiant le déploiement des solutions d'IA d'AMD et libérant le véritable potentiel de l'IA générative.

AMD continue également d'investir dans les capacités logicielles par le biais des acquisitions de Nod.AI et de Mipsology, ainsi que par le biais de partenariats stratégiques avec l'écosystème, tels que Lamini - qui exécute des LLM pour les clients d'entreprise - et MosaicML - qui exploite AMD ROCm pour permettre l'entraînement LLM sur les accélérateurs AMD Instinct sans aucun changement de code.

Spécifications des produits

Source : "AMD Delivers Leadership Portfolio of Data Center AI Solutions with AMD Instinct MI300 Series" (Communiqué de presse d'AMD)

Et vous ?

Quel est votre avis sur cette gamme de produits AMD Instinct MI300 et sur ses performances ?

Voir aussi

AMD acquiert Nod.ai, une start-up spécialisée dans les logiciels d'intelligence artificielle, dans le but de renforcer ses capacités logicielles et de rattraper Nvidia

Meta et Microsoft annoncent qu'ils achèteront la nouvelle puce d'IA d'AMD pour remplacer celle de Nvidia

AMD prévoit le lancement d'une puce d'IA d'ici la fin de l'année pour concurrencer Nvidia et voit l'opportunité de l'IA en Chine

[Mathis Lucas]

AMD répond à Nvidia avec de nouveaux benchmarks indiquant que sa puce MI300X a des performances 30 % plus élevées que le H100
Nvidia avait contesté les premiers tests de performance d'AMD

AMD et Nvidia se disputent le titre de l'entreprise qui produit les meilleures puces d'accélération de réseaux de neurones (Neural Processing Unit - NPU). En lançant son nouvel accélérateur d'IA MI300X, AMD a affirmé qu'il peut égaler, voire surpasser jusqu'à 1,6x, les performances de la puce H100 de Nvidia. Mais Nvidia n'a pas apprécié la comparaison et a répliqué avec des benchmarks indiquant que sa puce H100 affiche des performances nettement supérieures à celle du MI300X lorsqu'on l'évalue en prenant en compte ses optimisations. AMD vient de publier une nouvelle réponse suggérant que sa puce MI300X a des performances 30 % plus élevées que le H100.

MI300X vs H100 : AMD et Nvidia défendent chacun la supériorité de sa puce d'IA

Une unité de traitement neuronal est un microprocesseur spécialisé dans l'accélération des algorithmes d'apprentissage automatique, généralement en opérant sur des modèles prédictifs tels que les réseaux neuronaux artificiels (artificial neural networks - ANN) ou les forêts d'arbres décisionnels (random forest). Elle est également connue sous le nom de processeur neuronal ou accélérateur d'IA. Ces processeurs d'IA ont connu un véritable essor ces dernières années en raison de l'augmentation sans cesse des besoins en calcul des entreprises d'IA et de l'avènement des grands modèles de langage (LLM). Jusque là Nvidia a largement dominé le marché.

Toutefois, la firme de Santa Clara est de plus en plus talonnée par son rival AMD. Pour réduire un peu plus l'écart avec Nvidia, AMD a lancé au début du mois un nouvel accélérateur d'IA appelé Instinct MI300X. Lisa Su, PDG d'AMD, et ses collègues ont présenté les prouesses du MI300X en le comparant aux performances d'inférence du H100 de Nvidia à l'aide de Llama 2. Selon la comparaison, un seul serveur d'AMD, composé de huit MI300X, serait 1,6x plus rapide qu'un serveur H100. Mais Nvidia n'a pas apprécié la comparaison et l'a démentie. Dans un billet de blogue publié en réponse aux benchmarks d'AMD, Nvidia s'est opposé aux résultats de son rival.

Contrairement à la présentation d'AMD, Nvidia affirme que sa puce H100, lorsqu'elle est évaluée de façon appropriée avec un logiciel optimisé, surpasse le MI300X par une marge substantielle. Nvidia a allégué qu'AMD n'avait pas intégré ses optimisations lors de la comparaison avec TensorRT-LLM. Développé par Nvidia, TensorRT-LLM est une boîte à outils permettant d'assembler des solutions optimisées pour effectuer l'inférence de grands modèles de langage. Dans son article, la réponse de Nvidia a consisté à comparer un seul H100 à des GPU H100 à huit voies en exécutant le modèle de chat Llama 2 70B. Les résultats obtenus sont surprenants.

Les résultats, obtenus à l'aide d'un logiciel antérieur à la présentation d'AMD, ont démontré une performance deux fois plus rapide pour une taille de lot de 1. Plus loin encore, en appliquant la latence standard de 2,5 secondes utilisée par AMD, Nvidia émerge comme le leader incontesté, surpassant le MI300X d'un facteur stupéfiant de 14. Comment cela est-il possible ? C'est simple. AMD n'a pas utilisé le logiciel de Nvidia, qui est optimisé pour améliorer les performances sur le matériel Nvidia. La firme de Santa Clara indique qu'AMD a utilisé un logiciel alternatif qui ne prend pas en charge le moteur Transformer de la puce H100 (Hopper).

« Bien que TensorRT-LLM soit disponible gratuitement sur GitHub, les comparaisons récentes d'AMD ont utilisé un logiciel alternatif qui ne prend pas encore en charge le moteur Transformer de Hopper et qui ne dispose pas de ces optimisations », indique Nvidia. En outre, AMD n'a pas tiré parti du logiciel TensorRT-LLM publié par Nvidia en septembre, qui double les performances d'inférence sur les LLM, ni du moteur d'inférence Triton. Ainsi, l'absence de TensorRT-LLM, de Transformer Engine et de Triton a donné des performances non optimales. Selon les critiques, comme AMD n'a pas de logiciel équivalent, il a pensé qu'il s'agissait d'une meilleure mesure.

AMD publie de nouvelles mesures indiquant que le MI300X est supérieur au H100

De manière surprenante, AMD a répondu au défi lancé par Nvidia avec de nouvelles mesures des performances de sa puce MI300X, démontrant une augmentation de 30 % des performances par rapport à la puce H100, même avec une pile logicielle finement réglée. Reprenant les conditions de test de Nvidia avec TensorRT-LLM, AMD a adopté une approche proactive en tenant compte de la latence, un facteur courant dans les charges de travail des serveurs. AMD a mis l'accent sur des points clés de son argumentation, en soulignant notamment les avantages de FP16 en utilisant vLLM par rapport à FP8, qui est exclusif à TensorRT-LLM.

AMD a affirmé que Nvidia a utilisé un ensemble sélectif de charges de travail d'inférence. L'entreprise a également indiqué que Nvidia avait utilisé son propre TensorRT-LLM sur H100 plutôt que vLLM, une méthode open source largement utilisée. En outre, Nvidia a utilisé le type de données de performance vLLM FP16 sur AMD tout en comparant ses résultats avec DGX-H100, qui a utilisé le TensorRT-LLM avec le type de données FP8 pour afficher ces résultats prétendument mal interprétés. AMD a souligné que dans son test, il a utilisé vLLM avec l'ensemble de données FP16 en raison de son utilisation répandue, et que vLLM ne prend pas en charge FP8.

Un autre point de discorde entre les deux entreprises porte sur la latence dans les environnements de serveurs. AMD reproche à Nvidia de se concentrer uniquement sur les performances de débit sans aborder les problèmes de latence dans le monde réel. Alors, pour contrer la méthode de test de Nvidia, AMD a effectué trois tests de performance en utilisant la boîte à outils TensorRT-LLM de Nvidia, le dernier test mesurant spécifiquement la latence entre MI300X et vLLM en utilisant l'ensemble de données FP16 contre H100 avec TensorRT-LLM. Les nouveaux tests d'AMD ont montré une amélioration des performances et une réduction de la latence.

AMD a appliqué des optimisations supplémentaires, ce qui a permis d'augmenter les performances de 2,1x par rapport à H100 lors de l'exécution de vLLM sur les deux plateformes. C'est maintenant à Nvidia d'évaluer comment il souhaite réagir. Mais l'entreprise doit également reconnaître que cela obligerait l'industrie à abandonner le FP16 avec le système fermé de TensorRT-LLM pour utiliser le FP8, ce qui reviendrait à abandonner vLLM pour de bon.

Le marché du matériel d'IA évolue très rapidement et la concurrence s'intensifie

La concurrence entre Nvidia et AMD dure depuis longtemps. Mais il est intéressant de noter que c'est la première fois que Nvidia a décidé de comparer directement les performances de ses produits avec celles d'AMD. Cela montre clairement que la concurrence dans ce domaine s'intensifie. En outre, les deux géants des puces ne sont pas les seuls à tenter de se faire une place sur le marché. D'autres, comme Cerebras Systems et Intel, s'y emploient également. Pat Gelsinger, PDG d'Intel, a annoncé la puce d'IA Gaudi3 lors de son dernier événement AI Everywhere. Cependant, seulement très peu d'informations ont été révélées sur ce processeur.

De même, le H100 ne sera bientôt plus d'actualité. Nvidia présentera au début de l'année prochaine les puces GH200, qui succéderont aux H100. AMD n'a pas comparé ses nouvelles puces avec ce dernier, mais avec le H100. Il est évident que les performances de la nouvelle puce GH200 seront supérieures à celles des puces précédentes. Étant donné que la concurrence est si serrée, AMD pourrait finir par être traité comme une option de secours par de nombreuses entreprises, dont Meta, Microsoft et Oracle. À ce propos, Microsoft et Meta ont annoncé récemment qu'ils envisagent d'intégrer les puces d'AMD dans leurs centres de données.

Gelsinger a prévu que la taille du marché des GPU serait d'environ 400 milliards de dollars d'ici 2027. Il y a donc de la place pour de nombreux compétiteurs. De son côté, Andrew Feldman, PDG de Cerebras, a dénoncé de prétendues pratiques monopolistiques de Nvidia lors de l'événement Global AI Conclave. « Nous passons notre temps à chercher comment être meilleurs que Nvidia. D'ici l'année prochaine, nous construirons 36 exaflops de puissance de calcul pour l'IA », a-t-il déclaré à propos des plans de l'entreprise. Feldman serait également en pourparlers avec le gouvernement indien pour alimenter le calcul de l'IA dans le pays.

La société a également signé un contrat de 100 millions de dollars pour un supercalculateur d'IA avec G42, une startup d'IA aux Émirats arabes unis, où Nvidia n'est pas autorisée à travailler. En ce qui concerne le bras de fer entre Nvidia et AMD, les rapports soulignent que les spécifications FLOP du MI300X sont meilleures que celles du Nvidia H100 et le MI300X dispose également de plus de mémoire HBM. Toutefois, il faut un logiciel optimisé pour faire fonctionner une puce d'IA et traduire cette puissance et ces octets en valeur pour le client. « Le logiciel AMD ROCm a fait des progrès significatifs, mais AMD a encore beaucoup à faire », note un critique.

Un autre se réjouit de l'intensification de la rivalité entre AMD et Nividia : « c'est formidable de voir AMD rivaliser avec Nvidia. Tout le monde en profitera, y compris probablement Nvidia qui ne peut pas produire suffisamment de GPU pour satisfaire la demande du marché et qui est moins enclin à se reposer sur ses lauriers ».

Sources : Nvidia, AMD

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des puces MI300X d'AMD et H100 de Nvidia ?
Quelles comparaisons faites-vous entre les deux accélérateurs d'IA ?
Selon vous, la puce MI300X d'AMD va-t-elle réussir à s'imposer sur le marché ?
Pensez-vous que la puce H200 va permettre à Nvidia de distancer à nouveau ses rivaux ?
Cerebras et Intel pourront-ils faire de l'ombre à Nvidia sur le marché des GPU dans un avenir proche ?
Que pensez-vous des accusations selon lesquelles Nvidia utilise des pratiques antitrust pour maintenir son monopole ?

Voir aussi

AMD annonce l'Instinct MI300, des accélérateurs d'IA générative et des APU pour centres de données qui offrent des performances jusqu'à 1,3 fois plus élevées dans les charges de travail d'IA

Meta et Microsoft annoncent qu'ils achèteront la nouvelle puce d'IA d'AMD pour remplacer celle de Nvidia

AMD acquiert Nod.ai, une start-up spécialisée dans les logiciels d'intelligence artificielle dans le but de renforcer ses capacités logicielles et de rattraper Nvidia