Les récents essais des performances de l’accélérateur Instinct MI300X d’AMD révèlent des résultats intéressants dans le domaine de l’intelligence artificielle. En le comparant au processeur H100 de NVIDIA, les performances dans divers scénarios, notamment les applications MLPerf Inference v4.1, soulèvent des questions sur les capacités de chaque technologie.
Remise en contexte : Les premiers tests de performances officiels de l’accélérateur Instinct MI300X d’AMD conçu pour les centres de données et les applications d’IA ont fait surface. Comparé au Hopper de NVIDIA, le nouveau processeur a obtenu des résultats mitigés dans MLPerf Inference v4.1, un outil d’analyse comparative standard de l’industrie pour les systèmes d’IA avec des charges de travail conçues pour évaluer les performances d’entraînement et d’inférence de l’accélérateur d’IA.
Mercredi, AMD a publié des benchmarks comparant les performances de son MI300X avec celles du GPU H100 de NVIDIA pour mettre en valeur ses capacités d’inférence Gen AI. Pour le modèle LLama2-70B, un système avec huit processeurs Instinct MI300X a atteint un débit de 21 028 jetons par seconde en mode serveur et de 23 514 jetons par seconde en mode hors ligne lorsqu’il est associé à un processeur EPYC Genoa. Les chiffres sont légèrement inférieurs à ceux atteints par huit accélérateurs NVIDIA H100, qui ont atteint 21 605 jetons par seconde en mode serveur et 24 525 jetons par seconde en mode hors ligne lorsqu’ils sont associés à un processeur Intel Xeon non spécifié.
Lors des tests avec un processeur EPYC Turin, le MI300X s’en sort un peu mieux, atteignant un débit de 22 021 jetons par seconde en mode serveur, soit un score légèrement supérieur au score du H100. Cependant, en mode hors ligne, le MI300X obtient toujours un score inférieur à celui du système H100, atteignant seulement 24 110 jetons par seconde.
Le MI300X prend en charge une capacité de mémoire supérieure à celle du H100, ce qui lui permet potentiellement d’exécuter un modèle de 70 milliards de paramètres comme le LLaMA2-70B sur un seul GPU, évitant ainsi la surcharge réseau associée à la répartition du modèle sur plusieurs GPU avec une précision FP8. À titre de référence, chaque instance de l’Instinct MI300X dispose de 192 Go de mémoire HBM3 et offre une bande passante mémoire maximale de 5,3 To/s. En comparaison, le NVIDIA H100 prend en charge jusqu’à 80 Go de mémoire HMB3 avec jusqu’à 3,35 To/s de bande passante GPU.
Les résultats concordent largement avec les récentes déclarations d’Intel selon lesquelles ses puces Blackwell et Hopper offrent des gains de performances massifs par rapport aux solutions concurrentes, notamment l’AMD Instinct MI300X. De même, NVIDIA a fourni des données montrant que dans les tests LLama2, un système avec huit processeurs MI300X n’atteignait que 23 515 jetons par seconde à 750 watts en mode hors ligne. Pendant ce temps, le H100 atteignait 24 525 jetons par seconde à 700 watts. Les chiffres pour le mode serveur sont similaires, le MI300X atteignant 21 028 jetons par seconde, tandis que le H100 a obtenu 21 606 jetons par seconde à une puissance inférieure.