Qu’est-ce qui vient de se passer? Lors de sa conférence Vision 2024 à Phoenix, en Arizona, Intel a dévoilé l’accélérateur d’IA Gaudi 3 qui, selon la société, offrira des performances 50 % supérieures dans les tâches d’inférence par rapport au H100 de NVIDIA. Le Gaudi 3 a été présenté lors de l’événement AI Everywhere d’Intel en décembre 2023, où le PDG de la société, Pat Gelsinger, a déclaré qu’il serait bientôt disponible pour affronter les NVIDIA H100 et AMD MI300.
La nouvelle puce, qui succède à la Gaudi 2, combine deux puces TSMC de 5 nm et comprend 64 cœurs Tensor de 5e génération, 128 Go de mémoire HBM2e à 3,7 Gbit/s et 3,7 To de bande passante par seconde. Les chiffres suggèrent des améliorations substantielles par rapport au Gaudi 2, doté de 24 cœurs Tensor, de 96 Go de mémoire HBM2e à 3,27 Gbit/s et de 2,45 To/s de bande passante. Le Gaudi 3 comprend également 96 Mo de SRAM avec une bande passante de 12,8 To/s.
Les autres caractéristiques tests incluent 128 Go de VRAM, 1 835 TFLOPS de performances dans les matrices FP8 et BF16 et 900 watts de consommation d’énergie à l’antenne. En comparaison, Gaudi 2 dispose de 96 Go de VRAM, offre 835 TFLOPS dans la matrice FP8, 432 TFLOPS dans la matrice BF16 et consomme 600 W d’énergie.
De plus, chaque accélérateur Gaudi 3 comprend vingt-quatre ports Ethernet 200 Go pour fournir un réseau standard flexible et ouvert. Il est également expédié avec une carte d’extension PCIe qui, selon la société, facilitera les charges de travail telles que le réglage fin, l’inférence et la génération augmentée par récupération (RAG).
Selon Intel, la puce Gaudi de troisième génération offrira un calcul d’IA 4x pour le BF16, une bande passante mémoire 1,5 fois supérieure et une bande passante réseau 2x par rapport à son prédécesseur, offrant ainsi des « améliorations significatives des performances » pour les tâches de formation et d’inférence sur les principaux modèles GenAI. .
En comparant le Gaudi 3 avec le NVIDIA H100, Intel a affirmé que son dernier accélérateur d’IA est 50 % plus rapide sur les paramètres Llama2 7B et 13B et sur les modèles de paramètres GPT-3 175B. Il est également censé offrir une inférence 50 % plus rapide et une efficacité énergétique d’inférence 40 % supérieure pour les paramètres Llama 7B et 70B et les modèles de paramètres Falcon 180B.
Intel ajoute que le Gaudi 3 offrira une inférence 30 % plus rapide sur les paramètres Llama 7B et 70B, ainsi que sur les modèles de paramètres Falcon 180B, par rapport au NVIDIA H200. Les références fournies par Team Blue suggèrent également que Gaudi 3 sera entre 40 et 70 % plus rapide pour la formation en IA que le H100 selon le LLM, mais il reste à voir comment il fonctionnera dans la vie réelle.
Les premiers échantillons du Gaudi 3 sont déjà fournis aux partenaires constructeurs d’Intel, avec une disponibilité en production en volume prévue pour le second semestre de cette année. Selon la roadmap d’Intel, les déclinaisons refroidies par air du Gaudi 3 commenceront à être commercialisées au troisième trimestre 2024, tandis que les modèles refroidis par liquide ne commenceront à sortir qu’au quatrième trimestre.
Détente, découvrez l’évolution du nombre de smartphones vendus par marque au fil du temps dans la vidéo ci-dessous :
