En plus de la petite RTX 4000 ADA SFF, NVIDIA annonçait une très grosse solution graphique pour ChatGPT. Avec sa H100 NVL, la marque propose du très très lourd avec une solution double GPU pleine à craquer en mémoire. On parle de GPU disposant de 94 Go de HBM3 et de bande passante mémoire à plusieurs To/s !
H100 NVL : une solution pro entièrement dédiée à chatGPT !
Bon, en réalité, la H100 NVL de NVIDIA n’est pas une solution simple à comprendre. Mais pour faire simple, il s’agit de puces graphiques de H100 SXM avec plus de mémoire. Quant à la H100 PCIe, on retrouverait une demie-NVL avec un GPU moins bon puisqu’il présente un nombre d’unités de traitement inférieur.
Dans les faits, il s’avère que la NVL est une combinaison de deux cartes PCIe reliées entre elles via trois ponts NVLINK Gen4. Ces derniers permettant une bande passante totale de 900 Go/s.
Pour ce qui est de la configuration mémoire, chaque puce de NVL embarque un total de six stack de HBM3 pour une capacité de 94 Go par GPU. Au total, la solution combine une capacité de 188 Go de mémoire pour une bande passante totale de 7,8 To/s. Cependant, les solutions H100 PCIe et SXM ne disposent que de 80 Go de VRAM puisqu’un stack de 16 Go se retrouve désactivé. La petite bizarrerie réside dans les 2 Go de mémoire de désactivés sur la solution NVL, visiblement pour des raisons de rendement.
Toujours est-il que les performances sur le papier sont stratosphériques avec du 68 TFLOP en FP64 contre 134 TFLOP en exploitant les Tensor Core. Idem en FP32 où la solution pourra atteindre les 134 TFLOP et 1979 TFLOP avec les Tensor Core. Enfin, en FP8 et INT8, les chiffres sont de 7916 TFLOP.
Quoi qu’il en soit, il faudra des racks solides sur leurs appuis pour accueillir de telles solutions. Effectivement, le TDP du H100 NVL est de 2x 350W-400W contre 700W pour la version SXM et 300-350W pour l’homologue en PCIe. Notez cependant, que la version PCIe dispose de 14592 cuda core contre 16896 pour les déclinaisons SXM et NVL.
Pour le prix, mieux vaut ne pas y penser… En fait si, pour la blague, sachez que la H100 PCIe s’affiche à $28000. Ça en dit long sur la facture d’une solution type NVL. Et tout ça pour du calcul d’intelligence artificielle type ChatGPT et autre IA basée sur un modèle type LLM (Large Language Model). Ça en fait un produit vraiment exclusif !
