OCC

Du côté d’AMD, petit retour sur les futures RX 8000 de la marque puisque Kepler_L2 nous en dit plus concernant les configurations mémoire des futures RX 8000. Là, ça balance tout, le type de VRAM, la largeur du bus et les bandes passantes… En passant par la quantité d’Infinity Cache. Bref, à quoi avons-nous affaire ?

RX 8000 : qu’en est-il de la VRAM ? 

Dans les grandes lignes, nous retiendrons que cette nouvelle série disposerait de deux GPU majeurs : Navi 48 et Navi 44. Ici, AMD ne se concentrerait pas sur le segment « enthousiast » mais proposerait des cartes plus rationnelles et ciblant les secteurs milieu/haut de gamme. Pour cela, Moore’s Law is Dead n’hésite pas indiquer que le but de l’entreprise est de proposer des produits misant sur le ratio performance/conso et performance/prix en ray tracing. D’ailleurs, on a vu (ici et là) que l’entreprise devrait proposer de nombreuses améliorations à ce sujet.

Concernant la mémoire maintenant, malheureusement, les cartes ne profiteraient pas de puces mémoire nouvelle génération aka GDDR7 puisque l’on resterait sur de la GDDR6. Au niveau de la configuration de ces puces, comme nous voyions ici, le Navi 48 arriverait avec un bus mémoire de 256 bits ce qui permettrait des configurations en 16 Go. Toutefois, du côté des vitesses, les rumeurs évoquent un Navi 48 XTX avec des puces de 20 Gbps (640 Go/s de bande passante). Une déclinaison plus sage de la puce, Navi 48 XT, tournerait avec de la mémoire plus lente à 18 Gbps (576 Go/s de bande passante). Enfin, le petit Navi 44 offrirait un bus de 192 bits (12 Go de mémoire) et de la mémoire en 19 Gbps, soit 456 Go/s de bande passante.

Pour finir, au niveau de l’Infinity Cache, on retiendra que Navi 48 XTX/XT en disposerait de 64 Mo contre 48 Mo pour Navi 44.

Dans le monde de l’IA, nous avons AMD qui nous partage des résultats de benchmarks de sa RADEON Instinct MI300X sur MLPerf. Pour rappel, MLPerf, c’est une suite de benchmarks qui permet d’évaluer les capacités du matériel à destination des tâches type IA. Le test propose différents scénarios allant du LLM à la segmentation d’image médicale, bref, y’a de quoi faire.

La MI300X rivalise avec la H100 pour le quart du prix ?

Dans les grandes lignes, nous retiendrons que la carte a été testée avec deux configurations : une couplée avec un CPU Epyc Genoa en Zen 4 et l’autre avec de l’Epyc Turin en Zen 5.

Concrètement, sur MLPerf Inference 4.1 avec un model Llama2-70B, la configuration affiche un score de 21 028 tokens/s en mode serveur contre 23 514 tokens/s en mode offline. Ces résultats sont obtenus avec un Epyc Genoa. De l’autre côté, lorsque couplé à un Epyc Turin, les scores progressent et montent à 22 021 tokens/s en serveur contre 24 110 tokens/s en mode offline, des scores en progression de 4,7 % et 2,1 % respectivement.

Face à une configuration équipée d’une NVIDIA H100, la carte concurrente, lorsque la MI300X est couplée à un CPU Epyc Genoa, les scores restent inférieurs, dans tous les cas, à ce que propose NVIDIA. Cependant, avec un Epyc Turin, en mode serveur, la config AMD devance celle équipée de H100 de 2 % mais reste légèrement derrière en mode offline.

Bref, des résultats intéressants, surtout lorsque l’on parle du prix de vente de ces solutions. Effectivement, une H100, on l’a vu, c’est vendu dans les $40 000 tandis que la solution d’AMD s’affiche parfois au quart du prix : $10 000 suivant le volume de vente et des négociations derrières. Ajoutons à cela que la carte AMD dispose d’une quantité de mémoire bien supérieure : 192 Go de HBM3 contre, au mieux, 96 Go pour la H100.