Dans le monde de l’IA, nous avons AMD qui nous partage des résultats de benchmarks de sa RADEON Instinct MI300X sur MLPerf. Pour rappel, MLPerf, c’est une suite de benchmarks qui permet d’évaluer les capacités du matériel à destination des tâches type IA. Le test propose différents scénarios allant du LLM à la segmentation d’image médicale, bref, y’a de quoi faire.
La MI300X rivalise avec la H100 pour le quart du prix ?
Dans les grandes lignes, nous retiendrons que la carte a été testée avec deux configurations : une couplée avec un CPU Epyc Genoa en Zen 4 et l’autre avec de l’Epyc Turin en Zen 5.
Concrètement, sur MLPerf Inference 4.1 avec un model Llama2-70B, la configuration affiche un score de 21 028 tokens/s en mode serveur contre 23 514 tokens/s en mode offline. Ces résultats sont obtenus avec un Epyc Genoa. De l’autre côté, lorsque couplé à un Epyc Turin, les scores progressent et montent à 22 021 tokens/s en serveur contre 24 110 tokens/s en mode offline, des scores en progression de 4,7 % et 2,1 % respectivement.
Face à une configuration équipée d’une NVIDIA H100, la carte concurrente, lorsque la MI300X est couplée à un CPU Epyc Genoa, les scores restent inférieurs, dans tous les cas, à ce que propose NVIDIA. Cependant, avec un Epyc Turin, en mode serveur, la config AMD devance celle équipée de H100 de 2 % mais reste légèrement derrière en mode offline.
Bref, des résultats intéressants, surtout lorsque l’on parle du prix de vente de ces solutions. Effectivement, une H100, on l’a vu, c’est vendu dans les $40 000 tandis que la solution d’AMD s’affiche parfois au quart du prix : $10 000 suivant le volume de vente et des négociations derrières. Ajoutons à cela que la carte AMD dispose d’une quantité de mémoire bien supérieure : 192 Go de HBM3 contre, au mieux, 96 Go pour la H100.
