Le DGX Spark c’est un « superordinateur » spécialisé dans l’IA, qui adopte un format mini. Ce dernier promet de grosses performances sur le papier avec 1 PFLOP sur les charges de travail en IA. Cependant, certains ont remarqué que ces performances ne sont pas tenues dans les faits. C’est ce qu’annonce John Carmack sur X ainsi que Awni Hannun, lead developer chez Apple.
Le DGX Spark ne tient ses perfs, chauffe et dans certains cas reboot ?
John Carmack, co-fondateur de ID Software prend donc la parole sur X et indique que le superordinateur de NVIDIA ne tient pas ses promesses en terme de performances. Ce dernier a mesuré une consommation maximale atteignant les 100W alors qu’il est affiché à 240W. Par la suite, il indique que le niveau de performance constaté est bien inférieur à ce qui était annoncé par le caméléon. Dans les faits, l’appareil n’offre que 480 TFLOP en FP4 soit environ 60 TFLOP en BF16 là où 1 PFLOP était annoncé en FP4. Mais ce n’est pas tout puisque Carmack indique également que la machine a tendance à chauffer dans ces conditions. Il dit également qu’il a un retour comme quoi la machine a même redémarré dans un cas à cause de la chaleur.
Mais ce n’est pas le seul puisque Hannun indique obtenir des résultats similaires en utilisant PyTorch et MLX. Encore une fois, la machine ne parvient à sortir que 60 TFLOP lors d’opérations matricielles BF16.
De cette manière, nous serions tentés de dire que NVIDIA a surévalué les performances de son matériel, hors, d’autres personnes ont pointé que les 1 PFLOP annoncés ne peuvent être atteint que dans certaines conditions bien particulières puisque le matériel du DGX Spark supporte la sparsité structurée. Or, dans les faits, cela nécessite une charge de travail particulièrement bien optimisée ce qui n’est visiblement pas souvent le cas. Sans cette sparsité, les performances plongent et c’est ce qui est constaté ici.
