Le modèle de DeepSeek tourne bien sur le matos AMD !

0

Récemment, DeepSeek faisait parler de lui parce que cet IA a littéralement torpiller les cours de la bourse de nombreuses entreprises de la tech. On parle tout de même de $589 milliards de valorisation boursière qui s’est envolé du côté de NVIDIA. En effet, cette IA venait remettre en cause le besoin de matériel de pointe pour le développement et l’entrainement de l’IA ainsi que les sommes colossales qu’il faut investir dans le secteur.

Mais là n’est pas le sujet puisqu’AMD vient de publier un post sur son blog Community indiquant quel matos pouvait faire tourner le modèle en local et surtout quelle performance s’attendre face à la RTX 4090 !

DeepSeek : quel matos pour le faire fonctionner en local ? 

Dans un premier, on retiendra qu’il faudra beaucoup de RAM, au minimum 32 Go tandis que l’on pourra monter jusque 64 Go et 128 Go si l’on veut faire fonctionner le modèle DeepSeek-R1-Distill-Llama avec 70 milliards de paramètre avec un laptop équipé d’un CPU Strix Halo.

Publicité

Ensuite, les CPU de type Phoenix Point et Hawk Point seront plus limités puisqu’ils ne seront capable de faire faire tourner que le modèle DeepSeek-R1-Distill-Llama-14B tandis que des processeurs plus récents comme Strix Point feront tourner DeepSeek-R1-Distill-Qwen-14B et DeepSeek-R1-Distill-Llama-14B grâce son iGPU et son NPU. Ça, c’était pour la partie mobile.

Du côté du matos desktop, nous apprenons que les rouges ne recommande, pour l’instant, que des RX 7000 pour faire tourner le modèle. Plus précisément, les cartes disposant entre 12 et 20 Go de VRAM son recommandées pour DeepSeek-R1-Distill-Qwen-32B tandis que la RX 7900 XTX et ses 24 Go de VRAM pourra faire tourner le modèle Qwen-32B. Bien sûr, vous aurez aussi besoin de LM Studio et d’un pilote récent : 25.1.1 beta. .

Pour aller plus loin :
Pas de connecteur 12V-2x6 sur les RTX 5060 ?

RX 7900 XTX DeepSeek R1

Au niveau des performances, AMD compare sa RX 7900 XTX face aux RTX 4080 Super et RTX 4090 sur LM Studio 0.3.8 en token/s. Et il en ressort que la carte surclasse la RTX 4080S sur tous les modèles testés de 22 à 34%. Toutefois, face à la RTX 4090, la 7900 XTX s’avère légèrement moins rapide sur DeepSeek R1 Distill Qwen 32B tandis qu’elle sera devant DeepSeek R1 Distill Qwen 7B, DeepSeek R1 Distill Llama 8B et DeepSeek R1 Distill Qwen 14B. Les écarts vont ici de +2 à +13% en faveur de la carte AMD.

LAISSER UN COMMENTAIRE

Ajoute un commentaire
Entre ton speudo ici