Certains bidouilleurs parviennent à réaliser de petits exploits intéressants dans le domaine de l’IA. En effet, une PS5 a été jailbreak, ce qui a permis à son propriétaire de la transformer en petit serveur IA. Dans les faits, il a pu faire tourner Qwen 27B, mais des compromis ont dû être faits pour le faire tourner sur la console. Eh oui, une PS5 n’a pas beaucoup de mémoire embarquée, le modèle a donc dû être compressé pour utiliser moins de mémoire. Bref, une expérience qui fonctionne, mais pas sans compromis.
Une PS5 fait tourner un modèle d’IA en local !
Les caractéristiques de la PS5 imposent une contrainte !
Initialement, l’expérience faisait tourner les modèles directement sur la partie CPU de la console, mais cela ne laissait à la console qu’une quantité de mémoire trop faible pour permettre de faire tourner de gros modèles. Dès lors, il était question de faire fonctionner les modèles sur la partie GPU. Cette dernière fonctionnait via Vulkan et un pilote RADV, ce qui permettait de libérer plus de mémoire : 11,4 Go.
Dès lors, des modèles plus gros étaient accessibles, on parle par exemple de Qwen, mais ce dernier a dû être « compressé ». Ainsi, les poids sont stockés sur 2 bits, ce qui réduit la taille du modèle à 6,8 Go. Bien que le modèle soit capable de gérer 27 milliards de paramètres, cette configuration réduit la précision et affaiblit le raisonnement. Avec ces paramètres et une fenêtre de contexte de 64K, la mémoire de la console est utilisée à 91 %.
Les performances :
Au niveau des performances, la console atteint donc les 20,9 tokens/s sur cette version de Qwen. Sur des modèles plus petits comme Gemma, la console atteint les 61 tokens/s tandis que sur Llama 3.2 3B, la machine monte à 124 tokens/s, ce qui est très correct. Du côté de la chauffe et de la consommation, la machine fonctionnait à une température maîtrisée puisque son SoC atteignait les 54 °C tandis que la consommation n’était que de 86 W.
En contrepartie, la configuration de la machine implique de faire tourner des modèles plus petits ou de restreindre fortement les modèles plus gros. D’autre part, cela requiert une console jailbreak, ce qui implique une perte de garantie et un possible bannissement des services en ligne de Sony.