L’intelligence artificielle progresse à grands pas, cependant, cela génère quelques problèmes techniques. En effet, les datasets utilisés pour entrainer les modèles sont de plus en plus conséquents et nécessitent davantage de mémoire. Cependant, la capacité mémoire des cartes graphiques n’est pas extensible… Quoi que. La firme Panmnesia, via un AIC, est parvenue à faire exploiter de la mémoire externe par le GPU avec un niveau de performance satisfaisant !
Panmnesia : étendre la capacité mémoire d’un GPU, c’est possible !
Pour le coup, la solution de firme coréenne se base sur une carte AIC sur laquelle est branchée de la mémoire. Toutefois, le défi a été de faire reconnaitre cette mémoire par la carte ce qui n’est pas évident. En effet, ce type d’expander mémoire CXL doit être reconnu par la carte graphique ce qui n’est absolument pas le cas des GPU actuel. Pour l’instant, seule la mémoire virtuelle unifiée (UVM) est reconnue par les cartes, mais les performances ne sont pas top.
Vulgairement, l’entreprise est parvenue à développer son propre système conforme avec le CXL 3.1. Via TechnpowerUp, nous apprenons que cet ensemble intègre donc « de nombreux ports racines et un pont hôte avec un décodeur de mémoire de périphérique géré par l’hôte (HDM) ». Cet ensemble va donc forcer la carte graphique à exploiter la mémoire connectée à la carte d’extension. Bref, c’est un système complexe, mais qui semble fonctionner.
Bien entendu, des tests ont été menés par l’entreprise et les résultats s’annoncent prometteurs, notamment au niveau de la latence. Ainsi, face à de la mémoire virtuelle unifiée, on obtient des temps d’exécutions Kernel réduits de 3,22 fois. La latence est également plus faible avec moins de 80 ns. Face à des prototypes concurrents (Samsung ou Meta), la solution de Panmnesia s’annonce également plus performante.
Reste encore à savoir si la sauce va prendre et si les très grosses entreprises ne vont pas choisir de développer leur propre solution. Idem du côté d’AMD et NVIDIA, ne finiront-ils pas par proposer une solution similaire directement ? Affaire à suivre.
