Du côté de NVIDIA, nous apprenons que la marque au caméléon propose un chatbot accessible entièrement de manière locale : Chat With RTX. Ce dernier est entièrement personnalisable et tourne avec les RTX 30 et RTX 40… Mais attention, toutes les cartes ne sont pas compatibles !
Chat With RTX : un « ChatGPT like » disponible localement !
Dans les grandes lignes, sachez que ce logiciel fonctionne avec des cartes graphiques NVIDIA RTX 30 et RTX 40. Cependant, un minimum de 8 Go de VRAM est nécessaire, donc la RTX 3050 6 Go n’est pas compatible, dommage. Attention également à la version de votre pilote graphique, le GeForce 535.11 ou plus devant être installé.
Ensuite, c’est un chatbot qui s’exécute localement, pour l’utiliser vous n’aurez donc pas besoin d’une connexion internet contrairement à ChatGPT par exemple. Ensuite, vous bénéficierez d’une expérience personnalisée suivant les dataset que vous utiliserez. Pour finir, vous pourrez utiliser les LLM Mistral ou LIama 2 pour la génération des réponses. On peut même utiliser des vidéos YouTube comme ressources.
Par la suite, NVIDIA entend booster les performances de son outil qui fournira des réponses plus précises et plus rapides. Ce gain est attendu avec TensorRT-LLM v0.6.0.
Pour le téléchargement, ça se passe sur le lien ci-dessous :
