La veille de Noël, Groq annonçait un accord de licence non exclusif avec NVIDIA, sur sa technologie d’inférence en intelligence artificielle. Le communiqué, très court, aurait pu presque passer inaperçu si l’ampleur du deal (on évoque 20 milliards de $ en cash) n’avait pas titillé les marchés financiers et commencé à alimenter les spéculations. Mais avant de rentrer dans le vif du sujet, plantons le décor.
C’est qui, c’est quoi Groq ?
Disons le tout de suite, si vous voulez comprendre rapidement, il est souhaitable que vous ne confondiez pas Groq avec Grok (l’IA d’Elon Musk).
Groq est une entreprise américaine fondée en 2016 par Jonathan Ross, l’un des créateurs du premier TPU chez Google où il a passé près de 4 ans. Groq a conçu une gamme d’accélérateurs nommés GroqChip. Ces derniers sont catégorisés comme LPU (Language Processing Unit) et ont été pensés dès le départ pour l’inférence en intelligence artificielle, plutôt que pour le traitement graphique. Fabriqués en 14 nm par GlobalFoundries, ces puces priorisent la diminution du délai par token et l’amélioration du coût par demande dans les tâches liées aux modèles de langage à grande échelle (LLM). Ce gain de temps est obtenu grâce à une architecture plus épurée que celle des GPU Nvidia, mais optimisée pour des opérations tensorielles massives en précision réduite.
Autour de ces composants, Groq met à disposition une infrastructure intégrée : des cartes PCIe Gen4, des serveurs GroqNode au format 4U intégrant des CPU AMD Epyc et un boîtier dédié aux accélérateurs. Le tout est géré via le kit de développement Groqware, qui inclut un compilateur, des interfaces API et des instruments d’analyse, permettant d’adapter des modèles issus de PyTorch, TensorFlow ou ONNX à cette plateforme. L’ambition déclarée est de fournir un système d’inférence stable et fiable, avec une latence et une consommation énergétique hautement prévisibles, apte à générer des réponses textuelles presque instantanées. Cette approche a attiré des utilisateurs dans les secteurs des télécommunications et des offres cloud.
Quel est l’intérêt de Nvidia dans cette histoire ?
La conception des puces Groq est fondamentalement différente de ce que fait Nvidia. Elle repose sur une architecture monocœur épaulée par une vaste mémoire SRAM intégrée, garantissant des résultats d’inférence avec une latence extrêmement réduite. Des évaluations indépendantes ont démontré qu’elles surpassent les alternatives rivales d’environ deux fois en termes de vitesse. Les puces Groq diffèrent radicalement des GPU de Nvidia, issus des unités de traitement graphique et basés sur une multitude de cœurs associés à une mémoire HBM externe, entraînant des coûts supplémentaires et des latences. La structure de Groq délivre une bande passante mémoire atteignant des dizaines de téraoctets par seconde via sa SRAM intégrée, tout en éliminant les « cycles inutiles ». Ces caractéristiques s’avèrent cruciales pour les applications IA à venir (notamment l’IA « agentique » en temps réel), qui nécessitent une très faible latence. Avec cette opération, Nvidia acquiert une technologie distincte, sans laquelle son écosystème axé sur les GPU risquerait de rester en retrait.
Un montage complexe plutôt qu’un rachat
Alors qu’au début tout le monde a communiqué sur un rachat de Groq par Nvidia c’est en réalité un montage beaucoup plus complexe qui a été opéré. Avant de détailler l’opération, parlons tout de suite de l’intérêt de celle-ci. Ce montage est là, lui aussi, pour une question de “latence”…En signant une licence technologique non exclusive combinée à l’acquisition de la majorité des actifs de Groq liés aux puces et à un transfert des principaux dirigeants et ingénieurs vers ses équipes, Nvidia gagne un temps précieux tout en minimisant les risques de l’opération. Un rachat simple aurait déclenché des enquêtes et procédures du régulateur. Avec cette méthode, Nvidia utilise son expérience sur son opération avortée avec ARM. Le montage limite la portée des contrôles antitrust et raccourcit les délais de l’opération. Factuellement, l’entreprise Groq existe toujours, elle est désormais dirigée par Simon Edwards, jusqu’ici directeur financier. Mais Nvidia l’a vidé de ses forces vives et d’une grande partie de sa technologie. Ainsi, les principaux dirigeants, Jonathan Ross, Sunny Madra, plusieurs cadres et ingénieurs rejoignent immédiatement les équipes de Nvidia avec pour ambition d’intégrer la technologie de Groq dans les futurs produits de Nvidia. D’autres diront que Nvidia élimine un rival prometteur et renforce encore son pouvoir sur le marché…
