Nvidia lance sa première puce Groq LPX : combinée avec Vera Rubin, l'efficacité d'inférence par mégawatt augmente jusqu'à 35 fois, et présente le prototype de la prochaine génération Kyber

Gate News, le 17 mars, NVIDIA a lancé le processeur Groq 3 LPU (Unité de traitement du langage), la première puce sortie après l’acquisition de la startup spécialisée dans les puces d’inférence AI, Groq, en décembre dernier pour environ 20 milliards de dollars. La livraison est prévue pour le troisième trimestre de cette année. Le châssis Groq 3 LPX peut accueillir 256 LPUs, équipé de 128 Go de SRAM intégré et d’une bande passante d’interconnexion extensible de 640 To par seconde. Selon le fabricant, lorsque le LPX est déployé avec le Vera Rubin NVL72, le débit de traitement par mégawatt peut être augmenté jusqu’à 35 fois, tout en libérant le potentiel de revenus dans des scénarios d’inférence avec des trillions de paramètres et des millions de tokens de contexte. Jensen Huang décrit les deux processeurs comme « des extrêmes différents mais unifiés : l’un visant un débit élevé, l’autre une faible latence », la mémoire intégrée du LPX permettant d’augmenter considérablement la capacité totale de mémoire disponible pour les modèles. Le châssis LPX est prévu pour être lancé en seconde moitié d’année, en même temps que la plateforme Vera Rubin. De plus, Huang a présenté un prototype de l’architecture de châssis de nouvelle génération, nommée Kyber. Kyber remplace le plateau de calcul de 144 GPU par une disposition verticale afin d’augmenter la densité physique et de réduire la latence. Il sera intégré à la plateforme successor Vera Rubin Ultra, prévue pour 2027.