NVIDIA lance TensorRT-LLM, qui peut améliorer les performances d'inférence H100 jusqu'à 8 fois

Selon un rapport d’IT House du 9 septembre, NVIDIA a récemment annoncé le lancement de TensorRT-LLM, une bibliothèque open source profondément optimisée qui peut accélérer les performances d’inférence de tous les grands modèles de langage sur les GPU IA tels que Hopper. NVIDIA travaille actuellement avec la communauté open source pour utiliser des technologies de pointe telles que SmoothQuant, FlashAttention et fMHA pour implémenter des noyaux d’IA afin d’optimiser son GPU, qui peut accélérer les modèles GPT-3 (175B), Llama Falcom (180B) et Bloom.

Le point culminant de TensorRT-LLM est l’introduction d’un schéma de planification appelé In-Flight batching, qui permet au travail d’entrer et de sortir du GPU indépendamment des autres tâches. Cette solution permet au même GPU de traiter dynamiquement plusieurs requêtes plus petites lors du traitement de requêtes volumineuses et gourmandes en calcul, améliorant ainsi les performances de traitement du GPU et accélérant le débit du H100 de 2 fois.

Dans le test de performances, NVIDIA a utilisé A100 comme base et a comparé H100 et H100 avec TensorRT-LLM activé. Dans l’inférence GPT-J 6B, les performances d’inférence de H100 étaient 4 fois supérieures à celles de A100, tandis que les performances de H100 avec TensorRT -LLM activé était meilleur que A100, 8 fois.