D’après des informations, des chercheurs de NVIDIA et du MIT ont publié Lightning OPD (Offline On-Policy Distillation), un nouveau cadre post-entraînement pour les grands modèles de langage qui élimine la nécessité de garder un modèle enseignant en fonctionnement pendant l’entraînement. En précalculant hors ligne les log-probabilités du modèle enseignant, le cadre améliore l’efficacité de l’entraînement de 4x tout en libérant toutes les ressources GPU pour l’entraînement du modèle étudiant.
Lors de tests sur 8 GPU NVIDIA H100, Lightning OPD a réussi à distiller Qwen3-30B-A3B-Base (un modèle MoE de 30 milliards de paramètres) et a atteint 71,0 sur le benchmark AIME 2024, tandis que l’OPD standard a manqué de mémoire sur le même matériel. Pour le modèle Qwen3-8B plus petit, le cadre n’a nécessité que 30 heures de GPU pour atteindre 69,9 points.
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
Andrew Ng balaie la crise du chômage liée à l’IA, cite un taux de chômage américain de 4,3 % et des recrutements solides d’ingénieurs en logiciels
D’après Beating, Andrew Ng a publié aujourd’hui une déclaration rejetant les affirmations largement répandues d’un chômage de masse lié à l’IA, en décrivant ce récit comme non étayé par des données. En s’appuyant sur le génie logiciel, le domaine le plus exposé aux agents de codage par l’IA, Ng a noté que les embauches restent dynamiques et que le taux de chômage aux États-Unis s’établit à 4,3%, un niveau jugé sain. Il a prédit que l’avenir apportera un « AI jobapalooza » qui créera davantage d’
GateNewsIl y a 23m
La bourse coréenne déploie l’IA dans les opérations du marché principal le 13 mai
Selon The Chosun Daily, le 13 mai, Korea Exchange a déployé l'IA dans les opérations centrales du marché avec Fair Labs, une startup sud-coréenne d'IA qu'elle a acquise en février. Le premier cas d’usage est un système qui analyse les actualités locales et internationales afin de détecter les problèmes de divulgation dans les entreprises cotées qui pourraient déclencher des suspensions de cotation. La bourse prévoit également d'utiliser l'IA pour examiner les dépôts d'actions et automatiser cert
GateNewsIl y a 1h
Tesla prévoit davantage de produits d’IA pour la Chine, en s’appuyant sur plus de 400 fournisseurs locaux
D'après China Daily, Tesla prévoit d'apporter davantage d'IA et de produits intelligents en Chine, la vice-présidente Grace Tao soulignant l'intégration profonde de la chaîne d'approvisionnement de l'entreprise dans le pays. En mars 2026, Tesla travaille avec plus de 400 fournisseurs chinois, dont plus de 60 fournissent son réseau mondial, avec une localisation des pièces à sa Gigafactory de Shanghai dépassant 95%. L'entreprise exploite 588 magasins directement gérés dans 119 villes chinoises co
GateNewsIl y a 1h
SoftBank déclare 45 milliards de dollars de gains non réalisés provenant de son investissement dans OpenAI au 31 mars
D'après ChainCatcher, SoftBank a déclaré des gains latents cumulés de 45 milliards de dollars provenant de son investissement dans OpenAI au 31 mars. En avril 2026, la société a déployé 20 milliards de dollars d'emprunts principalement pour investir dans OpenAI, dont 2,5 milliards de dollars ont été remboursés le même mois.
GateNewsIl y a 1h
L’ambassadeur de Chine Xie Feng appelle à une concurrence « saine » en matière d’IA avec les États-Unis avant la visite de Trump
D’après l’ambassade des États-Unis en Chine, le nouvel ambassadeur de Chine aux États-Unis, Xie Feng, a discuté des relations entre les États-Unis et la Chine ainsi que de la visite à venir du président Trump en Chine dans une interview accordée à Tom O'Connor, correspondant senior en politique diplomatique de Newsweek, publiée avant le déplacement.
GateNewsIl y a 1h
L’UE discute d’adhérer à l’Alliance Pax Silica soutenue par les États-Unis dans les prochaines semaines
D’après Bloomberg, l’Union européenne est en pourparlers pour rejoindre Pax Silica, une alliance soutenue par les États-Unis pour les semi-conducteurs, l’infrastructure d’IA, les minéraux critiques et les centres de données, dans le cadre d’efforts visant à réduire la dépendance à la Chine. La Commission européenne prévoit d’envoyer un haut responsable aux États-Unis dans les semaines à venir afin de travailler sur les conditions. Cette démarche intervient alors que la Suède et la Finlande ont d
GateNewsIl y a 1h
