Message de Gate News, 29 avril — La chercheuse en IA Aran Komatsuzaki a mené une analyse comparative de l’efficacité de la tokenisation sur six grands modèles d’IA en traduisant le papier fondateur de Rich Sutton « The Bitter Lesson » dans neuf langues et en les traitant avec les tokenizers d’OpenAI, Gemini, Qwen, DeepSeek, Kimi et Claude. En utilisant le nombre de tokens de la version anglaise sur OpenAI comme base (1x), l’étude a révélé d’importantes disparités : traiter le même contenu en chinois nécessitait 1,65x tokens sur Claude, contre seulement 1,15x sur OpenAI. L’hindi a montré un résultat encore plus extrême sur Claude, dépassant la base de plus de 3x. Anthropic est arrivé en dernière position parmi les six modèles testés.
Critiquement, lorsque le même texte chinois identique a été traité sur différents modèles—tous mesurés par rapport à la même base anglaise—les résultats ont divergé de manière spectaculaire : Kimi n’a consommé que 0,81x tokens (même en dessous de l’anglais), Qwen 0,85x, tandis que Claude en demandait 1,65x. Cet écart révèle un problème pur d’efficacité de tokenisation, pas une question intrinsèque de langue. Les modèles chinois ont démontré une efficacité supérieure pour le traitement du chinois, ce qui suggère que la disparité provient d’optimisations du tokenizer plutôt que de la langue elle-même.
Les implications pratiques pour les utilisateurs sont considérables : une consommation accrue de tokens augmente directement les coûts des API, prolonge la latence des réponses des modèles et épuise plus rapidement les fenêtres de contexte. L’efficacité de la tokenisation dépend de la composition linguistique des données d’entraînement d’un modèle—les modèles entraînés principalement sur l’anglais compressent l’anglais plus efficacement, tandis que les langues moins représentées sont tokenisées en fragments plus petits et moins efficaces.
La conclusion de Komatsuzaki souligne un principe fondamental : la taille du marché détermine l’efficacité de la tokenisation. Les marchés plus vastes bénéficient d’une meilleure optimisation, tandis que les langues sous-représentées font face à des coûts de tokens nettement plus élevés.
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
La plateforme financière d’IA Rogo lève $160M en Série D menée par Kleiner Perkins en moins de 3 mois
Selon Beating, la plateforme d’IA Rogo, conçue pour des scénarios financiers à haute fréquence, a achevé un tour de financement de Série D de $160 millions en avril 2026, mené par Kleiner Perkins avec la participation de Sequoia, Thrive Capital, Khosla Ventures et J.P. Morgan. Le financement est intervenu moins de trois mois
GateNewsIl y a 43m
La Chine bloque l’acquisition de Manus, soutenue par Meta, le 29 avril, invoquant des inquiétudes liées à la sécurité technologique et des données
Selon PANews, le 29 avril, le bureau d’examen de la sécurité des investissements de la Commission nationale chinoise du développement et de la réforme a interdit l’acquisition étrangère du projet Manus et exigé que la transaction soit annulée. Manus, présenté comme le premier agent d’intelligence artificielle générale au monde, avait annoncé
GateNewsIl y a 1h
Alibaba Cloud réduit le prix du cache implicite de DeepSeek-V4-Pro à 1 yuan par million de jetons le 29 avril
Selon Alibaba Cloud, sa plateforme Bailian réduira le prix du cache implicite du modèle DeepSeek-V4-Pro (Implicit Cache) à 1 yuan par million de jetons, à compter du 29 avril 2026 à 23:59:59, heure de Pékin. Le cache implicite ne s’applique que lorsque les requêtes correspondent au cache ; les jetons d’entrée mis en cache sont facturés au tarif cached_token, tandis que les jetons d’entrée non mis en cache sont facturés aux tarifs standard input_token,.
GateNewsIl y a 1h
La plateforme d’IA Certifyde lève $2M en financement de démarrage avec le PDG de Ripple Brad Garlinghouse
Selon ChainCatcher, la plateforme d’application IA Certifyde a annoncé la clôture d’un tour de table de $2 million. Les investisseurs incluent K5 Global, Flamingo Capital, ainsi que des investisseurs providentiels comme le PDG de Ripple Brad Garlinghouse, le cofondateur de Honey George Ruan et le cofondateur de Nutra Roland
GateNewsIl y a 3h
DeepSeek lance une fonctionnalité de reconnaissance d’images en tests bêta
Selon PANews, DeepSeek a lancé aujourd’hui sa fonction de reconnaissance d’images (29 avril), actuellement en phase de tests bêta. Les utilisateurs de la version web et de l’application mobile peuvent tous deux être sélectionnés pour le déploiement bêta.
GateNewsIl y a 4h
Anthropic lance 8 connecteurs d’outils créatifs pour Claude, dont Blender, Adobe, Autodesk
Anthropic a annoncé une suite de connecteurs d’outils créatifs qui permettent à Claude de contrôler directement des logiciels professionnels utilisés par les designers et les musiciens. Les huit connecteurs initiaux couvrent la modélisation 3D, le design visuel, la production musicale et la performance en direct, avec des partenaires incluant Blender, Adobe,
GateNewsIl y a 4h
