Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的开创性论文《The Bitter Lesson》翻译成九种语言，并在 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器上进行处理，对六个主要 AI 模型的分词效率进行了对比分析。以 OpenAI 上英文版本的分词数量作为基准 (1x)，研究发现了显著差异：在 Claude 上处理相同内容时，中文所需分词数为 1.65x，而在 OpenAI 上仅为 1.15x。印地语在 Claude 上的结果更为极端，超过基准 3 倍以上。Anthropic 在这六个测试模型中排名最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准进行测量时——结果出现了惊人的分歧：Kimi 仅消耗 0.81x 个分词 (甚至少于英文)，Qwen 为 0.85x，而 Claude 需要 1.65x。这个差距揭示的是纯粹的分词效率问题，而不是语言本身的问题。中文模型在处理中文时表现出更高效率，这表明差异源于分词器的优化，而非语言本身。
对用户的实际影响十分重大：分词消耗的增加会直接推高 API 成本、延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文上训练，它会更高效地压缩英文文本；而数据代表性较低的语言则会被分成更小、更不高效的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场会获得更好的优化，而代表性不足的语言面临显著更高的分词成本。
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى
إخلاء المسؤولية.
مقالات ذات صلة
منصة الذكاء الاصطناعي Certifyde تجمع $2M في التمويل البذري بمشاركة الرئيس التنفيذي لشركة Ripple براد جارلينجهاوس
وفقًا لـ ChainCatcher، أعلنت منصة تطبيقات الذكاء الاصطناعي Certifyde عن إتمام جولة تمويل بذري بقيمة $2 مليون دولار. تشمل المستثمرين K5 Global وFlamingo Capital، ومستثمرين ملائكة مثل الرئيس التنفيذي لشركة Ripple براد جارلينجهاوس، ومؤسس شركة Honey جورج روان، ومؤسس شركة Nutra رولاند
GateNewsمنذ 54 د
DeepSeek 在测试版中推出图像识别功能
据 PANews 报道，DeepSeek 今日推出其图像识别功能 (4月29日)，目前处于测试版。网页端和移动端应用的用户都可能被选中参与测试版推送。
GateNewsمنذ 1 س
تطلق Anthropic 8 موصلات لأدوات إبداعية لـ Claude، بما في ذلك Blender وAdobe وAutodesk
أعلنت شركة Anthropic عن مجموعة من موصلات الأدوات الإبداعية التي تمكّن Claude من التحكم مباشرةً في البرامج الاحترافية المستخدمة من قِبل المصممين وعازفي الموسيقى. تغطي الموصلات الثمانية الأولى مجالات نمذجة ثلاثية الأبعاد، والتصميم البصري، وإنتاج الموسيقى، والعروض الحية، مع شركاء من بينهم Blender وAdobe,
GateNewsمنذ 1 س
البيت الأبيض يتجاوز تقييم مخاطر البنتاغون لنشر نموذج Anthropic Mythos في 29 أبريل
وفقًا لـ Whale Factor، تتجاوز إدارة البيت الأبيض تقييم المخاطر التابع للبنتاغون لنشر نموذج Mythos من Anthropic عبر الوكالات الفيدرالية في 29 أبريل. يهدف هذا الإجراء إلى تسريع قدرات الذكاء الاصطناعي الفيدرالية ومطابقة وتيرة شبكات الذكاء الاصطناعي اللامركزية. ويمثل هذا تحولًا كبيرًا
GateNewsمنذ 2 س
Cognizant تستحوذ على Astreya مقابل $600M للتوسع في أعمال البنية التحتية للذكاء الاصطناعي
وفقًا لرويترز، في 29 أبريل، وافقت شركة Cognizant على الاستحواذ على Astreya مقابل ما يقرب من $600 مليون دولار، وذلك مع توسعها في مجال أعمال البنية التحتية للذكاء الاصطناعي. تعد Astreya مزودًا لخدمات تكنولوجيا المعلومات متخصصًا في البنية التحتية للذكاء الاصطناعي وخدمات مراكز البيانات. من المتوقع أن يتم إغلاق الصفقة في الربع الثاني
GateNewsمنذ 2 س
30 إضافة خبيثة على ClawHub متخفية كأدوات ذكاء اصطناعي، تم تنزيلها أكثر من 9,800 مرة
وفقًا لبحث الباحث في مانيفولد Ax Sharma، تم تنزيل 30 إضافة على ClawHub متخفية على هيئة أدوات ذكاء اصطناعي شرعية أكثر من 9,800 مرة، بينما كانت تقوم سراً بتحويل مساعدين الذكاء الاصطناعي لدى المستخدمين إلى عمال للعملات الرقمية. تظهر الإضافات، المنشورة تحت الحساب imaflytok، كأجهزة جدولة مهام روتينية وأدوات مراقبة، لكنها تحتوي على تعليمات مخفية تنفذ عمليات غير مصرح بها a
GateNewsمنذ 2 س
