Gate News 消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基论文《The Bitter Lesson》翻译成九种语言，并将其分别通过 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器（tokenizers）处理，对六个主要 AI 模型的分词效率进行了对比分析。以 OpenAI 上英文版本的分词（token）数量作为基准 (1x)，研究揭示了显著差异：在 Claude 上处理相同内容的中文需要 1.65x 个分词（tokens），而在 OpenAI 上仅需 1.15x。印地语在 Claude 上的结果更为极端，相比基准超过了 3x。Anthropic 在测试的六个模型中排名最低。
关键在于，当相同的中文文本在不同模型中被处理——且全部都以相同的英文基准进行衡量——结果出现了巨大的分歧：Kimi 只消耗了 0.81x 个分词 (甚至少于英文)，Qwen 为 0.85x，而 Claude 则需要 1.65x。这个差距表明这是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时表现出更高的效率，这表明差异源于分词器优化，而不是语言本身。
对用户的实际影响十分可观：分词消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——主要用英语训练的模型会更高效地压缩英文文本，而数据占比更低的语言会被切分成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基本原则：市场规模决定分词效率。更大的市场获得更好的优化，而在代表性不足的语言上将面临显著更高的分词成本。
btc.bar.articles
แพลตฟอร์ม AI Certifyde ระดมทุนเมล็ดพันธุ์ $2M ด้วย CEO ของ Ripple Brad Garlinghouse
ตามรายงานของ ChainCatcher แพลตฟอร์มแอปพลิเคชันด้าน AI Certifyde ประกาศปิดการระดมทุนรอบเมล็ดพันธุ์มูลค่า $2 ล้านดอลลาร์แล้ว นักลงทุนรวมถึง K5 Global, Flamingo Capital และนักลงทุนแองเจิลอย่างเช่น Brad Garlinghouse CEO ของ Ripple, George Ruan ผู้ร่วมก่อตั้ง Honey และ Roland ผู้ร่วมก่อตั้ง Nutra
GateNews55 นาที ที่แล้ว
DeepSeek เปิดตัวฟีเจอร์การรู้จำภาพในช่วงทดสอบเบต้า
ตามรายงานของ PANews, DeepSeek ได้เปิดตัวฟีเจอร์การรู้จำภาพในวันนี้ (April 29) ขณะนี้อยู่ในช่วงทดสอบเบต้า ผู้ใช้ทั้งเวอร์ชันเว็บและแอปมือถืออาจได้รับการคัดเลือกสำหรับการเปิดตัวเบต้า
GateNews1 ชั่วโมง ที่แล้ว
Anthropic เปิดตัว 8 ตัวเชื่อมต่อเครื่องมือสร้างสรรค์สำหรับ Claude รวมถึง Blender, Adobe, Autodesk
Anthropic ได้ประกาศชุดตัวเชื่อมต่อเครื่องมือสร้างสรรค์ที่จะช่วยให้ Claude ควบคุมซอฟต์แวร์ระดับมืออาชีพที่ใช้โดยนักออกแบบและนักดนตรีได้โดยตรง ตัวเชื่อมต่อเริ่มต้นทั้งแปดครอบคลุมการสร้างแบบจำลอง 3D การออกแบบภาพ การผลิตเพลง และการแสดงสด โดยมีพาร์ทเนอร์รวมถึง Blender, Adobe,
GateNews1 ชั่วโมง ที่แล้ว
ทำเนียบขาวข้ามการประเมินความเสี่ยงของกระทรวงกลาโหมเพื่อปรับใช้โมเดล Mythos ของ Anthropic ในวันที่ 29 เมษายน
ตาม Whale Factor ทำเนียบขาวกำลังข้ามการประเมินความเสี่ยงของกระทรวงกลาโหมเพื่อปรับใช้โมเดล Mythos ของ Anthropic ทั่วหน่วยงานของรัฐบาลกลางในวันที่ 29 เมษายน การเคลื่อนไหวนี้มีเป้าหมายเพื่อเร่งขีดความสามารถด้าน AI ของภาครัฐและให้ทันกับความเร็วของเครือข่าย AI แบบกระจายอำนาจ นี่ถือเป็นการเปลี่ยนแปลงครั้งสำคัญจากข้อพิพาทห่วงโซ่อุปทานก่อนหน้า
GateNews2 ชั่วโมง ที่แล้ว
Cognizant จะเข้าซื้อ Astreya ด้วยมูลค่า $600M เพื่อขยายธุรกิจโครงสร้างพื้นฐานด้าน AI
ตามรายงานของ Reuters เมื่อวันที่ 29 เมษายน Cognizant ตกลงเข้าซื้อ Astreya ในราคาโดยประมาณ $600 ล้านดอลลาร์สหรัฐ เนื่องจากบริษัทขยายธุรกิจโครงสร้างพื้นฐานด้าน AI Astreya เป็นผู้ให้บริการบริการด้านไอทีที่เชี่ยวชาญด้านโครงสร้างพื้นฐานของ AI และบริการศูนย์ข้อมูล คาดว่าดีลนี้จะปิดในไตรมาสที่สอง
GateNews2 ชั่วโมง ที่แล้ว
ปลั๊กอินที่เป็นอันตราย 30 รายการบน ClawHub ปลอมตัวเป็นเครื่องมือ AI ดาวน์โหลดมากกว่า 9,800 ครั้ง
ตามที่นักวิจัยของ Manifold อย่าง Ax Sharma ระบุ ปลั๊กอิน 30 รายการบน ClawHub ที่ปลอมตัวเป็นเครื่องมือ AI ที่ดูถูกต้องตามกฎหมายถูกดาวน์โหลดมากกว่า 9,800 ครั้ง ขณะเดียวกันก็แอบเปลี่ยนผู้ช่วย AI ของผู้ใช้ให้กลายเป็นแรงงานด้านสกุลเงินดิจิทัล ปลั๊กอินเหล่านี้ เผยแพร่ภายใต้บัญชี imaflytok ปรากฏเป็นตัวกำหนดเวลางานตามปกติ a
GateNews2 ชั่วโมง ที่แล้ว
