Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基性论文《The Bitter Lesson》翻译成九种语言，并将其交由 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器进行处理，对六个主要 AI 模型的分词效率进行了对比分析。研究以在 OpenAI 上使用英文版本的分词数量作为基准 (1x)，结果显示出显著差异：在 Claude 上处理相同内容需要的代币（tokens）为 1.65 倍，而在 OpenAI 上仅为 1.15 倍。印地语在 Claude 上的结果更为极端，较基准高出超过 3 倍。在所测试的六个模型中，Anthropic 的表现最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准来衡量——结果出现了惊人的分歧：Kimi 消耗的代币仅为 0.81 倍 (，甚至比英文还少)；Qwen 为 0.85 倍；而 Claude 需要 1.65 倍。这个差距揭示的是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时展现出更高的效率，这表明差异源于分词器的优化，而不是语言属性。
对用户而言，其实际影响相当可观：代币消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文数据上训练，那么对英文文本的压缩会更高效；而数据代表性较低的语言，则会被分割成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场往往带来更好的优化；而在市场中代表性不足的语言，将面临显著更高的代币成本。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
DeepSeek 在测试版中上线图像识别功能
据 PANews 报道，DeepSeek 于今日 (年4月29日) 推出其图像识别功能，目前处于测试版阶段。网页端和移动端应用用户都可能被选入此次测试版推送。
GateNews27 分钟前
Anthropic 为 Claude 推出 8 个创意工具连接器，包含 Blender、Adobe、Autodesk
Anthropic 已宣布一套创意工具连接器，能够让 Claude 直接控制设计师和音乐人使用的专业软件。最初的八个连接器涵盖 3D 建模、视觉设计、音乐制作和现场表演，合作伙伴包括 Blender、Adobe、Autodesk、Ableton、Splice、Canva 的 Affinity、Resolume 和 SketchUp。Blender 连接器由 Blender 官方团队使用 MCP 协议开发，使其他 AI 模型也能访问它。
GateNews28 分钟前
白宫绕过五角大楼风险评估：将于4月29日部署 Anthropic Mythos 模型
据“鲸鱼因素”（Whale Factor）称，白宫正在绕过五角大楼的风险评估，计划于4月29日将 Anthropic 的 Mythos 模型部署到各联邦机构。此举旨在加速联邦人工智能能力，并与去中心化人工智能网络的步伐保持一致。这代表了相较于此前供应链争议的重大转变
GateNews33 分钟前
Cognizant将收购Astreya，以扩展人工智能基础设施业务
据路透社报道，4月29日，Cognizant同意以约 $600 百万美元收购Astreya，以扩展其人工智能基础设施业务。Astreya是一家专注于人工智能基础设施和数据中心服务的IT服务提供商。该交易预计将在第二季度完成
GateNews44 分钟前
伪装为 AI 工具的 30 个恶意插件在 ClawHub 上被下载超过 9,800 次
据 Manifold 研究员 Ax Sharma 称，ClawHub 上共有 30 个以合法 AI 工具为幌子的插件已被下载超过 9,800 次，同时在暗中将用户的 AI 助手转换为加密货币劳工。这些插件由账号 imaflytok 发布，看起来像常规的任务调度器和监控工具，但其中包含会执行未经授权操作的隐藏指令。
一旦安装，这些插件会自动将用户的 AI 助手注册到第三方服务器，生成加密货币钱包，并在未经用户同意或告知的情况下提取私钥。随后，这些助手每 4 小时“报到”一次，等待任务分配。Sharma 指出，这些插件不包含安全扫描器可检测到的恶意代码，仅使用标准接口和合法工具，因此很难通过常规安全审查识别出来。
GateNews52 分钟前
Parag Agrawal 的 Parallel 为 AI 代理搜索基础设施筹集 $100M 轮 B 融资
据 Beating 报道，由前 Twitter 首席执行官 Parag Agrawal 创立的 Parallel Web Systems 已完成一轮由 Sequoia Capital 领投的 $100 百万美元 B 轮融资，公司的估值为 $2 十亿美元。Kleiner Perkins、Index Ventures 和 Khosla Ventures 也参与了投资。该融资发生在公司此前以 百万美元估值完成 百万美元 A 轮融资仅过去六个月之后，估值几乎翻了三倍。
Parallel 为 AI 代理构建网络搜索基础设施，支持它们处理投资分析和保险理赔处理等复杂研究任务。公司目前约有 50 名员工，并服务超过 100,000 名开发者。法律 AI 公司 Harvey 是关键客户之一，它使用 Parallel 的基础设施来控制代理可以访问哪些网站。
GateNews1小时前
