Gate News сообщение, 29 апреля — исследователь ИИ Аран Комацузаки провел сравнительный анализ эффективности токенизации на шести основных ИИ-моделях, переведя основополагающую работу Рича Саттона “The Bitter Lesson” на девять языков и пропустив их через токенизаторы OpenAI, Gemini, Qwen, DeepSeek, Kimi и Claude. Используя количество токенов английской версии в OpenAI в качестве базового уровня (1x), исследование выявило существенные различия: обработка того же контента на китайском требовала 1,65x токенов у Claude по сравнению лишь с 1,15x у OpenAI. На Claude хинди показал еще более экстремальный результат, превысив базовый уровень более чем в 3 раза. Anthropic оказался самым низким среди шести протестированных моделей.
Критически важно, что когда идентичный китайский текст обрабатывали на разных моделях — все они сравнивались с одним и тем же английским базовым уровнем — результаты разошлись драматически: Kimi потреблял лишь 0,81x токенов (даже меньше, чем английский), Qwen — 0,85x, тогда как Claude требовалось 1,65x. Этот разрыв указывает на чистую проблему эффективности токенизации, а не на врожденную языковую проблему. Китайские модели продемонстрировали более высокую эффективность при обработке китайского, что позволяет предположить, что разница связана с оптимизацией токенизатора, а не с самим языком.
Практические последствия для пользователей существенны: повышенное потребление токенов напрямую увеличивает API-расходы, удлиняет задержку ответов моделей и быстрее исчерпывает контекстные окна. Эффективность токенизации зависит от лингвистического состава тренировочных данных модели — модели, обученные преимущественно на английском, сжимают английский текст более эффективно, а языки с меньшей представленностью токенизируются в более мелкие, менее эффективные фрагменты.
Вывод Комацузаки подчеркивает фундаментальный принцип: размер рынка определяет эффективность токенизации. Более крупные рынки получают лучшую оптимизацию, тогда как языки, недостаточно представленные, сталкиваются со значительно более высокими затратами на токены.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
DeepSeek запускает функцию распознавания изображений в бета-тестировании
Согласно PANews, сегодня DeepSeek запустила функцию распознавания изображений (29 апреля), в настоящее время она находится на бета-тестировании. Для развертывания бета-версии могут быть выбраны как пользователи веб-версии, так и мобильного приложения.
GateNews28м назад
Anthropic Запускает 8 Коннекторов для Творческих Инструментов для Claude, Включая Blender, Adobe, Autodesk
Anthropic объявила набор коннекторов для творческих инструментов, которые позволяют Claude напрямую управлять профессиональным программным обеспечением, используемым дизайнерами и музыкантами. Первые восемь коннекторов охватывают 3D-моделирование, визуальный дизайн, музыкальное продакшн и живые выступления, а партнёрами выступают Blender, Adobe,
GateNews28м назад
Белый дом обходит оценку рисков Пентагона, чтобы развернуть модель Mythos от Anthropic 29 апреля
Согласно Whale Factor, Белый дом обходит оценку рисков Пентагона, чтобы развернуть модель Mythos от Anthropic во всех федеральных ведомствах 29 апреля. Этот шаг направлен на ускорение возможностей федерального ИИ и на то, чтобы идти в ногу с темпами децентрализованных ИИ-сетей. Это означает существенный сдвиг
GateNews34м назад
Cognizant приобретет Astreya за $600M , чтобы расширить бизнес по развитию инфраструктуры ИИ
По данным Reuters, 29 апреля Cognizant согласилась приобрести Astreya примерно за $600 миллиона, поскольку расширяет свой бизнес по развитию инфраструктуры ИИ. Astreya — поставщик ИТ-услуг, специализирующийся на инфраструктуре ИИ и услугах дата-центров. Ожидается, что сделка будет завершена во втором квартале
GateNews44м назад
30 вредоносных плагинов на ClawHub, замаскированных под AI-инструменты, скачаны более 9 800 раз
Согласно исследователю Manifold Акс Шарме, 30 плагинов на ClawHub, замаскированных под легитимные AI-инструменты, были скачаны более 9 800 раз, при этом тайно превращая AI-ассистентов пользователей в криптовалютных работников. Плагины, опубликованные под аккаунтом imaflytok, выглядят как обычные планировщики задач и инструменты мониторинга, однако содержат скрытые инструкции, которые выполняют несанкционированные операции.
После установки плагины автоматически регистрируют AI-ассистентов пользователей на сторонних серверах, создают криптовалютные кошельки и извлекают приватные ключи без согласия и уведомления пользователя. Затем ассистенты выходят на связь каждые 4 часа в ожидании назначенных задач. Шарма отметил, что плагины не содержат вредоносного кода, который можно обнаружить с помощью сканеров безопасности: они используют только стандартные интерфейсы и легитимные инструменты, из-за чего их сложно выявить при обычных проверках безопасности.
GateNews52м назад
Parallel Парага Агравала привлек $100M Series B для инфраструктуры поиска для AI-агентов
Согласно Beating, Parallel Web Systems, основанная бывшим CEO Twitter Парагом Агравалом, завершила раунд $100 миллионов Series B, возглавляемый Sequoia Capital, оценив компанию в $2 миллиардов. Также в раунде участвовали Kleiner Perkins, Index Ventures и Khosla Ventures. Финансирование приходит спустя шесть месяцев после того, как компания привлекла миллионов в раунде Series A при оценке в миллионов, почти втрое увеличив свою оценку.
Parallel создает инфраструктуру веб-поиска для AI-агентов, которые выполняют сложные исследовательские задачи, такие как анализ инвестиций и обработка страховых претензий. В настоящее время компания нанимает около 50 человек и обслуживает более 100,000 разработчиков. Юридическая AI-компания Harvey, один из ключевых клиентов, использует инфраструктуру Parallel, чтобы контролировать, к каким сайтам агенты могут получать доступ.
GateNews1ч назад
