Повідомлення Gate News, 29 квітня — AI-дослідник Аран Комацузаки провів порівняльний аналіз ефективності токенізації на базі шести провідних AI-моделей, переклавши фундаментальну працю Річа Саттона “The Bitter Lesson” дев’ятьма мовами та обробивши їх токенізаторами OpenAI, Gemini, Qwen, DeepSeek, Kimi та Claude. Виходячи з кількості токенів в англійській версії в OpenAI як базового рівня (1x), дослідження виявило суттєві відмінності: обробка того самого контенту китайською вимагала 1.65x токенів у Claude, тоді як у OpenAI — лише 1.15x. Хінді показав ще більш екстремальний результат у Claude, перевищивши базовий рівень більш ніж у 3 рази. Anthropic посів найнижче місце серед шести протестованих моделей.
Критично важливо: коли ідентичний китайський текст обробляли в різних моделях — усі результати, порівняні з однією й тією самою англійською базою — результати різко розійшлися: Kimi спожив лише 0.81x токенів (навіть менше, ніж англійська), Qwen — 0.85x, тоді як Claude потребував 1.65x. Цей розрив свідчить про чисту проблему ефективності токенізації, а не про властиві мовні особливості. Китайські моделі демонстрували вищу ефективність під час обробки китайської, що вказує: відмінність зумовлена оптимізацією токенізатора, а не самою мовою.
Практичні наслідки для користувачів суттєві: зростання споживання токенів безпосередньо підвищує API-витрати, збільшує затримку відповіді моделі та швидше виснажує контекстні вікна. Ефективність токенізації залежить від лінгвістичного складу навчальних даних моделі: моделі, натреновані переважно на англійській, стискають англійський текст ефективніше, тоді як мови з нижчою представленістю токенізуються на менші, менш ефективні фрагменти.
Висновок Комацузаки підкреслює фундаментальний принцип: розмір ринку визначає ефективність токенізації. Більші ринки отримують кращу оптимізацію, а мови, представлені недостатньо, стикаються зі значно вищими токен-витратами.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
DeepSeek запускає функцію розпізнавання зображень у режимі бета-тестування
Згідно з PANews, DeepSeek сьогодні запустила свою функцію розпізнавання зображень (29 квітня), наразі вона перебуває на бета-тестуванні. Як користувачі вебверсії, так і мобільного застосунку можуть бути відібрані для бета-розгортання.
GateNews28хв. тому
Anthropic запускає 8 конекторів творчих інструментів для Claude, зокрема Blender, Adobe, Autodesk
Anthropic оголосила набір конекторів творчих інструментів, які дають змогу Claude безпосередньо керувати професійним програмним забезпеченням, що використовується дизайнерами та музикантами. Початкові вісім конекторів охоплюють 3D-моделювання, візуальний дизайн, музичне продакшн-створення та живі виступи, а серед партнерів — Blender, Adobe,
GateNews28хв. тому
Білий дім обходить оцінку ризиків Пентагону, щоб розгорнути модель Anthropic Mythos 29 квітня
Згідно з Whale Factor, Бiлий дім обходить оцінку ризиків Пентагону, щоб 29 квітня розгорнути модель Mythos від Anthropic у межах федеральних відомств. Цей крок має на меті пришвидшити можливості федерального ШІ та відповідати темпам децентралізованих мереж ШІ. Це означає суттєвий зсув
GateNews34хв. тому
Cognizant придбає Astreya за $600M , щоб розширити бізнес з інфраструктури ШІ
За даними Reuters, 29 квітня Cognizant погодилася придбати Astreya приблизно за $600 мільйонів, розширюючи свій бізнес з інфраструктури ШІ. Astreya — постачальник ІТ-послуг, який спеціалізується на інфраструктурі ШІ та послугах дата-центрів. Очікується, що угода буде завершена в другому кварталі
GateNews44хв. тому
30 зловмисних плагінів на ClawHub, замаскованих під інструменти ШІ, завантажено понад 9 800 разів
За даними дослідника Manifold Ах Шарми, 30 плагінів на ClawHub, замаскованих під законні інструменти ШІ, були завантажені понад 9 800 разів, таємно перетворюючи ШІ-помічників користувачів на працівників у сфері криптовалют. Плагіни, опубліковані від акаунта imaflytok, виглядають як звичайні планувальники завдань і інструменти моніторингу, але містять приховані інструкції, які виконують несанкціоновані операції.
GateNews52хв. тому
Parallel Парага Агравала залучила $100M Series B для інфраструктури пошуку для AI-агентів
За даними Beating, Parallel Web Systems, заснована колишнім генеральним директором Twitter Парагом Агравалом, завершила раунд Series B на $100 мільйонів доларів під керівництвом Sequoia Capital, оцінивши компанію в $2 мільярдів. Участь також взяли Kleiner Perkins, Index Ventures і Khosla Ventures. Фінансування надійшло через шість місяців після того, як компанія залучила мільйонів у раунді Series A за оцінкою мільйонів, майже утричі збільшивши свою вартість.
GateNews1год тому
