Google випустив алгоритм TurboQuant: 3-bit квантизація KV кешу без втрати точності, швидкість виведення збільшена до 8 разів

Gate News повідомляє, 25 березня дослідницький інститут Google опублікував алгоритм квантового стиснення TurboQuant, який може зменшити обсяг кешу KV великих мовних моделей до 3 біт, зменшуючи використання пам’яті щонайменше у 6 разів, без необхідності тренування або доопрацювання та без втрати точності моделі. У режимі 4 біт швидкість обчислення уваги на GPU NVIDIA H100 у порівнянні з базовим 32-бітовим не квантованим режимом зросла до 8 разів. Команда дослідників підтвердила ефективність TurboQuant на довгих контекстних бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, використовуючи моделі Gemma і Mistral, і досягла найкращих результатів у всіх тестах. Алгоритм складається з двох підалгоритмів: PolarQuant, який за допомогою перетворення у полярні координати усуває пам’ятні витрати традиційних методів квантування, та QJL, що коригує залишкову помилку всього за 1 біт. Дослідження очолювали Амір Зандієх з Google Research і віце-президент та Google Fellow Вахаб Міррокні у співпраці з KAIST (Республіка Корея) та Нью-Йоркським університетом, і воно буде опубліковане на ICLR 2026. Google зазначає, що одним із основних застосувань цієї технології є подолання вузьких місць у кеші KV моделей на кшталт Gemini.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Дослідження Nomura: вісім із десяти інституційних інвесторів планують розмістити 2%–5% AUM у криптоактиви

Дослідження Nomura Securities (Nomura) та її криптовалютної дочірньої компанії Laser Digital серед інституційних інвесторів у сфері цифрових активів за 2026 рік показало, що майже чотири з п’яти опитаних інституцій планують розмістити 2%–5% від загального обсягу активів під управлінням (AUM) у ринок криптовалют; більшість інституцій заявляє, що планує здійснити це впродовж наступного року, а не негайно.

MarketWhisper11год тому

Опитування Nomura: 80% інституційних інвесторів готові виділити 2–5% на криптовалюти

Опитування Nomura показує, що 80% інституційних інвесторів прагнуть інвестувати 2–5% у криптовалюти, віддаючи перевагу стратегіям дохідності на кшталт стейкінгу та лендінгу. Чіткість регуляторних вимог і управління ризиками є ключовими для посилення інституційної зацікавленості в цифрових активах.

GateNews19год тому

Ринок стейблкоїнів досяг $322B ATH, торговий обсяг у 1 кварталі 2026 року — $8.3 трильйона

Ринок стейблкоїнів зазнав значного зростання: він зріс на $2.25 мільярда до рівня $322 мільярда, незважаючи на загальне скорочення ринку криптовалют. USDC показав суттєве збільшення пропозиції, тоді як USDT зберіг свою частку ринку. Стейблкоїни з дохідністю зробили помітний внесок у це зростання: активність транзакцій досягла рекордного максимуму за весь час.

GateNews19год тому

Фонд Ethereum оголошує результати проєкту ETH Rangers: понад $5.8M у відновлених або заморожених активах

Проєкт ETH Rangers від Фонду Ethereum успішно завершено: він профінансував 17 дослідників для підвищення публічної безпеки в екосистемі. Досягнення включають відновлення $5.8M активів, виявлення понад 785 вразливостей і розробку кількох інструментів безпеки.

GateNews04-16 14:32

Топові криптовенчурні інвестори бачать значні падіння AUM на тлі спаду ринку у 2025 році

Під час спаду на ринку криптовалют у 2025 році провідні венчурні капітальні компанії зазнали суттєвих падінь обсягів AUM, але Haun Ventures виросла на 30%. Paradigm і a16z залучають понад $4.2 мільярда для нових фондів, що підкреслює різні результати діяльності серед компаній.

GateNews04-16 11:01
Прокоментувати
0/400
Немає коментарів