Gate News сообщает, 25 марта, исследовательский институт Google опубликовал алгоритм квантованного сжатия TurboQuant, который позволяет сжимать KV-кэш больших языковых моделей до 3 бит, сокращая использование памяти как минимум в 6 раз, при этом не требуя обучения или донастройки и не теряя точности модели. В режиме 4 бита скорость вычисления внимания на GPU NVIDIA H100 выше по сравнению с базовым 32-битным не квантованным вариантом до 8 раз. Исследовательская команда проверила эффективность TurboQuant на длинных контекстных бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS с моделями Gemma и Mistral, и во всех тестах достигла лучших результатов. Алгоритм состоит из двух подсистем: PolarQuant, который устраняет память, необходимую для традиционной квантования, с помощью преобразования в полярные координаты, и QJL, использующий всего 1 бит для коррекции остаточной ошибки. Исследование возглавили Амир Зандиех из Google Research и вице-президент и Fellow Google Вахаб Миракни, совместно с KAIST в Южной Корее и Нью-Йоркским университетом, и оно будет опубликовано на ICLR 2026. Google заявил, что одним из основных применений этой технологии является устранение узких мест в KV-кэше моделей типа Gemini.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Опрос Nomura: восемь из десяти институциональных инвесторов планируют выделять 2%–5% AUM на криптоактивы
Опрос институциональных инвесторов по цифровым активам на 2026 год, проведенный компанией Nomura Securities (Номура) и ее криптовалютной дочерней компанией Laser Digital, показал, что почти четыре пятых опрошенных институциональных инвесторов планируют выделить на рынок криптовалют от 2% до 5% от общей величины управляемых активов (AUM). Большинство организаций заявило, что планирует осуществить инвестиции в течение ближайшего года, а не проводить их немедленно.
MarketWhisper3ч назад
Опрос Nomura: 80% институциональных инвесторов готовы выделить 2–5% на криптовалюты
Опрос Nomura показывает, что 80% институциональных инвесторов стремятся выделить 2–5% на криптовалюты, отдавая предпочтение стратегиям получения дохода, таким как стейкинг и кредитование. Регуляторная определенность и управление рисками — ключевые факторы для усиления институционального интереса к цифровым активам.
GateNews11ч назад
Stablecoin Market Hits $322B ATH, Q1 2026 Trading Volume Reaches $8.3 Trillion
The stablecoin market experienced significant growth, surging $2.25 billion to reach $322 billion, despite a broader crypto market contraction. USDC saw a substantial supply increase, while USDT maintained its market share. Yield-bearing stablecoins contributed notably to this growth, with transaction activity hitting an all-time high.
GateNews11ч назад
Ethereum Foundation объявляет результаты проекта ETH Rangers: более $5.8M возвращённых или замороженных активов
Проект ETH Rangers от Ethereum Foundation успешно завершён: он профинансировал 17 исследователей для усиления общественной безопасности в экосистеме. Достижения включают возврат $5.8M активов, выявление более 785 уязвимостей и разработку нескольких инструментов безопасности.
GateNews16ч назад
Крупные VC в криптовалюте сталкиваются со значительным снижением AUM на фоне спада 2025 года
Во время спада на рынке криптовалют в 2025 году крупные венчурные компании увидели заметное снижение AUM, но Haun Ventures выросла на 30%. Paradigm и a16z привлекают более $4,2 млрд на новые фонды, что подчеркивает разную результативность среди компаний.
GateNews19ч назад
