Ramp Labs mengajukan solusi baru untuk berbagi memori antar-multiagen, konsumsi Token tertinggi turun 65%

Berita Gerbang, 11 April, perusahaan infrastruktur AI Ramp Labs merilis hasil riset “Latent Briefing”, yang memungkinkan berbagi memori yang efisien antar sistem multi-agen dengan mengompresi langsung cache KV dari model besar. Dengan tidak mengorbankan akurasi, konsumsi Token diturunkan secara signifikan. Dalam arsitektur multi-agen arus utama, orkestrator (Orchestrator) memecah tugas dan berulang kali memanggil model pekerja (Worker); seiring rantai penalaran terus diperpanjang, jumlah Token meningkat secara eksponensial. Gagasan inti dari Latent Briefing adalah menggunakan mekanisme atensi untuk mengidentifikasi bagian konteks yang benar-benar penting, lalu membuang informasi redundan langsung pada level representasi, bukan mengandalkan ringkasan LLM yang lambat atau penelusuran RAG yang kurang stabil. Pada pengujian benchmark LongBench v2, metode ini menunjukkan performa yang menonjol: konsumsi Token model Worker turun 65%, penghematan Token untuk dokumen berukuran menengah (32k hingga 100k) mencapai median 49%, akurasi keseluruhan meningkat sekitar 3 poin persentase dibanding baseline, sementara waktu tambahan untuk setiap kompresi hanya sekitar 1,7 detik—lebih cepat kira-kira 20 kali dibanding algoritma asli. Eksperimen menggunakan Claude Sonnet 4 sebagai orkestrator dan Qwen3-14B sebagai model pekerja, mencakup skenario dokumen beragam seperti makalah akademik, dokumen hukum, novel, serta laporan pemerintah. Penelitian juga menemukan bahwa ambang kompresi optimal berbeda tergantung tingkat kesulitan tugas dan panjang dokumen—masalah yang sulit cocok untuk kompresi yang agresif guna menyaring kebisingan penalaran yang bersifat spekulatif, sementara dokumen panjang lebih cocok untuk kompresi ringan guna mempertahankan informasi kunci yang tersebar.