Google telah menerbitkan Turbo quant sebagai makalah penelitian.
Berikut ini adalah analisis Gemini
‐‐----
Melampaui Batasan VRAM: Teknik Kompresi KV Cache Generasi Berikutnya 'TurboQuant' dari Google - Penjelasan Lengkap
TurboQuant yang baru-baru ini dipublikasikan oleh Google Research adalah teknologi yang akan menjadi 'game changer' bagi pengguna yang menjalankan Large Language Model (LLM) di lingkungan lokal atau dengan sumber daya terbatas. Terutama, teknologi ini secara revolusioner mengatasi masalah kekurangan VRAM yang terjadi saat memproses konteks panjang (Long Context).
1. Apa itu TurboQuant?
Ini adalah algoritma yang secara ekstrem mengompresi 'KV Cache (Key-Value Cache)', yaitu area di mana LLM mengingat konten percakapan sebelumnya saat menghasilkan jawaban. Ini bukan teknik untuk mengurangi model itu sendiri (bobot), melainkan teknologi untuk mengoptimalkan 'ruang memori kerja' yang digunakan model.
2. Teknologi Inti: Mengapa Spesial?
Metode kompresi tradisional memiliki masalah di mana model menjadi 'bodoh' secara drastis seiring berkurangnya jumlah bit. TurboQuant mengatasi hal ini dengan dua pendekatan matematis yang inovatif.
PolarQuant: Mengubah dan menyimpan data dalam sistem koordinat kutub (Polar coordinates) bukan dalam sistem koordinat biasa. Dalam proses ini, konstanta operasi tambahan yang menghabiskan banyak memori dihapus untuk memaksimalkan efisiensi.
QJL (Quantized Johnson-Lindenstrauss): Mengkompensasi kehilangan informasi halus yang terjadi saat mengompresi data hanya dengan penambahan data 1 bit. Berkat ini, bahkan dengan jumlah bit serendah 3 bit, akurasi yang mendekati asli (16 bit) tetap dipertahankan.
3. Keuntungan Utama (Key Benefits)
Rasio Kompresi yang Luar Biasa: Mengompresi data menjadi 3 bit dibandingkan dengan FP16 (16 bit) tradisional, mengurangi memori yang digunakan KV Cache sekitar 6 kali lipat.
Minimalisasi Degradasi Kinerja: Menurut hasil benchmark Google, meskipun mengalami kompresi ekstrem, kehilangan akurasi model hampir tidak ada.
Peningkatan Kecepatan: Karena ukuran data berkurang, penggunaan bandwidth memori GPU menurun, sehingga kecepatan inferensi dapat meningkat hingga 8 kali (berdasarkan standar H100) dibandingkan dengan sebelumnya.
Universalitas: Ini adalah metode 'Training-free' yang tidak memerlukan pelatihan ulang (Fine-tuning) untuk model tertentu. Dapat langsung diterapkan pada mesin LLM apa pun asalkan algoritma diimplementasikan.
4. Arti bagi Pengguna LLM Lokal
Teknologi ini memberikan manfaat besar terutama bagi pengguna GPU konsumen seperti RTX 3090/4090.
Perluasan Konteks: Panjang konteks yang sebelumnya terbatas pada level 8K karena batasan VRAM dapat diperluas secara signifikan menjadi 32K, 64K atau lebih dalam lingkungan yang sama.
Menjalankan Model Berparameter Besar: Memecahkan masalah di mana VRAM meledak ketika konteks sedikit lebih panjang saat menjalankan model besar dengan parameter 70B atau lebih, memberikan lingkungan inferensi yang jauh lebih nyaman.
Penerapan Hanya dengan Pembaruan Mesin: Pengguna tidak perlu mengubah file model GGUF atau EXL2 yang sudah ada. Cukup memperbarui mesin eksekusi seperti llama.cpp atau vLLM, dan manfaatnya dapat langsung dirasakan.
==================
Sehubungan dengan hal ini, berbagai proyek open source sedang membahas untuk mendukung fungsi TurboQuant di mesin LLM mereka.
Tampaknya dalam waktu dekat, penggunaan model yang lebih besar akan menjadi mungkin secara lokal.
