Awalnya saya dengar bahwa kali ini TurboQuant telah dirilis, jadi saya cek isinya dan ternyata ia mengompresi kv cache secara luar biasa. Tapi katanya tanpa mengorbankan kecepatan atau kualitas sama sekali, ctx window yang selama ini sangat saya idam-idamkan bisa diperbesar, jadi mata saya langsung terbelalak. Maka saya pun mengubek-ubek github sedikit dan menemukan bahwa https://github.com/tonbistudio/turboquant-pytorch sudah keluar.
Maka saya pun sempat mengutak-atik sebentar, berpikir untuk mencobanya di ubuntu yang biasa saya pakai untuk membuat aplikasi web atau aplikasi kecil-kecilan...
Oh! Luar biasa! Sekarang ini bahkan bisa langsung dipakai untuk coding.
Sebenarnya, ctx window 16384 saja sudah susah payah dijejalkan, jadi coding sama sekali tidak terpikirkan, tetapi sampai 110.000 pun berjalan dengan baik. Lho? Kenapa ini bisa... kenapa sebenarnya...
Pokoknya saya sudah mencoba beberapa eksperimen, dan ternyata setelah dipraktikkan, semuanya berjalan dengan baik tanpa masalah.
Mulai dari code review codebase sampai menjalankan semua hal sederhana yang sudah saya buat pun tidak crash.
Saya merasa ini gila.
Pokoknya kalau source itu langsung diambil dan dipakai, pasti akan muncul error.
Maka saya buka hasil sedikit kerja keras saya sebagai repo.
Sambil percaya bahwa para AI sekalian yang jelas lebih jago daripada saya yang masih amatir ini pasti akan membuatnya lebih baik lagi... agak memalukan, tapi saya buka hasil jerih payah ini. (Tolong jangan mencaci-maki ya...)
https://github.com/lowhillfoto/Ubuntu-vLLM-TurboQuant
Kalau Anda berkunjung ke sana, ada prosedur instalasi sampai catatan kesusahan saya, jadi semoga yang lain tidak mengalami kesusahan seperti saya, dan saya juga unggah sedikit hasil benchmark.
Dokumen Konfigurasi vLLM + TurboQuant + OpenCode
Catatan lengkap patch TurboQuant KV cache CPU offload dan konfigurasi integrasi OpenCode untuk mengoperasikan model Qwen3-Coder-30B-A3B MoE pada lingkungan GPU tunggal RTX 3090 (24GB).
Ringkasan Benchmark
Lingkungan pengukuran: RTX 3090 24GB · vLLM 0.18.0 · compressed-tensors W4A16 · fp8 KV cache Hasil detail → BENCHMARK.md
Kecepatan Coding Aktual (Decode)
Skala Output | Token Output | Waktu yang Dibutuhkan | Kecepatan Generasi |
|---|
Fungsi pendek | ~200 t | 5.6 s | 35.7 t/s |
Kelas menengah | ~500 t | 14.2 s | 35.2 t/s |
Implementasi panjang | ~1,000 t | 28.8 s | 34.7 t/s |
Refactoring besar | ~1,500 t | 42.0 s | 35.7 t/s |
Rata-rata 35.3 t/s — konsisten terlepas dari panjang output
Indikator Performa Keseluruhan
Item | Nilai |
|---|
Decode speed | 35.3 t/s (±0.5, sangat stabil) |
TTFT — prefix cache hit | 0.06 s |
TTFT — cold start | 0.5 – 5 s (bergantung konteks) |
Peak prefill | 4,371 t/s @ 10K ctx |
Konteks stabil maksimum | ~115,000 tokens (~88,000 kata) |
Akurasi Coding | 5/5 (100%) |
Tingkat keberhasilan Tool call | 10/10 (100%), 0.88–0.92 s/kali |
Kecepatan yang Dirasakan Berdasarkan Standar Praktis
1 fungsi (~100t) → ~3 detik
fungsi + tes (~300t) → ~9 detik
implementasi kelas (~800t) → ~23 detik
refactoring file (~1500t) → ~43 detik
Daftar Isi
Gambaran Umum Konfigurasi Sistem
Prosedur Instalasi Baru
Patch TurboQuant
Konfigurasi Layanan vLLM
Konfigurasi OpenCode
Hal yang Perlu Diperhatikan saat Update vLLM
Catatan Troubleshooting
1. Gambaran Umum Konfigurasi Sistem
Item | Nilai |
|---|
GPU | RTX 3090 24GB |
OS | Ubuntu (Linux 6.8) |
vLLM | 0.18.0 (/opt/vllm/venv) |
Model | Qwen3-Coder-30B-A3B-Instruct-W4A16-awq |
Path model | /home/models/Qwen3-Coder-30B-A3B-Instruct-W4A16-awq
|
Ukuran bobot | 16GB (compressed-tensors W4A16) |
Memori GPU KV | 5.38 GiB (berdasarkan 0.18.0) |
max_model_len | 117,616 tokens |
Layout Memori (saat inferensi)
RTX 3090 24GB
├── Bobot model (W4A16) : ~15.6 GB
├── GPU KV cache (fp8) : ~5.4 GB → 117,616 tokens
└── Overhead CUDA/PyTorch : ~2.6 GB
Arsitektur Model (Qwen3-Coder-30B-A3B MoE)
Item | Nilai |
|---|
Total parameter | 30.5B |
Parameter aktif (saat inferensi) | 3.3B |
Jumlah layer | 48 |
Q heads | 32 |
KV heads | 4 (GQA) |
head_dim | 128 |
Jumlah expert | 128 (8 aktif per token) |
native context | 262,144 tokens |
Kuantisasi | compressed-tensors W4A16 |
