Kesimpulan: Artikel di bawah ini mengandung beberapa kesalahan sehingga harus ditolak. Memang benar ada orang-orang seperti yang dijelaskan di bawah, namun saya telah memastikan bahwa ini tidak muncul setidaknya ketika menggunakan Hermes agent.
Masalah prompt yang diproses ulang pada setiap pemanggilan di llama.cpp + Qwen3.6-27B — --swa-fullDiselesaikan hampir separuh
Saya menggunakan Qwen3.6-27B-MTP dengan Hermes family coding agent di llama.cpp build b200 (25b1bc9c2), tetapi prompt diproses ulang hampir dari awal setiap kali dipanggil. Meskipun dengan prompt sistem dan basis kode yang sama, tingkat cache miss adalah 50%. ctx terisi dengan cepat dan setiap pemanggilan terasa lambat.
Laporan masalah yang sama
Ada laporan gejala yang sama di Reddit — ini adalah masalah yang dihadapi oleh pengguna opencode/pi.dev:
"https://www.reddit.com/r/LocalLLaMA/comments/1td9stc/"
Penyebab (Diperkirakan)
Qwen3.6 memiliki arsitektur hybrid SSM-Attention (Gated DeltaNet). Sesuai log, n_swa = 0 jadi tidak seharusnya menggunakan sliding window attention, tetapi tampaknya hybrid/recurrent memory path secara internal berbagi logika penghapusan cache SWA. Itulah mengapa cache terpotong setiap kali.
Hal yang sudah dicoba tetapi tidak efektif
Solusi
Tambahkan satu baris --swa-full ke opsi eksekusi server:
llama-server ... --swa-full
Ini adalah opsi untuk mempertahankan cache SWA secara utuh tanpa memotongnya. VRAM meningkat sekitar +1.2 GB — tidak ada beban dengan kartu 24GB.
Hasil Pengukuran
Konfigurasi
| Miss rate
| Tingkat penggunaan ulang prefix saat Hits
|
|---|
Default (MTP on)
| 50%
| 92%
|
MTP off
| 60%
| 89%
|
preserve_thinking
| 100%
| (Sampel tidak cukup)
|
+ swa-full
| 25%
| 98%
|
Diukur alur kerja yang sama dua kali (total 17 pemanggilan). Meskipun sampelnya kecil, kedua sesi menunjukkan hasil yang konsisten.
Bonus — Sweep MTP --spec-draft-n-max
Saya juga mengukur jumlah token speculative draft:
n-max
| TPS
| Accept rate
|
|---|
0 (off)
| 36.75
| —
|
1
| 51.46
| 89%
|
2
| 57.23
| 85%
|
3
| 51.33
| 68%
|
n=2 adalah sweet spot. n=3 turun accept rate sehingga biaya draft yang terbuang mengurangi keuntungan.
Perhatian
--swa-fulltidak menangkap semuanya. Sisa miss 25% adalah pemanggilan di mana prefix sebenarnya berubah (sesi baru, perubahan prompt sistem, dll), yang tidak dapat dihindari. Fix yang lebih fundamental sedang berlangsung di upstream dengan PR #22826, #22929.
Ini adalah peningkatan yang pasti dan tidak ada beban karena hanya menambahkan satu baris, jadi saya sarankan mereka yang mengalami gejala yang sama untuk mencobanya.
