Pagi ini saya menyempatkan waktu sebentar untuk mengganti model dengan Qwen3.6-27B yang baru diluncurkan tiba-tiba semalam dan mengujinya.
Saya menggunakan model Qwen3.6-27B-UD-Q4_K_XL.gguf.
Opsi operasionalnya adalah
ExecStart=/usr/local/bin/llama-server \
-m /home/models/unsloth/Qwen3.6-27B-GGUF/Qwen3.6-27B-UD-Q4_K_XL.gguf \
--mmproj /home/models/unsloth/Qwen3.6-27B-GGUF/mmproj-F16.gguf \
--alias Qwen3.6-27B \
--host 0.0.0.0 \
--port 8000 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.00 \
--kv-unified \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--fit on \
--ctx-size 262144 \
-n 32768 \
--api-key "masukkan api key yang Anda inginkan" \
-ngl 99
Saya menjalankannya dengan cara ini dan berbeda dengan 35B sebelumnya, saya meningkatkan ctx menjadi 256k.
Berfungsi dengan baik +_+;;
## Benchmark Kinerja (Pengukuran Aktual)
| Kategori | Kecepatan |
| Pemrosesan Prompt (Enkoding Input) | 1.207 tok/s |
| Generasi Token (Output) | 37,5 tok/s |
- Input 2.620 token → Prefill 2,17 detik
- Generasi output 26,7ms/token tetap
- Karena karakteristik model thinking, token output mencakup reasoning_content
### Hasil Kasus Uji
| Uji | Token Input | Token Output | Waktu yang Diperlukan | Catatan |
|--------|-----------|-----------|-----------|------|
| Input Singkat | 20 tok | 600 tok | 15,9 detik | 37,8 tok/s |
| Input Menengah (Kode) | 20 tok | 800 tok | 21,1 detik | 37,8 tok/s |
| Input Panjang (~2600tok) | 2.620 tok | 1.000 tok | 29,0 detik | 34,5 tok/s |
Saya belum melakukan uji coding praktis.
Saya rasa ini akan lebih baik daripada Qwen3.6-35B-A3B.
Jadi saya sangat menantikannya.
