oMLX versi 0.3.9 dev2 telah diuji. Ini masih belum versi resmi.
oMLX menunjukkan hasil yang sedikit lebih baik daripada llama.
Namun, ketika mengaktifkan MTP pada oMLX, opsi TurboQuant tidak dapat digunakan, sehingga penggunaan memori meningkat.
Ada keraguan apakah llama memiliki masalah dengan penggunaan kv cache, tetapi sejauh ini berfungsi tanpa kesalahan.
Jika memori tersedia, MLX menunjukkan performa yang baik di lingkungan Mac.
backend | MTP digunakan | Model | Jumlah token yang dihasilkan per detik | Peningkatan |
|---|
oMLX | X | unsloth/Qwen3.6-27B-UD-MLX-4bit | 8 | 0% |
llama.cpp | O | unsloth/Qwen3.6-27B-GGUF-MTP:UD-Q4_K_XL | 14 | +75% |
oMLX | O | Jundot/Qwen3.6-27B-oQ4-fp16-mtp | 24 | +200% |
oMLX | O | Jundot/Qwen3.6-27B-oQ6-fp16-mtp | 17 | +112% |
Pengaturan llama
llama-server \
-hf "unsloth/Qwen3.6-27B-GGUF-MTP:UD-Q4_K_XL" \
--host 0.0.0.0 \
--port 8000 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.05 \
--kv-unified \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--ctx-size 102400 \
--n-gpu-layers 99 \
--batch-size 2048 \
--ubatch-size 512 \
--parallel 1 \
--spec-type draft-mtp \
--spec-draft-n-max 6
Pengaturan oMLX
ctx_window: 102400
max_token:8192
temp: 0.6
top_p: 0.95
top_k: 20
min_p: 0.05
rep_penalty: 1
presence_penalty: 0
