(Model Qwen3.6-27B-MTP, kecepatan 52.58 token/s saat '안녕' dikonfirmasi)
Kemarin saya melihat model Qwen3.6-27B-MTP dari unsloth, jadi saya mengunduhnya dan mengujinya.
(Alamat model https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF )
Berdasarkan RTX3090 1 unit, kecepatan model 27B yang ada sebelumnya adalah sekitar 20-30Token/s,
Setelah penerapan MTP, seperti dalam tangkapan layar di atas, tampaknya meningkat sekitar 1,5-2x lipat menjadi sekitar 52 token/s (dikonfirmasi hanya dengan '안녕')
Menurut saya, sangat berguna untuk penggunaan pribadi.
Untuk menggunakannya, ada masalah di mana Anda perlu mengompilasi ulang llama.cpp dengan versi yang mendukung speculative decoding bersama dengan model yang menerapkan MTP
Anda dapat mengompilasi ulang sesuai dengan panduan di alamat model di atas.
Di bawah ini adalah cara mengunduh model dan metode kompilasi llama.cpp baru. (Berdasarkan instalasi saya. Dapat berbeda untuk setiap orang)
# Cara mengunduh model (Saya menggunakan Q4_K_M. Model 17.1GB)
hf download unsloth/Qwen3.6-27B-MTP-GGUF Qwen3.6-27B-Q4_K_M.gguf --local-dir /home/내폴더/models/unsloth/Qwen3.6-27B-MTP-GGUF
# Metode instalasi llama.cpp baru (resmi atau diperkenalkan oleh unsloth)
Komentar terkait: MTP Support: https://github.com/ggml-org/llama.cpp/pull/22673
# Tambahkan jalur cuda (nvcc) ke sesi saat ini
export PATH=/usr/local/cuda/bin:$PATH
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone -b mtp-clean https://github.com/am17an/llama.cpp.git
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp
Namun, saat saya mengompilasi, saya mendapat kesalahan tautan di akhir dengan metode di atas, jadi saya mengompilasi dengan metode di bawah.
cd ~/llama.cpp # Pindah ke folder llama.cpp
# Hapus folder build sepenuhnya
rm -rf build
CUDACXX=/usr/local/cuda/bin/nvcc \
cmake -B build \
-DGGML_CUDA=ON \
-DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc \
-DCUDAToolkit_ROOT=/usr/local/cuda/targets/x86_64-linux \
-DCMAKE_CUDA_ARCHITECTURES=native \
-DCMAKE_EXE_LINKER_FLAGS="-L/usr/local/cuda/lib64 -L/usr/local/cuda/targets/x86_64-linux/lib" \
-DCMAKE_SHARED_LINKER_FLAGS="-L/usr/local/cuda/lib64"
cmake --build build --config Release -j$(nproc)
# Untuk biner llama.cpp, kami hanya membuat tautan dengan ln -sf. (Alasannya adalah kompilasi sering berubah)
sudo ln -sf /home/내폴더/git/llama.cpp/build/bin/llama-cli /usr/local/bin/llama-cli
sudo ln -sf /home/내폴더/git/llama.cpp/build/bin/llama-server /usr/local/bin/llama-server
sudo ln -sf /home/내폴더/git/llama.cpp/build/bin/llama-quantize /usr/local/bin/llama-quantize
Di bagian bawah opsi eksekusi di atas
-np 1 \
--spec-type mtp \
--spec-draft-n-max 3
Bagian ini adalah kunci.
Di bawah adalah file batch eksekusi llama
# cat qwen36_27b_mtp.sh
#!/bin/sh
export LD_LIBRARY_PATH=/home/내폴더/git/llama.cpp/build/bin:$LD_LIBRARY_PATH
/usr/local/bin/llama-server \
-m /home/내폴더/models/unsloth/Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-Q4_K_M.gguf \
--alias Qwen3.6-27B-MTP \
--host 0.0.0.0 \
--port 8000 \
--temp 0.6 \
--top-p 0.95 \
--top-k 40 \
--min-p 0.05 \
--repeat-penalty 1.0 \
--presence-penalty 0.5 \
--kv-unified \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--ctx-size 196608 \
--n-gpu-layers 99 \
--batch-size 2048 \
--ubatch-size 512 \
--no-mmap \
--fit-target 1536 \
--api-key sk-kkkk \
-np 1 \
--spec-type mtp \
--spec-draft-n-max 3
(Ubah atau hapus bagian kunci api. Saat saya mengatur ctx-size ke 262144, kehabisan memori, jadi saya menurunkannya sedikit. Tambahan. Bahkan saat beroperasi di 196608, kehabisan memori, jadi saya menurunkannya lagi ke 131072. Saya tidak bisa menilai ini. Sungguh sedih.)
Saya akan menghentikan di sini.
ps. Model versi uncensored bonus yang merupakan Qwen3.6-27B dan mendukung MTP
https://huggingface.co/llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved-GGUF
ps2. Saya tidak tahu mengapa tag
muncul saat memberi jeda baris pada opsi di atas. Ini backslash \.
