오전에 잠시 짬을 내어서 어제밤에 갑자기 출시된 Qwen3.6-27B 로 모델을 교체하고 테스트해봤습니다.
모델은 Qwen3.6-27B-UD-Q4_K_XL.gguf 를 사용했어요.
구동옵션은
ExecStart=/usr/local/bin/llama-server \
-m /home/models/unsloth/Qwen3.6-27B-GGUF/Qwen3.6-27B-UD-Q4_K_XL.gguf \
--mmproj /home/models/unsloth/Qwen3.6-27B-GGUF/mmproj-F16.gguf \
--alias Qwen3.6-27B \
--host 0.0.0.0 \
--port 8000 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.00 \
--kv-unified \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--fit on \
--ctx-size 262144 \
-n 32768 \
--api-key "원하시는 api key 입력" \
-ngl 99
이렇게 구동했고 이전 35B 때와 다르게 256k 로 ctx 를 늘렸습니다.
잘 작동하네요 +_+;;
## 성능 벤치마크 (실측)
| 구분 | 속도 |
| Prompt 처리 (입력 인코딩) | 1,207 tok/s |
| Token 생성 (출력) | 37.5 tok/s |
- 2,620 토큰 입력 → 프리필 2.17초
- 출력 생성 26.7ms/token 고정
- thinking 모델 특성상 출력 토큰에 reasoning_content 포함
### 테스트 케이스 결과
| 테스트 | 입력 토큰 | 출력 토큰 | 소요 시간 | 비고 |
|--------|-----------|-----------|-----------|------|
| 짧은 입력 | 20 tok | 600 tok | 15.9초 | 37.8 tok/s |
| 중간 입력 (코드) | 20 tok | 800 tok | 21.1초 | 37.8 tok/s |
| 긴 입력 (~2600tok) | 2,620 tok | 1,000 tok | 29.0초 | 34.5 tok/s |
실전 코딩 테스트는 아직 못해봤어요.
아마도 Qwen3.6-35B-A3B 보다 나을꺼라는 생각은 듭니다.
그래서 기대가 더 되네요.
