환경 : 맥북프로 M5 Pro RAM 64GB
LLM Interface | Model | tok/s |
|---|
omlx | unsloth/Qwen3.6-27B-UD-MLX-6bit | 8.3 |
MTPLX | Youssofal/Qwen3.6-27B-MTPLX-Optimized-speed | 28.7 |
MTPLX | Youssofal/Qwen3.6-27B-MTPLX-Optimized | 26.4 |
llama.cpp checkout해서 하는 방법도 있긴하지만 귀찮아서 MTPLX라는 것을 찾았습니다.
MTPLX제작자가 Youssofal 인데 이 분이 제공하는 모델을 사용해보았습니다.
4bit모델이긴 한데 속도가 만족스럽네요.
아웃풋 퀄리티는 더 사용해봐야 알 것 같습니다.
omlx 에서 돌릴때는 4bit도 10을 넘기기 힘들었는데 이제야 좀 쾌적합니다.
사용법
brew install youssofal/mtplx/mtplx
mtplx start
