Lingkungan : MacBook Pro M5 Pro RAM 64GB
Antarmuka LLM | Model | tok/s |
|---|
omlx | unsloth/Qwen3.6-27B-UD-MLX-6bit | 8.3 |
MTPLX | Youssofal/Qwen3.6-27B-MTPLX-Optimized-speed | 28.7 |
MTPLX | Youssofal/Qwen3.6-27B-MTPLX-Optimized | 26.4 |
Saya juga bisa melakukan checkout llama.cpp, tapi saya malas jadi saya mencari MTPLX.
Pembuat MTPLX adalah Youssofal dan saya mencoba model yang dia sediakan.
Ini adalah model 4bit, tetapi kecepatannya memuaskan.
Saya rasa kualitas output akan diketahui setelah menggunakannya lebih banyak.
Saat menjalankan omlx, bahkan model 4bit sulit melebihi 10, tapi sekarang sudah lebih nyaman.
Cara Penggunaan
brew install youssofal/mtplx/mtplx
mtplx start
