https://github.com/jundot/omlx/releases/tag/v0.5.0.dev2
Fitur utama yang menonjol adalah Lightning MTP.
Saya telah menjalankan benchmark menggunakan model oQe kuantum baru.
Kecepatan token outputnya sekitar 30.
Karena ini adalah kuantisasi 4bit, saya perlu menguji kemampuannya melalui pengkodean nyata.
oMLX - Inferensi LLM, dioptimalkan untuk Mac Anda
https://github.com/jundot/omlx
Model Benchmark: Qwen3.6-27B-oQ4e-mtp
Mesin: Otomatis
================================================================================
Hasil Permintaan Tunggal
--------------------------------------------------------------------------------
Uji TTFT(ms) TPOT(ms) pp TPS tg TPS E2E(s) Throughput Peak Mem
pp1024/tg128 2286.0 31.90 447.9 tok/s 31.6 tok/s 6.356 181.3 tok/s 16.74 GB
pp4096/tg128 8983.6 31.02 455.9 tok/s 32.5 tok/s 12.948 326.2 tok/s 18.16 GB
pp8192/tg128 18706.4 34.90 437.9 tok/s 28.9 tok/s 23.166 359.1 tok/s 19.20 GB
pp16384/tg128 48031.7 34.05 341.1 tok/s 29.6 tok/s 52.402 315.1 tok/s 19.51 GB
pp32768/tg128 123238.3 39.08 265.9 tok/s 25.8 tok/s 128.237 256.5 tok/s 21.28 GB
