Beberapa hasil dari berbagai percobaan yang saya lakukan
llamacpp jauh lebih baik daripada ollama. Kecepatan pemrosesan token di MoE jauh lebih cepat. Masalah-masalah yang pernah terjadi juga hampir semuanya hilang.
Qwen3.6 35B A3B dapat menjalankan IQ2M, Qwen 3.6 27B dapat menjalankan IQ3_S atau XXS, dan Gemma4 26B A4B dapat menjalankan IQ3_S atau XXS (jika Gemma4 26B A4B menggunakan IQ3_XXS, multimodal juga akan berjalan lancar)
Yang lainnya seperti 8B, 14B, dll. tentu saja akan berjalan dengan baik. Setelah mencoba MoE sekali, Anda akan ingin...
MTP tidak mungkin dilakukan di MoE untuk model 35B atau 26B di atas. Saya mencoba Qwen3.6 IQ2M karena masih ada sedikit memori yang tersisa, tetapi llamacpp akan crash jika token melebihi sekitar 2K. Menurut Reddit, setidaknya diperlukan 2GB tambahan. Model 8B sepertinya akan cukup untuk MTP.
Saya telah mencoba model-model seperti heretic, uncensored, dan tuning lainnya, dan pada akhirnya model unsloth adalah yang terbaik.
Qwen3.6 27B hanya menghasilkan sekitar 13-15 tps, jadi sulit digunakan. Secara realistis, 35B A3B IQ2M (TG 50-60tps) dan Gemma4 26B A4B IQ3_XSS (TG 50-55tps) adalah yang optimal.
Kedua model tersebut dapat menampung CTX hingga 128K, tetapi jika melebihi 80-90K, kinerjanya akan turun menjadi sekitar 20-30 tps.
Tentu saja, probabilitas omong kosong juga meningkat. Khususnya Qwen3.6 dengan IQ2M semakin memperburuk (pengulangan struktur muncul).
Akhirnya saya menggunakan Gemma4 26B-A4B unsloth IQ3_XXS dengan multimodal.
Saya dapat memasukkan konteks hingga 128K dan menjalankan cline, meskipun lambat ketika melebihi 80-90K, tetapi tidak akan crash atau berhenti.
Jika menggunakan multimodal, memori yang tersisa tidak cukup sehingga terjadi swap ke SSD sesekali, membuatnya lebih lambat. Namun, ada penurunan kinerja saat dijalankan dari memori, jadi saya meninggalkannya saja. (Swap sekitar 1GB jika mencapai 128K).
Bagi yang tidak suka swap, Anda dapat mengurangi konteks menjadi 64K atau menghapus multimodal.
Meskipun demikian, Gemma4 dengan IQ3 tidak mengalami pengulangan struktur.
Saya rasa ini cukup untuk digunakan sebagai agen coding hobi. Dengan multimodal, grafik dan tabel dapat dianalisis setelah diberikan.
Tentu saja, untuk melakukan hal ini di BC250, Anda perlu menjalankan BC250 hanya sebagai headless dan llamacpp sebagai layanan, sementara yang lainnya seperti openwebui, opencode, atau rag ditangani oleh server lain.
Secara pribadi, saya rasa BC250 adalah pilihan terbaik bagi mereka yang ingin mempelajari agen AI sebagai hobi.
Lebar pita M1 ultra dan BC250 sama, dan keduanya dapat mencapai TG 50-60tps jika menggunakan Qwen 3.6 35B A3B dengan offload GPU 100%.
Ini luar biasa, bukan?
