Dini hari qwen3.5 gguf telah dirilis dan saya mencoba menggunakannya secara ringan di lokal.
Sistem saya dikonfigurasi dengan RTX 3090 24VRAM dan RAM sistem 32G.
Baru-baru ini saya melakukan pengujian performa dengan bergoyang-goyangan menggunakan model q4 dari glm 4.7 flash yang sedang populer dan qwen3 coder next.
Meskipun qwen3 coder next lebih lambat dalam kecepatannya
namun lebih baik.
Kurang lebih jika token output sekitar 23tok/s sudah memuaskan, saya akan fokus pada coding,,,,,
Sungguh saja model kuantisasi q4 dari qwen3.5 35b a3b dengan ringan melampaui rekor yang ditetapkan oleh qwen3 coder next.
Token output kurang lebih 65+tok/s tanpa loading CPU off.
Performanya.... cukup bagus untuk membuat game web ringan dalam sekali jalan.
Yang menakjubkan adalah ini adalah model multimodal.
Meskipun saya belum menguji gambar,,..
Saya semakin menantikan keluarnya model qwen3.5 coder di masa depan.
AI China sungguh luar biasa.
===========================
26.3.8 Tambahan: Saya membandingkan model qwen3.5 35b a3b dengan model qwen3.5 27b dense,
performanya dibandingkan model qwen3.4 35b adalah model qwen3.5 27b dense memiliki skor sekitar 3 kali lebih baik,
namun kecepatannya sekitar 3 kali lebih lambat.
Akhirnya saya memilih model qwen3.5 27b dense untuk sistem saya,
dan bagi yang VRAM sistem performanya kurang, menggunakan model qwen3.5 35b a3b sepertinya akan lebih baik.
