Akhirnya saya beralih dari kombinasi hybrid 3070ti (8gb) + 1660ti (6gb) yang selama ini merepotkan
ke kartu 5060ti 16gb yang murni tunggal.
Saat menjalankan Gemma4-26B-A4B (Q4_K_M GGUF) dengan konteks 32k, kombinasi hybrid sebelumnya
menghasilkan kecepatan sekitar 12t/s, sedangkan saat menggunakan 5060ti secara tunggal menunjukkan kecepatan sekitar 30t/s. Luar biasa.
Dengan sekitar 1/3 dari seluruh layer dimuat ke memori utama, saya rasa ini sudah cukup cepat untuk digunakan.
(Sepertinya butuh seri 90 seperti 3090 dengan 24GB agar semua layer bisa dimuat ke VRAM.)
Yang sedikit lucu adalah saat saya memotong sebagian sampul Cyberpunk 2077 untuk diuji dalam tes multimodal,
Gemma4-26B-A4B langsung menebak nama game-nya dengan benar, sedangkan Gemma4-E4B tidak berhasil menebaknya dan malah menjawab kemungkinan besar itu adalah Apex Legends. Padahal gambarnya sama, tapi jawabannya berbeda. Sepertinya memang tidak bisa dihindari jika parameternya lebih kecil. Parameter Gemma4-E4B disebut sekitar 7,5B.
Sebagai informasi tambahan, saat menggunakan LLM lokal, dukungan multimodal terasa sangat memudahkan. Ketika sedang mengerjakan hal lain dan tiba-tiba ada yang ingin ditanyakan, cukup tangkap layar bagian tersebut dan langsung tanyakan tanpa perlu mengetik penjelasan satu per satu. Selain itu, jika ingin output dalam format tertentu, tidak perlu menjelaskan dengan kata-kata atau membuat sampel, cukup gambar kasar di paint lalu bilang "tolong tampilkan seperti ini" pun bisa.
