Saya menggunakan model Gemma4-12B-QAT-Q4 untuk pertama kalinya hari ini.
Bagusnya tidak memakan banyak kapasitas VRAM,
tetapi di RTX 5060Ti 16GB saya sedikit terasa tidak optimal.
Untuk model Gemma4-26B-A4B-QAT-Q4, kapasitas memori sedikit kurang di 16GB,
dan saya harus mengalokasikan sebagian layer ke memori utama,
tetapi kecepatan prosesnya lebih baik dari model Gemma4-12B-QAT-Q4.
Ini mungkin perbedaan antara model Dense dan model MoE?
Mungkin ini bisa berbeda tergantung topik percakapan, tetapi dalam tes perbandingan pertama saya,
Gemma4-26B-A4B-QAT-Q4 sedikit lebih cepat.
Dengan begini, tidak ada gunanya menggunakan model Gemma4-12B di PC saya.
Tampaknya ada kemajuan yang signifikan dalam hal multimodal, jadi itu mungkin berguna untuk memanfaatkan itu,
atau dalam situasi khusus seperti ketika sistem sedang berjalan berat karena program lain,
mungkin akan digunakan dalam kasus seperti itu.
Di antara berbagai model, model yang paling cerdas yang berjalan dengan kecepatan yang dapat digunakan di PC saya,
tampaknya adalah Qwen3.6-35B-A3B.
