Saya telah bermain-main dengan Gemma4 26B A4B selama beberapa hari.
Gemma4 secara serius mendukung reasoning (juga disebut thinking mode).
Ketika mengaktifkannya, keandalan jawaban meningkat banyak.
Sebagai gantinya, itu mengonsumsi kecepatan dan token.
Sistem saya tidak cukup kuat untuk menjalankan model 26B, jadi saya harus mengalokasikan banyak layer ke CPU.
Hanya dengan itu model Gemma4 26B bisa berjalan. Itulah mengapa agak lambat. Tetapi ketika mengaktifkan reasoning ini
sangat melambat. Bahkan untuk jawaban sederhana, saya harus menunggu 20 detik sebelum ditampilkan di layar, dan untuk pertanyaan yang memerlukan sedikit pemikiran, setelah 40-50 detik
jawaban baru mulai ditampilkan. Jawaban itu sendiri memang cerdas. Tetapi terlalu banyak menunggu. Ditambah lagi, karena hardware kurang mumpuni, konteks juga tidak bisa dibawa terlalu panjang.
Jika menonaktifkan reasoning, menurut saya tidak perlu menggunakan Gemma4 26B khusus.
Gemma4 26B mendukung konteks 256k, tetapi sistem tidak bisa mengimbanginya, jadi itu seperti buah yang tidak bisa dipetik.
Setelah berpikir secara realistis, saya sampai pada kesimpulan bahwa ini seharusnya hanya digunakan untuk hal-hal yang benar-benar kompleks atau pertanyaan sesekali.
Sebelumnya saya menggunakan model Qwen3.5 9B, tetapi model Gemma4-E4B juga terlihat layak untuk digunakan, jadi biasanya saya bermaksud untuk hanya menggunakan Gemma4-E4B.
