Saya tertarik menggunakan AI secara gratis, tetapi baru-baru ini kuota gratis Codex juga berkurang
dan Gemini CLI yang murah hati dengan hanya 20 menit tersedia setiap hari juga sayang untuk dilewatkan.
Saya menemukan model lokal yang berguna bernama Qwen3.6 35B-A3B, memuat menggunakan Ollama API, dan baru saja berhasil menjalankan setelah menginstal qwen CLI.
Sepertinya tidak ada kesulitan besar dalam menggunakan alat, membaca file, membuat keputusan, dan menulis.
Sekarang saya telah mengamankan satu AI yang bisa saya gunakan dengan nyaman. Saya pikir saya perlu mencobanya lebih detail untuk mengetahui selengkapnya.
Dan berikut adalah metrik pengujian kinerja.
Peralatan tersebut adalah AMD Ryzen 5600, RAM 64G, lingkungan RTX 3090 1 unit, dan saya menggunakan model dengan judul melalui Ollama API.
Ringkasnya, kinerja sekitar 17 token per detik.
Berikut hasilnya.
Metode pengukuran adalah dengan menjalankan # ollama run qwen3.6:35b-a3b --verbose dan mengirim prompt pengujian
total duration: 6m22.707600455s
load duration: 172.211636ms
prompt eval count: 173 token(s)
prompt eval duration: 459.077036ms
prompt eval rate: 376.84 tokens/s
eval count: 6343 token(s)
eval duration: 6m18.318385948s
eval rate: 16.77 tokens/s
Hasilnya diperoleh dengan cara seperti di atas.
Informasi lainnya.
# ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3.6:35b-a3b {ID값} 31 GB 23%/77% CPU/GPU 131072 Forever
Sekian dari saya.
