5060 Ti 16GB dan M1 Max 32GB dengan Ollama untuk menguji seri Qwen3.x, awalnya terasa "lebih baik dari yang diharapkan".
Namun, ketika digunakan untuk tugas yang lebih panjang seperti pekerjaan sungguhan, ceritanya berbeda.
Terkadang tampak selesai dengan baik, tetapi jika beban kerja sedikit meningkat, kegagalan terjadi. Bahkan ketika dinyatakan selesai, saya ragu apakah benar-benar selesai dengan sempurna. Terjadi beberapa kali proses terhenti dan harus dibatalkan sebelum dijalankan kembali.
Kesimpulan saya adalah "menyenangkan untuk pengujian, tetapi masih sulit digunakan untuk pekerjaan nyata".
Kemudian saya mencoba ExLlama dengan RTX 5060 Ti dan Qwen3 27B EXL3, dan perasaannya sangat berbeda.
Yang paling terasa adalah eksekusi yang konsisten. Bukan hanya sekali atau dua kali berhasil, tetapi ketika menjalankan tugas serupa berulang kali, selalu berjalan. Untuk pertama kalinya saya berpikir "mungkin ini sudah bisa digunakan untuk pekerjaan sungguhan?".
Terutama bagi saya yang lebih suka analisis kode atau modifikasi daripada obrolan sederhana, perbedaan ini sangat terasa.
Saat ini, ExLlama memang terasa lebih mudah digunakan untuk pekerjaan nyata dibandingkan Ollama.
Tentu saja ada kekurangannya. ExLlama tidak bisa menggunakan model apa pun secara langsung, tetapi harus menggunakan model yang telah diubah ke format pendukung seperti EXL3.
Namun, fakta bahwa RTX 5060 Ti 16GB dapat menjalankan model 27B dengan stabil adalah hal yang menarik.
Meskipun belum sempurna,
"kami telah naik satu tingkat dari tahap pengujian LLM lokal ke tahap penggunaan untuk pekerjaan nyata".
Saya akan terus menggunakan Ollama dan ExLlama secara bergantian untuk melihat perbedaannya berdasarkan standar pekerjaan. 😄
