Saya ingin menjalankan llm lokal, jadi saya memasang Ollama, tetapi sac (smart app control) terus memblokir, jadi saya menyerah dan mulai mencoba llm lokal menggunakan LM studio. Awalnya saya mencoba dengan satu 3070ti, tetapi karena ingin menjalankan model yang lebih besar, saya menambahkan 1660ti yang tidak digunakan ke komputer saya. LM studio tidak menangani multi GPU yang berbeda dengan baik. Jadi saya mulai menggunakan llama.cpp secara langsung. Ketika menggunakan model kecil, hampir tidak ada masalah, tetapi multimodal (pengenalan gambar dan suara) mengeluarkan error. Saya telah menguji berbagai opsi, tetapi dengan konfigurasi 3070+1660, tidak dapat digunakan secara stabil. Ketika menjalankan 3070ti saja, ia beroperasi secara stabil.
Ada masalah lain ketika menggunakan model yang lebih besar seperti Gemma4-26B-A4B, juga tidak stabil. Ketika saya membuat log dianalisis oleh Gemini atau Codex, 3070 berjalan cepat dengan CUDA+tensor core, tetapi 1660 memiliki CUDA tetapi tidak memiliki tensor core, jadi llama.cpp mengalami beberapa masalah dalam menangani keduanya secara bersamaan. Setelah menguji berbagai cara, saya dengan berani meninggalkan komputasi CUDA/tensor core dan menjalankannya dengan Vulkan, dan akhirnya berhasil membuatnya beroperasi secara stabil. Sebagai gantinya, kecepatan pemrosesan menjadi sedikit lebih lambat. (Sebagai catatan sampingan, sebelum menjalankan vulkan, ChatGPT mengatakan tidak dapat diselesaikan dengan vulkan, ini adalah masalah perangkat keras sehingga tidak dapat dihindari, dan sangat merekomendasikan hanya menggunakan satu 3070. You know nothing.)
Dan bahkan ketika menggunakan Vulkan, dukungan multimodal tidak tersedia. Pengenalan gambar atau audio hanya dapat dilakukan dengan single GPU. Saya masih belum tahu apakah ini karena llama.cpp tidak mendukungnya atau karena saya memilih opsi yang salah.
Akhir-akhir ini, apa yang saya pikirkan setiap hari adalah apakah saya harus meningkatkan kartu video atau tidak. Karena saya hanya menjalankannya untuk bersenang-senang, saya bertahan, tetapi saya tidak tahu apa yang akan terjadi.
