Tahun lalu saya kecanduan local LLM, sampai ganti kartu grafis, dan menghabiskan waktu dengan senang mencoba berbagai hal,
tapi begitu mencoba yang agak besar, model kelas 20-30B ternyata terlalu tidak efisien.
Bukan berarti tidak bisa, tapi terlalu lambat, dan hasilnya juga kurang memuaskan.
Ditambah lagi, dengan LLM China yang dipimpin DeepSeek belakangan harganya jadi sangat murah,
beban finansialnya pun jauh lebih ringan, jadi
saya menghapus beberapa hal yang dulu saya instal untuk menjalankan local LLM di sistem saya.
Awalnya saya gabungkan 2 PC jadi satu untuk menjalankan local LLM.
2 GPU, memori 2x.. seru sih, tapi tidak ada kegunaan khusus.
Setelah dipikir matang-matang, saya rasa cukup bayar dan pakai dengan nyaman lebih baik dalam banyak hal,
jadi saya kembali pakai 2 PC terpisah.
Selain itu, dulu saya juga instal ComfyUI untuk membuat gambar,
tapi ini juga saya ganti jadi cukup bayar FAL.ai untuk membuat gambar.
Memakai layanan berbayar untuk semuanya ternyata lebih baik untuk kesehatan mental.
Saya pakai hermes agent, dan hermes agent ini menyediakan model gratis.
Belakangan mereka menyediakan Step3.7-flash gratis. Tapi saya tetap pakai Deepseek-v4...
Model seperti Gemma-4-26B-A4B atau Gemma-4-31B
disediakan gratis di Google AI Studio.
Dalam banyak hal, di bidang yang cuma saya mainkan untuk hiburan, tidak perlu lagi pakai local LLM,
jadi kali ini saya berani membersihkan semuanya.
