Saya yang dulunya tidak tertarik pada AI sekarang bekerja dengan semangat luar biasa.
Awalnya saya hanya membeli GPU 5080 dengan cicilan 24 kali dan bermain-main seperti mainan,
tapi sekarang saya sudah bisa memegang 10 kartu v100…
Meskipun performanya lambat, 300GB VRAM sangatlah kuat.
Sejak musim semi tahun ini, saya mengunduh kode sumber open webui dan mempelajarinya dengan tekun.
Saya belajar Linux dari Gemini dan GPT, mempelajari servlet, dan mendebugg setiap bagiannya.
Tujuan akhir saya adalah membuat layanan sendiri menggunakan llama.cpp.
Sampai saat ini, saya telah melakukan benchmark model secara lokal, membuat server MCP, dan dapat membuat dan mengedit gambar dengan comfyUI.
Jika saya melihat ke belakang, saya merasa sudah naik 10 tangga dari total 100 tangga. Seandainya saya lebih muda, mungkin saya bisa naik dua tangga sekaligus! Sayangnya, tenaga saya terbatas..!
Melakukannya secara lokal terlalu lambat. Bahkan dengan gemma4 32b, panggilan alat membutuhkan waktu 30 detik dan kepuasannya hanya setengah-setengah. Kecepatan token rata-rata sekitar 24-28.
Pembuatan gambar dengan prompt 100 karakter membutuhkan waktu 3 menit untuk menghasilkan gambar berukuran 1024*1024. Saat ini saya sedang memperbaiki kesalahan karena versi CUDA.
Saya ingin sekali menjadi pengembang AI profesional, tetapi pekerjaan menumpuk sehingga saya harus menyelesaikannya terlebih dahulu sebelum merencanakan langkah selanjutnya.
Semoga teman-teman yang menyukai AI berhati-hati jangan sampai kelelahan dan mari kita semua tenggelam dalam proses pengembangan ini!
