Saya mulai mengumpulkan komponen perangkat keras secara membabi buta dengan pemikiran bahwa saya harus menjalankan LLM lokal dengan benar.
Awalnya, RTX 3090.
"Dengan 24GB VRAM, tidak ada yang tidak bisa dijalankan, kan?"
Sebenarnya, ketika saya menjalankannya, cukup bagus. Model dimuat dengan baik dan kecepatannya memuaskan.
Tetapi saat menggunakannya, manajemen panas sangat merepotkan.
Di musim panas, suhu ruangan naik, suara kipas mengganggu, dan selalu menyalakannya juga membebani.
Akhirnya, saya menutupnya.
Kemudian tiba-tiba saya berpikir.
"Ah, benar. Saya punya laptop terbaru."
Ryzen AI 240 dengan RTX 5050, RAM 32GB.
Hanya melihat spesifikasinya, terlihat cukup bagus.
"Dengan ini, apakah cukup untuk menambahkan Continue ke VS Code dan melakukan pengkodean vibes?"
Seperti biasanya, saya yang kalah.
Saya mencoba menambahkan Continue dan terhubung dengan berbagai model lokal, tetapi hasilnya sangat mengecewakan.
Ukuran model ambigu, konteksnya tidak memadai, dan akurasi pengkodean tidak memenuhi harapan.
Akhirnya, saya pikir saya terkena penyakit peralatan lagi, jadi saya melepaskan harapan.
Kemudian, akhirnya saya mencoba lagi dengan M1 Max.
M1 Max... Bahkan tahun lalu harganya masuk akal..sekarang modelnya dasar adalah 160~190.... Ah, harga...
Tetap saja, saya entah bagaimana mendapatkannya dan mengujinya.
Jujur saja, saya tidak memiliki harapan besar.
"Tidak peduli apa pun, bukankah itu lebih buruk dari PC dengan GPU?"
Tetapi...
Ah, sepatu.
Ini bekerja? ㅋㅋㅋ
Instal Ollama di Mac Studio M1 Max 32GB dan hubungkan Roo Code.
Saya membuka Qwen3.6 27B dan memberi makan proyek Flutter.
Awalnya saya melakukan trial and error dengan masalah ripgrep dan menyentuh konfigurasi, tetapi pada beberapa titik, itu benar-benar mulai membaca proyek.
Melihat log, itu memasukkan lebih dari 20.000 token dan sedang menganalisis.
"Oh...?"
Kemudian itu memodifikasi file tes.
"Nah, sungguh-sungguh."
Langsung jalankan tes.
flutter test test/planet_model_test.dart
Hasil:
00:00 +20: All tests passed!
Seketika, saya benar-benar tertawa.
Selama beberapa bulan
3090 → 5050 → M1 Max
Setelah berputar-putar, kesimpulannya adalah,
Yang lebih penting daripada yang saya pikirkan bukanlah nama GPU
"Seberapa baik model yang dapat Anda jalankan dengan stabil"
sepertinya.
Tentu saja, dalam hal kinerja absolut, 3090 masih kuat.
Tetapi dalam hal lingkungan pengkodean AI lokal yang digunakan pengembang setiap hari, M1 Max juga sangat bagus dari yang dipikirkan.
Beberapa tahun lalu, saya tidak pernah membayangkan sehari ketika saya bisa menggunakan sesuatu seperti Mac mini untuk menjalankan model 27B, memodifikasi proyek Flutter, dan melewatkan tes. 😅
Ketika saya punya waktu luang, saya ingin mencoba m4 max /ultra 128GB ㅎㅎ
