Hingga hari Jumat minggu lalu, kesimpulan saya masih begini.
Pada akhirnya, yang penting untuk LLM lokal adalah seberapa besar model yang dapat Anda jalankan dengan stabil.
Jadi saya menyelesaikan 3090, melalui laptop RTX 5050, dan akhirnya sampai ke M1 Max 32GB.
Sebenarnya, M1 Max melampaui ekspektasi saya.
Saya cukup terkejut melihat Qwen 27B dapat menjalankan proyek Flutter, membacanya, dan bahkan melewati tes.
Saat itu saya benar-benar berpikir
"Ukuran model ternyata lebih penting daripada nama GPU yang saya pikir"
saya berpikir demikian.
Tapi di akhir pekan, saya melakukan eksperimen yang sedikit berbeda.
Saya memiliki model ekonomi yang saya buat untuk game, dan saya memberikan data historis dan memintanya untuk memperkirakan nilai di masa depan.
Kali ini saya menggunakan Qwen3 14B dan 27B di M1 Max.
Tentu saja saya pikir jawaban yang lebih baik akan keluar...
Tapi hasilnya tidak terduga.
Pada awalnya, saya salah mengira fungsi itu sendiri sebagai nilai awal, dan setelah memperbaikinya, diperlukan sekitar 30 menit hingga 1 jam untuk mendapatkan jawaban akhir.
Sebaliknya, di laptop RTX 5050, saya melakukan tugas yang sama dengan Qwen3 9B dan 14B, dan dalam waktu sekitar 10 menit, saya langsung mendapatkan hasil ke arah yang saya inginkan.
Pada saat itu, hanya ada satu pikiran.
Setelah semua, itu Nvidia.
Tentu saja, ini bukan untuk mengatakan M1 Max buruk.
Itu masih memiliki efisiensi daya yang baik, sunyi, dan mudah untuk menjalankan model yang lebih besar.
Tapi yang penting dalam pekerjaan nyata adalah
daripada
"Bisakah Anda mendapatkan hasil yang diinginkan dalam beberapa menit"
tampaknya lebih penting.
Berdasarkan standar itu, keuntungan yang dirasakan dari ekosistem CUDA Nvidia dan kecepatan inferensi masih cukup besar.
Tapi selama akhir pekan, saat berganti-ganti menggunakan M1 Max dan laptop RTX 5050, saya merasakan hal lain.
Ada sesuatu yang lebih penting daripada kecepatan inferensi yang saya pikir.
Yaitu waktu muat ulang model.
M1 Max memiliki keuntungan dapat menjalankan model yang besar, tetapi situasi di mana model baru dimuat atau turun dari memori dan muat kembali terjadi lebih sering daripada yang saya harapkan.
Masalahnya adalah proses ini memakan waktu beberapa menit hingga 5 menit atau lebih.
Khususnya dalam alur kerja berbasis agen seperti Roo Code atau Continue, situasi perubahan konteks, pergantian model, atau penurunan tingkat hit cache terus terjadi, dan setiap kali itu terjadi, model mulai dimuat ulang.
Menunggu sekali tidak apa-apa.
Tapi jika ini terjadi puluhan atau puluhan kali sehari, ceritanya berbeda.
Secara subjektif, menunggu pemuatan model terasa lebih lama daripada inferensi itu sendiri.
Sebaliknya, laptop RTX 5050 memiliki ukuran model yang lebih kecil yang dapat dijalankan, tetapi beban saat mengubah model atau memulai ulang jauh lebih ringan.
Pada akhirnya, dalam lingkungan pengembangan nyata
"Bisakah Anda menjalankan 27B"
daripada
"Bisakah Anda mendapatkan jawaban sekarang"
tampaknya lebih penting.
Untuk referensi, prompt yang digunakan dalam pengujian dan parameter utama disamakan sebanyak mungkin.
Pengaturan utama seperti Suhu, Konteks, dan penalti pengulangan diterapkan secara identik, dan kami membandingkan dengan hanya mengubah model di setiap lingkungan.
Selain itu, setelah mengoptimalkan parameter melalui beberapa uji coba dan kesalahan, kami melakukan pengujian dengan kondisi yang sama.
Oleh karena itu, saya percaya bahwa hasil kali ini bukan hanya perbedaan penyetelan parameter sederhana, tetapi lebih banyak dipengaruhi oleh kecepatan inferensi di lingkungan operasi sebenarnya, waktu pemuatan model, efisiensi penggunaan cache, dan seterusnya.
Jadi kesimpulan saya saat ini adalah sebagai berikut.
Model besar dengan nilai harga = M1 Max
Lingkungan pengembangan sunyi = M1 Max
Waktu penyelesaian pekerjaan = Nvidia
Produktivitas pengkodean/inferensi = Nvidia masih unggul
Saya telah berputar melalui 3090 → 5050 → M1 Max,
Jika saya harus memilih satu lagi sekarang, saya mungkin akan memilih Nvidia.
Tentu saja, sulit untuk menganggap pengujian ini sebagai perbandingan kinerja absolut.
Namun setidaknya berdasarkan lingkungan pengembangan dan tugas inferensi yang saya gunakan sebenarnya,
Lebih dari skor benchmark atau ukuran model
"Kapan jawabannya keluar"
jauh lebih penting.
Pada akhirnya, tampaknya yang tersisa dari AI lokal pada akhirnya bukan TPS tetapi produktivitas.
Kesimpulan: Jika Anda dapat menjalankan model yang sama, laptop 5050 juga tidak buruk....
PS) Perbedaan bandwidth memori juga tampaknya besar. GPU Nvidia kelas atas mendekati 1TB/s, sementara silikon Apple adalah M1 100GB/s → Pro 200GB/s → Max 400GB/s → Ultra 800GB/s, jadi untuk pengalaman yang serupa, Anda harus pergi ke Ultra, dan dari sana, harganya akan menuju Andromeda. 😅
