Saya baru saja meningkatkan ke MacBook Studio M2 Ultra 64GB. (Model 128GB terlalu mahal.)
M1 Max 32GB yang lama saya gunakan untuk pengkodean dan pekerjaan alat, sedangkan M2 akan saya gunakan untuk model dan beberapa hal penting saja.
Karena tidak menjalankan aplikasi lain, selain sistem operasi dasar, seluruh memori dapat saya berikan ke LLM.
Saya seharusnya memisahkan peralatan ini sejak lama. Sepertinya memisahkan semuanya adalah ide yang bagus.
Jika mempertimbangkan performa, lebih baik menggunakan layanan berbayar. Namun, saya akan terus menggunakan versi lokal dengan performa rendah untuk sementara waktu karena ada banyak eksperimen yang ingin saya lakukan.
Melihat perkembangan Qwen sebelumnya, saya yakin performa lokal akan semakin meningkat di masa depan.
