Perusahaan akan memberikan perangkat kepada beberapa karyawan untuk mempelajari LLM lokal.
Anggarannya adalah 500 per orang.
Jika melebihi anggaran, boleh menambahkan uang pribadi untuk membelinya.
Kalau awal tahun ini, dengan 500 mungkin masih bisa membeli DGX Spark dengan sedikit tambahan uang pribadi... tapi sekarang harga terendah Lenovo sudah 6,79 juta won... hah...
Setelah menghubungi beberapa tempat, hasilnya adalah
4,8 juta won — Mini PC AI MAX 395+ 128GB
4,2 juta won — Mac Studio M4 Max 64GB (katanya sudah lama tidak bisa memesan yang 128GB... yang 128GB hanya ada di MacBook Pro M5 Max tapi harganya........... 900)
Tambah uang pribadi untuk DGX Spark (tambahan sekitar 1,8 juta won)
Setelah mencari di berbagai tempat....
AI MAX 395 memiliki keunggulan berupa Windows dan x86, namun banyak yang bilang performa RAM tidak sebaik teorinya dan merupakan yang paling lambat.
Mac Studio memiliki performa terbaik, namun 64GB terasa tanggung — cukup berguna untuk menjalankan model seperti 26B atau 31B, tapi disayangkan tidak bisa menjalankan model dengan parameter yang lebih besar.
DGX Spark disebut-sebut sebagai yang paling seimbang. Tapi saya harus mengeluarkan uang sendiri ㅠㅠ
( Saya sudah lebih dari 20 tahun menggunakan Linux, jadi tidak ada hambatan dari sisi OS... )
Kegunaannya adalah
Bukan untuk menghasilkan gambar seperti dengan ComfyUI,
melainkan untuk pekerjaan coding dengan Local LLM (proyek perusahaan ada masalah keamanan sehingga tidak bisa menggunakan layanan komersial), analisis situasi saham (saat ini sedang menggunakan GLM5.2 via openrouter...), dan hal-hal semacam itu.
Mohon rekomendasinya, mana yang sebaiknya dipilih...
Tambahan, saya tidak berencana menggunakan kartu grafis seperti R9700... di perusahaan sudah ada 4 unit RTX 6000 Pro.
