Ada banyak masalah yang tidak masuk akal saat membelinya,
Tapi akhirnya saya membelinya dan sedang melakukan pengaturan.
Tentu saja, kinerja BC250 yang memiliki bandwidth jauh lebih baik lebih unggul, tetapi karena memori lebih besar, saya dapat mencoba berbagai hal,
Dan kecepatannya ternyata lebih baik daripada yang saya harapkan. Sepertinya bagus.
Saya juga mencoba NPU dari Jetson, dan sepertinya akan cocok untuk model embedding atau model kecil yang selalu aktif.
Performa prefillnya cukup bagus. Kinerja dekodingnya...;
Sudah hampir satu bulan sejak saya mencoba mendapatkan model 80GB ㅠㅠ
