Menargetkan komputer Beelink AMD AIMAX+ 395 (Strix Halo) 128GB,
saya telah mencoba mengatur DrawfStar4 dari Antirez yang sedang populer akhir-akhir ini.
https://github.com/antirez/ds4
Singkatnya, saya telah memaksimalkan model Deepseek 4 Flash open-weight
dikuantisasi hingga 2-bit dan dibuat menjadi file model GGUF khusus yang berukuran sekitar 80GB,
dan karena ini tidak bisa dijalankan hanya dengan llama.cpp, mereka membuat server DF4 yang khusus hanya untuk model ini.
Meskipun target utamanya adalah Apple Silicon, tetapi juga mendukung NVIDIA dan AMD ROCm.
Sepertinya ini mungkin karena pengembang bernama Antirez adalah ahli terkenal (orang yang membuat Redis).
Kesimpulannya, jika berhasil menjalankan ini....
Meskipun kecepatannya mungkin mengecewakan, kecerdasannya sendiri menjadi yang terbaik di dunia saat ini di antara model lokal yang dapat dijalankan pada komputer kelas 128GB. Pada kenyataannya, saya sangat puas setelah mencoba menggunakan Deepseek V4 Flash dengan berlangganan OpenCode.
Jadi, setelah mencoba selama dua hari kemarin dan hari ini, saya berhasil.
Saya mengunduh repositori, mengkompilasinya, dan melakukan hal-hal seperti itu tanpa kesulitan besar hanya dengan mengikuti apa yang diajarkan Gemini...
Dalam kasus saya, karena saya membatasi VRAM maksimum sistem ke 96GB, ukuran konteks akhirnya ditetapkan ke 12kB. Agak kurang sih. Ketika saya membuatnya lebih tinggi, kekurangan memori...
Mungkin saya bisa mendapatkan konteks yang lebih banyak jika saya menaikkan nilai VRAM bersama lebih tinggi dari 96GB.
Kecepatan pembuatan token kurang dari 20t/s. Sekitar 15-19t/s.
Rasanya seperti saya sedang melihat seseorang mengetik di depan layar komputer.
Mungkin akan jauh lebih cepat jika menggunakan komputer Apple.
Dan memuat model awal ke memori memakan waktu sekitar 18 detik.
Hal yang menarik adalah ada satu file model yang disediakan, tetapi sebenarnya disediakan sebagai Deepseek V4 Flash dan Deepseek V4 Pro. Pro tampaknya disesuaikan untuk melakukan lebih banyak 'Thinking' meskipun modelnya sendiri sama. Jawabannya juga lebih kaya.
Tentang kecerdasan....
Dibandingkan dengan model apa pun yang telah saya gunakan secara lokal sejauh ini, ini secara mutlak unggul.
Ketika melakukan coding Python, ketika token model berbayar habis dan saya hanya bisa menunggu, tampaknya ini dapat digunakan dengan cepat jika diperlukan.
Meskipun dilakukan secara ekstrem dengan kuantisasi 2-bit, hampir tidak ada masalah dengan teks Korea yang rusak.
Saya mendengar bahwa seseorang bernama Antirez sedang mengembangkan pengiriman model GLM 5.2 di sini.
Tentu saja, GLM5.2 tidak akan bisa dijalankan pada sistem 128GB tidak peduli seberapa banyak optimasi, dan mungkin itu untuk orang-orang dengan sistem yang menyediakan memori bersama VRAM kelas 512GB.
Dan saya sedang mencoba menghubungkan model ini ke Open-webui dan Hermes-agent yang berjalan bersama pada komputer yang sama,
saya berhasil mengunggahnya ke Open-webui.
Bahkan saya memasukkan kode proxy Python sederhana ke dalam layanan Systemctl, sehingga ketika menggunakan model DF4, ketika mengunggah model ComfyUI atau Ollama pada komputer yang sama, model secara otomatis diturunkan setelah sekitar 1 menit untuk menghindari kekurangan memori.
Saya masih belum berhasil menghubungkannya ke Hermes. ㅠㅠ
Saya telah mencoba mengikuti filosofi "mengorbankan kecepatan dan hanya membuat sesuatu bekerja" dengan setia.
Bagaimanapun, melihat tingkat SOTA diimplementasikan pada komputer pribadi sebesar ini... dada saya terasa bangga.
Tidak peduli seberapa rendah saya memperkirakan Deepseek, jujur saja, tampaknya jauh lebih baik daripada Gemini 3.5 Flash yang sedang aktif.
