Sistem rap saya saat ini menggunakan Gold 6146 dengan DDR4 2400t pada 6 saluran full bandwidth.
Bandwidth memori kira-kira sekitar 90~100GB.
Saya menggunakan 5060ti 16GB dual di sini.
Mendukung TP 1 saja. <- Meskipun ada dua 5060ti, hanya satu yang bisa digunakan.
Setelah mencoba menjalankan DeepSeek-V4-Flash-0731 dengan GPU tunggal, hasilnya sekitar 13~14 t/s
Meskipun bisa berjalan... sepertinya tidak praktis.
Saya tidak tahu bagaimana struktur internalnya...
Sepertinya hanya model yang tercantum dalam daftar dukungan yang dapat dijalankan.
Saya mencoba mengunduh Qwen3-Coder-Next-FP8, tetapi tidak berfungsi. ㅠ.ㅠ
