https://forums.developer.nvidia.com/t/dflash-for-qwen3-5-122b-a10b-80-tok-s-on-1x-spark/374328
Saya meminta agen untuk melakukannya setelah melihat postingan ini.
Mereka mengatakan butuh waktu 30 hingga 1 jam untuk mengunduh dan memodifikasi sesuatu, jadi saya menunggu.
Mereka membuat server Docker dengan vllm untuk saya.
Sekarang saya harus menghubungkannya ke Hermes, tetapi
tidak peduli apa yang saya lakukan, koneksi tidak berhasil. Saya mencoba menghubungkannya ke ClaudeCode atau Codex, tetapi agen saya mengatakan bahwa kecepatan pembuatan token akan mirip dengan sebelum dimodifikasi jika saya melakukannya. Jadi saya bertanya apakah ada alternatif lain.
Mereka mengatakan untuk menghubungkannya ke OpenCode.
Jadi saya meminta mereka untuk menghubungkannya, dan setelah melihat postingan forum di atas, mereka mengatakan bahwa kecepatan pembuatan token akan mencapai sekitar 59 jika dioptimalkan...
Sebagai permulaan, saya mengukur kecepatan pembuatan token dengan menghubungkannya ke OpenCode.
Sekitar 36 muncul, jadi ada banyak perbedaan dengan postingan forum. Mereka menyuruh saya mengukurnya beberapa kali.
Rata-rata sekitar 40 muncul.
Agen saya menafsirkan bahwa postingan forum menunjukkan angka yang lebih rendah untuk tugas atau teks pendek, dan angka yang lebih tinggi diperlukan untuk tugas yang lebih panjang.
Atau mungkin agen saya membuatnya dengan buruk. Tapi untuk saat ini, 36 hingga 40 token sepertinya cukup bisa digunakan.
Saya melihat di Reddit bahwa seseorang berhasil membuat lebih dari 70 token dengan mengoptimalkan DeepSpeed * 2 Spark. Ini menunjukkan bahwa model populer semakin dioptimalkan dan berkembang, sehingga kecepatan yang layak untuk digunakan secara lokal akan segera tersedia.
Saya awalnya mengincar M5 Max Studio 128GB, tetapi sepertinya harganya akan melebihi 10 juta. Mungkin saya harus mencari Spark bekas... Tapi ternyata semua Spark bekas sudah habis! ㄷㄷㄷㄷ
