https://github.com/HawkBearPig/dgpp
Saya melihat alat ini di forum nvidia dgx spark dan saya ingin mencobanya.
Sepertinya hanya beberapa model yang didukung, tetapi kebetulan qwen3.8-flash-next mendukung 1spark dan 2spark jadi saya mengaturnya dengan 1spark.
Sekitar ini tps yang saya dapatkan.
Sendirian sekitar 40tps, jadi saya berharap untuk penggunaan nyata sekitar 20~26.
Sebelumnya dengan vllm,
1spark mendapatkan sekitar 20 tps di tengah.
2spark sedikit lebih baik dari alat baru ini.
Jika menggunakan alat ini dengan 2spark, secara teoritis bisa mendapatkan sekitar 70~80????
Masih belum tahu.
