Saya mengelola layanan LLM lokal internal perusahaan.
RTX PRO 6000 * 2...
Qwen3.6-35b-A3b (MTP diterapkan) - 200~300TPS
Gemma4-26b-A4b - 40TPS
sekitarnya.
Saya mengatur vLLM dan SGlang dengan berbagai pengaturan, tetapi Pro 6000 cukup sulit diatur.
Namun, setelah menerapkan MTP, kecepatannya melebihi 300TPS ㅎㅎ
Sebelumnya, saya mencoba A6000 dan A6000ada dengan TP=2 atau 4 untuk mengunggah model berukuran besar.
Karena memiliki ruang penyimpanan tunggal 96Gb yang cukup lega, saya mulai mencari opsi lain.
Saya menggunakan OpenWebUI untuk mengunggah berbagai MCP dan mengatur penggunaannya,
dan menjalankan 4 Hermes Agent + bot Slack..
Saya juga merayap berita dan memperbarui saluran Slack...
Apa lagi yang bisa saya coba? ㅎㅎ
Bisakah Anda merekomendasikan sesuatu?
