Saat akhir pekan, saya mencoba mencari nilai optimal untuk ComfyUI's Minimax H3,
Saya menggunakan OpenRouter dengan DeepSpeech V4 Flash, dan ternyata habis 10 dolar --;
Ternyata saya menggunakan token lebih banyak dari yang saya kira. Membayar untuk mesin yang ingin saya hemat uang terasa sedikit aneh.
Saya sedang mencoba mengatur Meta Muse Grimmer 30B Q4 yang baru dirilis kemarin ke dalam pengaturan Comfy, dan sejauh ini berjalan cukup baik.
Saya membangunnya dengan mengikuti versi pytorch dan rocm, dan jika ada masalah, saya mencari solusinya di internet. Dan ternyata, program itu bisa menyelesaikan masalahnya sendiri!
Sayangnya, konteksnya hanya 128K. Meskipun begitu, jika saya mengisi 128K sepenuhnya, kecepatan pemrosesan akan menjadi sekitar 300 per detik, jadi sepertinya tidak perlu menambahnya lagi.
Cobalah kombinasi ini dengan pi-agent! Unduh int8convrot dan coba! Dan seterusnya.
Saya sudah melakukannya selama dua hari, ㄷ ㄷ ㄷ
Ketika saya menjalankan pembuatan video, LLM tidak bisa berbicara. Meskipun terkadang terjadi masalah ketika keduanya berjalan bersamaan, pi agent biasanya dapat menjalankannya dengan skrip.
Ngomong-ngomong, membuat video dan gambar di Strixhalo sangat lambat -_-;
