Saya telah menyelesaikan fine-tuning dua model saham dengan Spark, dan saya bertanya-tanya seberapa jauh saya bisa memaksanya??? Jadi saya menemukan yang memiliki parameter hampir 128GB.
Model itu sendiri berukuran sekitar 80GB, tetapi saat saya menjalankannya, RAM terus terserap karena cache KV.
Saya mengunggahnya ke Olllama dan memeriksa dengan --verbose, dan hasilnya sekitar 28.8 token.
Ini adalah model 122B, tetapi karena moe act10b, saya bertanya-tanya apakah jumlah token yang dihasilkan ini benar.
Jadi saya mencobanya dengan ClaudeCode.
Awalnya lambat, tetapi setelah saya menghubungkannya ke searxng untuk memungkinkan pencarian web dan memberikan semua izin yang diperlukan, semuanya berjalan lancar.
Saya pikir saya bisa menjalankannya secara lokal sambil melakukan hal lain.
Secara jujur, saya tidak terlalu berharap banyak.
ClaudeCode dirancang untuk sonnet atau opus, dan ini adalah produk dari perusahaan lain, jadi saya menurunkan ekspektasi saya.
Meskipun begitu, karena memiliki beberapa harness daripada hanya menggunakannya, tampaknya lebih baik daripada menghubungkannya ke OpenCLOE.
Saat ini, saya telah memerintahkannya untuk mencari MMORPG open source.
Mungkin karena perbedaan model, sepertinya saya tidak bisa menggunakan izin sepenuhnya.
Saya ingin mencoba versi DeepSpeed4Flash jika harga Spark turun atau ada yang dijual dengan harga terjangkau.
