Saya penasaran tentang hermes,
jadi saya menginstal hermes di WSL dan menghubungkannya ke LLM lokal, dan saya sudah mencobanya beberapa kali hari ini.
Agen memang nyaman digunakan,
tetapi menjalankan agen ini dengan LLM lokal cukup sulit.
Meskipun saya menetapkan konteks menjadi 128K, jika sedikit saja ditunda, token akan segera habis.
Saya langsung menyadari bahwa benda asing ini tidak dapat dijalankan dengan LLM lokal.
Selanjutnya, saya harus mencoba menggunakan API gratis.
Atau, mungkin saya harus berjuang untuk menghemat token.
Rencana saya sebelumnya adalah menambahkan satu GPU lagi ke dalam pikiran saya, yang satu digunakan untuk menjalankan agen dan yang lainnya digunakan untuk menjalankan LLM yang diperlukan agar agen dapat dijalankan hanya dengan LLM lokal, tetapi saya membatalkannya dalam sehari.
Untuk saat ini, saya telah mengganti LLM lokal dengan API LLM gratis (sejenis cloud yang menjalankan open LLM).
Saya mengubahnya dari LLM lokal Gemma4-e4B menjadi API gratis GLM5.1.
Namun, saya tidak tahu kapan kunci API ini akan kedaluwarsa.
Dan karena gratis, ada batasan 40 rpm. Saya rasa saya tidak akan mengirimkan permintaan lebih dari 40 kali per menit, kan?
