hermes 가 뭔지 궁금해서,
hermes를 WSL에 인스톨하고 로컬 LLM을 연결해서 오늘 몇번 써봤습니다.
에이전트라는게 편하긴 한데,
이걸 로컬 LLM으로 구동할려니 상당히 난감하네요.
컨텍스트를 128K로 잡아도 조금 일시키면 토큰 바로 소모할거처럼 엄청 써뎁니다.
하루만에 아 이물건은 로컬 LLM으로 구동해서 써먹을수 없는 물건이구나 라고 바로 느낍니다.
다음엔 무료 API라도 물려서 써봐야 겠습니다.
아니면, 역시 내몸이 고생해서 토큰을 아껴야 하나봅니다.
전에 머리속으로 생각하던 GPU 하나 더 달아서 하나는 agent 구동하고 나머니 하나는 필요한 LLM 구동해서 로컬 LLM으로만 agent 실행하겠다는 그 계획은 하루만에 폐기 시켰습니다.
일단은 로컬 LLM에서 무료 LLM API(일종의 클라우드인데, open LLM을 돌리는 클라우드입니다.) 로 바꿔뒀습니다.
로컬 llm Gemma4-e4B 무료 API GLM5.1 . 요렇게 바꿔서 동작시켜놨습니다.
다만 이 무료 API 는 API_key 가 언제 expire될지 잘 모르겠습니다.
그리고 무료라서 40 rpm의 제약이 있습니다. 뭐 1분에 40번 넘게 request 하진 않겠죠?
