colibri 라는게 나왔길래 해 보니까 너무 허무하게 잘 돼서
그냥 헛웃음이 나오네요...
물론 속도는 처참하게 느리긴 한데 그래도 "된다"라는 자체가 엄청난 감동입니다.
그것도 복잡한 설정 이딴거 필요 없고 NVIDIA CUDA 환경 맞춰주고 이런거도 없고 개 간단
백그라운드로 뭘 오랫동안 시켜놓고 이런 일 시키면 되겠다 싶기도 한데요.
opencode go 구독 취소해야 되나요 ㅋㅋㅋ
Ref
Setup
# colibri 저장소 다운 및 셋업
# 외부 의존성이 없어서 그냥 순식간에 끝남
cd ~/github
git clone <https://github.com/JustVugg/colibri> && cd colibri/c && ./setup.sh
# 전용 GLM 5.2 모델 다운로드
# 약 350~370GB 정도라서 엄청 오래걸림
hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir ~/glm52
# 테스트 실행
# GPU 없이 그냥 깡 CPU로 돌림
COLI_MODEL=~/glm52 ./coli chat
# 테스트 잘 되었으면 이제 서비스!
COLI_MODEL=~/glm52 ./coli serve --host 127.0.0.1 --port 8008 --model-id glm-5.2-colibri
