colibri yang dirilis ternyata sangat bagus, jadi saya mencobanya.
Saya hanya tertawa canggung...
Tentu saja kecepatannya sangat lambat, tetapi fakta bahwa "itu berfungsi" adalah pencapaian yang luar biasa.
Yang terbaik adalah tidak perlu pengaturan yang rumit seperti menyesuaikan lingkungan NVIDIA CUDA atau hal serupa lainnya. Sangat sederhana.
Saya ingin menjalankan sesuatu di latar belakang untuk waktu yang lama dan melakukan tugas semacam ini.
Apakah saya harus membatalkan langganan opencode go ㅋㅋㅋ
Ref
Setup
# Unduh dan siapkan repositori colibri
# Tanpa dependensi eksternal, jadi selesai dalam sekejap
cd ~/github
git clone <https://github.com/JustVugg/colibri> && cd colibri/c && ./setup.sh
# Unduh model GLM 5.2 khusus
# Sekitar 350~370GB, jadi akan memakan waktu lama
hf download mateogrgic/GLM-5.2-colibri-int4-with-int8-mtp --local-dir ~/glm52
# Jalankan pengujian
# Dijalankan hanya dengan CPU tanpa GPU
COLI_MODEL=~/glm52 ./coli chat
# Jika pengujian berhasil, sekarang siapkan layanan!
COLI_MODEL=~/glm52 ./coli serve --host 127.0.0.1 --port 8008 --model-id glm-5.2-colibri
