여러가지 쭈우욱 굴려본 결과
ollama 보단 llamacpp가 백배 낫습니다. MoE에서 토큰 처리속도가 훨 빠릅니다. 기존에 있던 터지던 문제들도 거의다 없어졌습니다.
Qwen3.6 35B A3B는 IQ2M , Qwen 3.6 27B 는 IQ3_S나 XXS, Gemma4 26B A4B는 IQ3_S나 XXS 구동 가능(Gemma4 26B A4B IQ3_XXS로 하면 멀티모달도 빠듯하게 가능)
나머지 8B, 14B등등은 당연히 잘 됩니다. 얘네들은 MoE 한번 써보면 써볼 생각이...
MTP 는 위 35B나 26B 등 MoE에서는 불가능합니다. Qwen3.6 IQ2M 이 메모리가 좀 남길래 해봤는데, 2K 정도 토큰 넘어가면 llamacpp가 터집니다. Reddit에 보니 적어도 2GB는 추가로 있어야 한다는거 같습니다. 8B모델 같은 애들은 MTP 충분히 될거 같습니다.
heretic이나 uncensored, 기타 튜닝 모델들 써봤는데, 최종적으로 unsloth 모델이 가장 나았습니다.
Qwen3.6 27B는 13-15 tps정도 밖에 안나와서 쓰기가 힘들고, 현실적으로 35B A3B는 IQ2M (TG 50-60tps), Gemma4 26B A4B는 IQ3_XSS (TG 50-55tps) 정도가 최적입니다.
둘 다 CTX 128K까지 가능은 합니다만, 80-90K정도 넘어가면 20-30tps 정도로 성능이 떨어집니다.
물론 헛소리 확률도 높아집니다. 특히 Qwen3.6은 IQ2M이라 더더욱 (구문 반복 나오면 ㄷㄷㄷ)
최종적으로 Gemma4 26B-A4B unsloth IQ3_XXS에 멀티모달 띄워서 쓰고 있습니다.
컨텍스트 128K 까지 넣고 cline굴리면 80-90K 넘어 갔을 때 느려질지 언정 터지거나 멈추진 않습니다.
멀티 모달까지 쓰면 남는 메모리가 없어서 중간중간 SSD에 swap이 일어나서 더 느려지긴 한데, 메모리에서 돌아가도 성능이 떨어지는 부분이 있어서 그냥 둡니다. (128K까지 차면 1GB정도 스왑합니다)
Swap싫으신 분은 64K나 멀티모달 빼버리면 됩니다.
그래도 Gemma4는 나름 IQ3라고 구문 반복은 없었습니다.
머 이정도면 취미 코딩 agent정도로는 쓸만하지 않나 싶습니다. 멀티모달까지 띄우니 그래프나 장표등 던져주니 분석까지 다 하더군요 ㄷㄷㄷ
물론 BC250에 이렇게 하려면 BC250은 딱 headless로 띄워서 llamacpp만 서비스 하고 나머진 모두 다른 서버가 openwebui나 opencode나 rag등등 처리해 줘야 합니다.
개인적으로 걍 취미로 agent ai 궁금하신 분들은 BC250사시는게 제일 낫지 않나 싶습니다.
M1 ultra 대역폭이랑 BC250 대역폭이 똑같고, 둘 다 qwen 3.6 35B A3B 100% GPU offload하면 둘다 TG 50-60tps정도 입니다.
이만 하면 개꿀 아닌가 싶습니다
