새벽에 qwen3.5 gguf 가올라와서 가볍게 로컬에서 사용해봤습니다.
rtx 3090 24vram 에 32g 시스템렘 구성입니다.
최근에 핫했던 glm 4.7 flash 와 qwen3 coder next 를 q4 모델로 온몸비틀기 해가며 성능테스트를 해봤는데.
qwen3 coder next 가 속도는 느려도
좋더군요.
대략 출력토큰이 23tok/s 정도에서 만족하면. ..코딩에 집중하려 했습니다만,,,,
무려 qwen3.5 35b a3b 의 q4 양자화 모델이 가볍게 qwen3 coder next 를 기록을넘겨버리네요.
대략 cpu off 로딩없이 출력토큰이 65+tok/s 입니다.
성능은.... 가벼운 웹게임은 한방에 만들정도로 좋네요.
놀라운건 이게 멀티모달 모델입니다.
그림 테스트는 안해봤지만,..
앞으로 qwen3.5 coder 모델나올텐데 더 기대되네요.
중국의 ai 대단하네요.
===========================
26.3.8 추가 : qwen3.5 35b a3b 모델과 qwen3.5 27b dense 모델을 비교 해봤는데,
성능은 qwen3.4 35b 모델 대비 qwen3.5 27b dense 모델이 점수는 3배정도 좋고,
속도는 3배정도 떨어집니다.
최종적으로 제 시스템상 qwen3.5 27b dense 모델을 선택했고,
시스템 성능 vram 이 부족하신 분은 qwen3.5 35b a3b 모델을 사용하시는게 좋을거 같습니다.
