오늘 Gemma4-12B-QAT-Q4 모델을 처음으로 써보고 있습니다.
VRAM 용량을 많이 차지 하지 않아서 좋긴 합니다만,
제 5060Ti 16GB 에서는 조금 애매합니다.
Gemma4-26B-A4B-QAT-Q4 모델의 경우 16GB에서는 조금 메모리 용량이 모잘라,
메인메모리로 layer 일부를 할당해야 함에도,
속도면에서 Gemma4-12B-QAT-Q4 모델보다 속도가 더 잘나왔습니다.
Dense model 과 MoE model 차이겠죠?
이건 아마 대화의 주제에 따라 달라질수도 있겠지만, 저의 첫 비교 테스트에선
Gemma4-26B-A4B-QAT-Q4가 살짝 더 빨랐습니다.
이러면 제 PC에선 Gemma4-12B 모델을 쓰는 의미가 없네요.
아마 멀티모달 관련해서 상당한 진보가 있는듯한데, 이것을 이용하기 위해서라든가,
혹은 시스템이 다른 프로그램에 의해 무겁게 기동되고 있는 상황 같은
특수한 상황에서나 쓰일거 같습니다.
여러 모델중, 제 PC에서 쓸만한 속도로 도는 모델중에 가장 똑똑한건,
Qwen3.6-35B-A3B 인거 같습니다.
