드디어 속썩이던 하이브리드 3070ti(8gb) + 1660ti(6gb) 조합에서
순수한 5060ti 16gb 카드로 갈아탔습니다.
Gemma4-26B-A4B(Q4_K_M GGUF) 구동시 컨텍스트 32k 기준으로 기존의 하이브리드 조합에선
12t/s정도의 속도였었는데 단독 5060ti사용시는 약 30t/s정도의 속도를 보여주고 있습니다. 감동.
전체 레이어의 1/3정도를 메인메모리에 올린 상황에서 이정도면 참고 쓸만한 속도라고 봅니다.
(전체 레이어가 다 VRAM에 올라갈려면 24GB가 있는 3090 같은 90시리즈여야 할거 같아요.)
약간 웃긴건 멀티모달 테스트를 위해 사이퍼펑크 2077의 표지 일부분을 크롭해서 찾아보라 햇더니,
Gemma4-26B-A4B는 한번에 게임이름을 맞췄는데, Gemma4-E4B는 그걸 못 맞추고 에이펙스 레전드일 가능성이 높다고 대답하네요. 같은 그림을 보여 줬는데 다르게 답합니다. 역시 파라미터가 작은건 어쩔수 없나 봅니다. Gemma4-E4B의 파라미터는 약 7.5B라고 하고요.
참고로 로컬 LLM 을 쓸때 멀티 모달이 지원되면 상당히 편하더라구요. 그냥 딴일 하다 궁금한게 생기면 그부분 캡쳐해서 바로 물어보면 되니 일일이 타이핑해서 설명하지 않아도 좋고, 뭔가 원하는 포맷으로 출력해달라고 할때 말하거나 샘플을 만들 필요없이 그림판에 대충 그려서 이렇게 출력하게 해줘. 해도 되고요.
