자료 없이 썰로 푸는 그냥 초 간단 아주 가벼운 테스트 입니다 ^^
amd 5600 cpu에 5060ti 16vram+48ram 사용 중입니다 ^^
최근에 qwen3.8 27b 구해서 돌려보고 있는데 이 녀석이 너무 무거워 버벅임이 심하네요 그래서
실사용은 힘들듯해서 그냥 저냥 테스트만 잠시했고
그 후에는 평이 좋다는 Bonsai-2-27B-PQ2_0.gguf llama-prism에 올려서 놀고 있었습니다.
며칠전 qwen3.8 flash IQ2_xs 모델을 알고서 오전에 테스트 해봤네요...
당연히 이녀석이 qwen3.8 27b 보다는 쾌적해서 며칠 이 녀석도 며칠 가지고 놀았습니다.
더 한 두 윗급의 모델 사이즈로 테스트 했더라면 어떻게 되었을지 모르지만
일단은 저의 시스템이 버틸 수 있는 정도인 IQ2_xs 나 PQ2_0 정도로만 테스트 했습니다 ^^
qwen3.8 flash iq2에서 대화 모드는 약 70-80토큰 정도로 빠르진 않지만 아주 답답한 수준은 아니고
오늘 과학 잡지 사인언스 pdf판 일부(전공분야)를 번역 시켜 봤네요 (qwen3.8 flash iq2 추론 모드 off 시키고)
Bonsai-2-27B와 비교해서 qwen3.8 flash가 번역 속도 살짝 빠른듯하고 품질도 약간 더 좋은 느낌이네요....
저는 이미지 분석이 필요해서 mmproj 달고서 아슬아슬하게 잘 실행되는 수준이라 일단은 단독 사용만
해야 할듯하네요 ㅎ
저의 기준 셋 중에서는 제일 나은듯요ㅎ
