이제 Strix Halo 128GB 기기 1대에서 GLM 5.3 Flash 와 Mimo-Flash가 돌아갑니다
그것도 Prefill 500/s 대에 TG 20-30/s 대로 사용가능한 수준으로 돌아갑니다 ㄷ ㄷ ㄷ
kyojin 이라는 전용 엔진으로 EXL3 포멧을 이용해서 둘을 양자화 시켰습니다.
놀라운게 Mimo 2.6 Flash는 FP8대비 퍼플렉시티 92%에 KDL 0.07
GLM 5.3 Flash는 90.1%에 KDL 0.151 입니다
사용해보니 GLM 5.3 Flash는 양자화 문제인지, kyojin의 엔진 문제인지 한글 특정 부분이 특수 문자로 나오는 버그가 있는데, 품질은 양호 합니다.
GLM 5.3 Flash가 이정도면 뭐 Mimo 2.6 Flash의 안정성은 훨씬 나을거고요
이게 되는군요…;
