dual 3090에 128gb ram 사용중입니다.
그전에는 dense 모델을 주로 사용했는데, 최근에 qwen flash next(이하 퀜플넥)으로 바꾼 후에는 다른 것은 쓰지 않고 있습니다.
지금 주로 하는일이 논문 읽고 요약하고 정보 뽑아내는 것인데요.
정확한 정보를 찾고, 없으면 없다고 하고 있으면 올바로 기록하는 것입니다.
수많은 테스트를 했는데 재미있는 패턴이 보여서 소개드립니다.
(이러한 작업이 코딩과는 달라서 일반화 할 수는 없습니다.)
빠른 iq3_xxs를 사용하다가 아무리도 더 똘똘한 iq4가 낫지 않을까 해서 iq4로 갔습니다.
근데 4비트 양자화에서 오히려 결과가 더 좋지 않았습니다. 수십번 테스트 했는데 거의 일정하게 능력 저하가 관찰되었습니다.
클로드는 원인을 내부적인 연산에 의한 비트수 변경에 있다고 봤습니다.
즉 iq3까지는 strata 전용으로 설계 되어 있어서 압축된만큼의 모델의 능력이 다 나오는데
iq4는 strata전용이 아니라서 내부적으로 계산을 한 번 더하면서 거기서 미세한 파라미터 값의 변화가 있어서 그럴꺼다라고 합니다.
뭐, 제가 전문가는 아니지만 그럴 듯한 설명이라고 생각해서 현재는 iq3_s에 정착하고 있습니다.
즉 strata전용으로 나온 iq4가 나오기 전까지는 iq3를 사용하는게 더 좋을 수 있다는 것입니다.
그리고 추가로 재밌는 사실을 발견했는데 추론레벨에서 medium이 가장 결과가 일관적으로 안 좋았습니다. 가장 좋은 것은 물론 xhigh였지만 추론 없는 것도 거의 xhigh의 8-90%에 근접했습니다. 토큰 소모는 거의 5-9배 정도 더 소모가 되긴 하고 속도도 5배 이상 차이가 납니다.
퀜플넥에서 추론등급 조절하실 때 참고 하셨으면 합니다.
