https://arca.live/b/alpaca/184157616
여기 게시판에서 소개하신 걸 보니깐, Strata라는 엔진으로 Qwen 3.8 NF 모델을 최적화 구동할 수 있다는 걸 보고, 내용 확인해 보니 이건 뭐 최적화 끝판왕에 가깝더라고요.
설치가 적합한 조건은...
VRAM 12GB 이상, 아마 NVIDIA 그래픽 카드
시스템 RAM은 64GB 이상
이 조건에서 설치를 하면 출력속도가 40~60t/s 수준으로 나온다고 되어 있어요.
물론 양자화 Q2, Q3 모델이긴 하지만
VRAM 12GB 그래픽카드에서 이게 가능하다고????
하는 의심이 들어서 당장 설치해 보니 진짜였습니다.
물론 컨텍스트 사이즈 늘리면 그만큼 좀 속도도 줄어들고 하긴 하지만
암튼 기존의 다른 최적화된 것들 한 네뎃가지 정도 이리저리 해 봤었는데
속도 면에서 완전히 발군인데다가
VRAM 12GB에서 Qwen 3.8 NF 모델이 설치가 된다는 것 자체도 말도 안된다 싶더라고요.
암튼 그래서 당장 회사 컴퓨터에 셋팅해 놓았던 기존의 Bonsai 2는 날려버리고 이걸로 바꿨습니다.
회사 컴퓨터는 VRAM 16GB, 시스템 RAM 128GB 라서 이걸 적용하기에 최적이었던 것 같아요.
ctx 128k 설정해 놓고 운용해 보니 40~50t/s 나옵니다.
암튼 개발자들이 Qwen3.8NF 모델 가지고 온갖 짓들을 다 벌리는 것 같은데
결과물들도 아주 아주 좋네요.
