다뫙 회원님께서 알려주신 amd ai max용 서빙툴 kyojin을 사용해서 qwen3.8-flash-next를 사용해 봤슴미다
기존에는 스파크로 nvfp4를 dgpp로 사용했었는데 지금은 로컬모델 제작에 당분간 한달 가까이 스파크를 사용해야해서 혹시나 하고 395로 세팅해 봤슴미다
이전에는 스파크 대비 굼뜬 움직임이었는데 이 서빙툴은 빠릿빠릿 함미다
양자화가 달라서 그런지 토큰도 잘 나오고 좋슴미다
편차가 좀 있긴 한대 편균으로 보면 50정도 나오는거 같슴미다
tool-eval-bench 사용해서 벤치를 돌려봤슴미다
실패도 있지만 나름 나쁘지 않은 거 같슴미다
이정도면 밤샘 작업 시키면 뭐라도 나올거 같슴미다
