딥식이 V4 0731 언슬로스 Q2KL 로 돌렸습니다
IQ3XXS까지 올라가지만, 넘 빡빡한것도 그렇고 속도도 좀 그렇고,
여튼 ROCm으로 돌리면 프리필 100초반 계속 유지하는거 같고, 토큰은 초당 12-13 정도 유지합니다
ds4로 돌리면 150-130 프리필에 토큰은 15-16정더
ds4 로 왔다갔다하기 귀찮아서 일단 llama로 돌려놨습니다
사진은 링크에 프롬프트 실행해본 결과 입니다
vulkan이랑은 뭐가 좀 안맞는게 있어서 수정이 좀 필요 할거 같고, strix halo kv캐쉬 수정된버전으로 하면 전반적으로 30%정도 오르는데 llama에서 아직 머지를 안해주네요 ㅜㅡㅠ
▶ 원문 출처: https://sunsetcompare.web.app/
