https://huggingface.co/jcbtc/Qwen3.8-27B-IU4-Kairic-Edge
INT4가속이 DGX Spark만 될줄 알았는데,
RDNA3.5에도 IU4라는 이름으로 있긴하군요.
대충 FP16 / FP8의 2배 성능인데 (그래봐야 Spark NV4의 1/3)
이게 쓰기가 상당히 까다롭나봅니다.
그래서 모델도 옆에 붙이는 것들이 몇개있고 llamacpp도 포크 수준이 아니라 뭐가 복잡합니다
빌드는 다했는데, lemonade같은 프론트엔드랑 같이 쓸수 없는 구조라 그냥 접었습니다만
다 필요 없고 text only LLM Qwen 3.8 27B 하나만 쓰는 환경이면 괜찮을거 같긴하네요
47 t/s 나온답니다 ㄷ ㄷ ㄷ
만들어놔도 제대로 지원도 안되고 복잡하고 역시 ROCm....
