This post has not been translated to English yet. Showing the original text.
Strix halo, DGX Spark 같은 로컬 LLM 돌리기 좋은 컴퓨터를 위한 엔진들을 개인 개발자들이 여기저기서 개발해 대는 통에 완전 난리인 것 같네요.
저는 Strix halo 시스템에 당연히 Qwen3.8FN을 현재까지 나온 것 중에 가장 빠르다는 kyojin 엔진으로 한동안 사용중인데 매우 만족하고 있습니다.
그런데 오늘은 어떤 개인 개발자가 새로 hipfire라는걸 만들었대는게 래딧에서 보이더라고요.
홈페이지는 https://hipfire.dev
프리필 속도가 2000t/s 이상 수준까지 나오는 놈이랍니다. (컨텍스트 64k일때)
디코딩 속도는 크게 향상은 안되기는 하지만... 그래도 kyojin 보다는 약간 더 빨라졌고요. 60t/s급.
그리고 qwen3.8 27b 모델도 지원하는데 이거 쓰면 디코딩 속도는 130t/s 이상 나온다고 되어 있네요.
원리는 제가 정확히 이해한 것인지는 모르겠는데
Strix halo에 내장된 NPU는 사실 아무도 안 쓰는 거였는데
그것까지 탈탈 털어 깨워서 동원시키는 컨셉인가 봅니다.
이거 시도해 봐야 하나 ...
요즘은 일이 바쁘니깐 좀 더 기다렸다가 한 번 시도해 봐야겠네요.
하나하나 다 따라가다간 정말 가랑이가 찢어지겠네요.
암튼 미쳐돌아가는 로컬LLM 엔진 개발 붐이 계속되기를 바랍니다.
▶ 원문 출처: https://hipfire.dev
