Strix halo, DGX Spark 같은 로컬 LLM 돌리기 좋은 컴퓨터를 위한 엔진들을 개인 개발자들이 여기저기서 개발해 대는 통에 완전 난리인 것 같네요.
저는 Strix halo 시스템에 당연히 Qwen3.8FN을 현재까지 나온 것 중에 가장 빠르다는 kyojin 엔진으로 한동안 사용중인데 매우 만족하고 있습니다.
그런데 오늘은 어떤 개인 개발자가 새로 hipfire라는걸 만들었대는게 래딧에서 보이더라고요.
홈페이지는 https://hipfire.dev
프리필 속도가 2000t/s 이상 수준까지 나오는 놈이랍니다. (컨텍스트 64k일때)
디코딩 속도는 크게 향상은 안되기는 하지만... 그래도 kyojin 보다는 약간 더 빨라졌고요. 60t/s급.
그리고 qwen3.8 27b 모델도 지원하는데 이거 쓰면 디코딩 속도는 130t/s 이상 나온다고 되어 있네요.
원리는 제가 정확히 이해한 것인지는 모르겠는데
Strix halo에 내장된 NPU는 사실 아무도 안 쓰는 거였는데
그것까지 탈탈 털어 깨워서 동원시키는 컨셉인가 봅니다.
이거 시도해 봐야 하나 ...
요즘은 일이 바쁘니깐 좀 더 기다렸다가 한 번 시도해 봐야겠네요.
하나하나 다 따라가다간 정말 가랑이가 찢어지겠네요.
암튼 미쳐돌아가는 로컬LLM 엔진 개발 붐이 계속되기를 바랍니다.
▶ 원문 출처: https://hipfire.dev
