Beelink사 제품으로 AMD AIMAX+ 395 (Strix Halo) 128GB 컴퓨터 대상으로,
요즘 핫 하다는 Antirez의 DrawfStar4를 셋팅해 보았습니다.
https://github.com/antirez/ds4
간단히 말해서 Deepseek 4 Flash 오픈웨이트 모델을 최대한 쥐어짜 내서
2비트까지 양자화해서 80GB정도 되는 사이즈의 전용 GGUF 모델 파일로 만들고,
이것 그냥 llama.cpp로 돌릴 수는 없으니깐 오로지 이 모델 하나만을 위한 DF4 서버까지 만들어서 내 놓은 건데요.
기본적으로 애플 실리콘 타겟이 대상이지만 NVIDIA나 AMD ROCm 까지 지원이 되게 해 놨더라고요.
Antirez라는 개발자가 원체 유명한 초고수라서 가능한가 봅니다. (Redis를 맨든 분이라더군요)
결론적으로 이걸 올리는데 성공하면....
속도는 뭐 아쉽겠지만, 지능 자체는 이제까지 128GB급 컴퓨터에서 돌릴 수 있는 로컬모델 중에서는 현존 세계 최고가 되는거죠. 실제로 Opencode Go 구독해서 Deepseek V4 Flash를 사용해 본 결과 매우 만족스럽기도 했고요.
그래서 어제 오늘 이틀동안 삽질을 해서 성공을 했습니다.
저장소 받아다가 컴파일 하고 뭐 이런거는 Gemini가 알려주는대로만 해도 큰 어려움없이 했는데...
저의 경우에는, 시스템에 VRAM 최대치를 96GB로 좀 억제를 시켜두다 보니, 컨텍스트 사이즈는 결국 12kB로 낙찰이 되었습니다. 좀 부족하긴 하네요. 그 이상으로 하니깐 메모리 부족...
뭐 VRAM 공유값을 96GB보다 더 키우면 좀 더 컨텍스트를 얻을 수는 있을 것 같습니다.
토큰 뱉아내는 속도는 20t/s 미만이네요. 대략 15~19t/s 정도 나옵니다.
마치 컴퓨터 화면 맞은 편에 있는 사람이 타이핑 치는 걸 제가 보고 있는 느낌이고요.
아마 애플 컴퓨터로 하시면 이보다 훨씬 더 빨라질 것 같습니다.
그리고 최초 모델을 메모리로 올릴 때는 한 18초 정도 소요됩니다.
신기한 건 제공되는 모델 파일은 하나인데, 실제로는 Deepseek V4 Flash 및 Deepseek V4 Pro 이렇게 제공이 됩니다. Pro는 모델 자체는 동일하지만 "Thinking"을 더 많이 시키도록 튜닝을 해 놨나봐요. 답변도 더 풍부하게 나오네요.
지능은....
이제까지 로컬에서 써 봤던 그 어떤 모델과 비교해도 절대적으로 우월합니다.
파이썬 코딩할 때, 유료모델 토큰이 다 소모되어 손가락만 빨아야 할 때, 급한대로 쓸 수 있을 수준이 되는 것 같아요.
2비트 양자화로 극단적으로 했는데도 한글 깨지거나 하는게 거의 잘 안 보입니다.
Antirez 라는 분은 현재 여기에 GLM 5.2 모델을 올리는 개발 중에 있다고 하더군요.
물론 GLM5.2는 아무리 다이어트를 해도 128GB 시스템에는 올릴 수 없을거고 아마 512GB급 VRAM 공유메모리 제공되는 시스템을 가진 분들을 위한 거겠죠.
그리고, 이 모델을 같은 컴퓨터에서 함께 돌리고 있는 Open-webui 및 Hermes-agent에 붙이고 있는 중인데,
Open-webui에 올리는 것은 성공했네요.
심지어 Systemctl 서비스에 간단한 파이썬 프록시 코드를 넣어서, DF4 모델을 쓰다가, 같은 컴퓨터의 ComfyUI나 Ollama 모델을 올릴 때 메모리 부족 나지 않도록 1분 정도 지나서 자동으로 모델 내리는 시퀀스를 넣었습니다.
Hermes에 붙이는 건 아직도 성공을 못했습니다. ㅠㅠ
"속도는 포기하고 일단 되게만 하자"에 충실하게 해 보았네요.
아무튼 SOTA급이 이정도 개인용 컴퓨터에서 구현이 된다... 가슴이 웅장해 지네요.
Deepseek를 아무리 낮춰 잡아도 솔직히 현역인 Gemini 3.5 Flash 보다 상당부분 나은 거 같아요.
