물론 저보다 더 잘 활용하실분들도 계시겠지만
일단 DeepSeek V4 flash 0731 모델로 정착? 했습니다
vllm와 Dspark 를 통해 평균 75~80 tok/s 정도 속도가 나옵니다.
단순한 질답 보다는 깊게 파고들어야하는 문제가 많다보니 thinking은 max 로 두고있습니다.
거기다 텔레그램 봇을 연동해놓으니 개인용 서비스로는 충분한거 같습니다.
여기에 중간에 보이는 버튼으로 LLM mode (vllm, open-webui)와 video mode (comfyui minimax-h3) 간의 전환이 가능하도록 해 뒀습니다.
사실 원격 접속하기 귀찮아서 웹페이지 버튼으로 상태 모니터링, 서비스 전환까지 가능하도록 만든게
스크린샷의 서비스 페이지입니다.. (라고 하지만 이것도 llm이 만들어주고 따라만 했습니다)
minimax h3 의 경우 두대의 dgx spark가 필요없어서 video모드일때는 qwen 3.8 27b 모델을 서비스 하도록 설정할까 라는 고민만 하고있습니다. (qwen 3.8 27b 모델의 파인튜닝을 생각중인지라..)
dgx spark가 매우 가성비?가 좋은 기기임은 확실한데 그렇다고 최근 발표되는 오픈 웨이트 모델을보면
미묘하다고 하지 않을수가 없네요.
그래도 두대의 dgx spark에서는 이번 deepseek v4 flash 0731 모델은 맞춤? 킬러 모델이 아닐까 합니다.
상용서비스에 올리지 못하는 데이터들을 로컬로 처리를 시도(알아서 해결까진 deepseek이는 무리더군요) 해 볼수 있다는게 큰 장점이고, 시간 지나면 좀 더 괜찮은 오픈웨이트 모델들이 또 나와줄꺼라 믿으며 간단 사용기 남겨봅니다.
