qwen3.6-35b 올려서 쓰는데 생각외로 빠르군요???
vllm에 올려서 사용중인데, mcp로 searxng연결해서 웹서치도 가능하게 했고
저희 내부팀에서 개발한 mcp연결해서 개발서버 점검 및 개발 클러스터 제어도 잘됩니다...?!
RTX6000pro보다는 느리지만 이정도면
개인 머신으로 쓸만하다는 생각이 듭니다.
minimax-m3를 올려보고 싶었는데 메모리가 한참 부족하다고 해서 아쉽게도 못올려봤네요...
나중에 돈 벌면 한대 더 들여서 올려봐야겠습니다.
이제 제 개인비서처럼 마음껏 부려먹을 수 있어서 기대가 됩니다 ㅎㅎ