제가 관리하는 사내 로컬 LLM서빙 웍스입니다.
RTX PRO 6000 * 2개...
Qwen3.6-35b-A3b (MTP적용) - 200~300TPS
Gemma4-26b-A4b - 40TPS
정도 나옵니다.
vLLM이랑 SGlang으로 이런저런 셋팅하는데 Pro 6000 설정하기 꽤나 까다로웠습니다.
그래도 어찌어찌 MTP적용하니 300TPS가 넘게 나올정도로 속도하난 빠릅니다 ㅎㅎ
기존에는 A6000이랑 A6000ada가지고 TP=2나 4로 대용량 모델 올려본다고 뽀짝뽀작하다
단일 96Gb쓰니 뭔가 여유로워서 다른곳으로도 눈을 돌려보고 있습니다.
OpenWebUI에 이런저런 MCP들 올려서 셋업해서 사용하고있고,
Hermes Agent + 슬랙 봇으로 4개 돌아가고있고..
뉴스 크롤링해서 슬랙채널에 업데이트도하고...
또 뭘해보면 좋을까요? ㅎㅎ
추천받습니다?
