안녕하세요.
이것저것 찾아보느라 눈팅만 하다가 도움 받은 것을 일부 갚을 겸 사례 공유차원에서 작성합니다.
평소 Claude Code 를 이용해서 개발 업무를 보고 있습니다. 사내 ERP 에 AI Chat 기능을 도입하기 위해 여러가지를 검토했고 100-300가지 문항으로 테스트했을 때 상용 API 가 로컬 API 보다 성능이 좋지만 한정된 사용방식 안에서 격차가 그리 크지는 않아서 Qwen 사용으로 방향을 잡았습니다. 점수 상 상용 API의 95% 정도는 됐습니다. 테스트 과정에서는 AWS 를 이용해서 RTX 6000 PRO Ada 48GB 와 흡사한 사양을 이용했습니다.
32GB 안에 넣기 힘든 모델을 쓸 수 있다는 점 때문에 초기 계획은 RTX 6000 PRO Ada 48GB 장비였고 카드의 가격 때문에 예산으로 1400-1600만원을 생각했습니다. 이후 ROCm 이 생각나서 찾아보니 R9700 32GB 로 로컬 LLM 사용이 가능해서 2장, 4장의 사례까지 수집했습니다. 4장의 경우 예상 가격이 2장 x 2대보다 비싸서 필요하면 차라리 1대를 더 마련하는 걸로 하고 2장으로 계산해본 결과 할만 했습니다.
목표는 최대 동시 20인 사용인데 p95(하위 95%)에서도 적당히 쓸만한 기대 속도를 추정할 수 있어 이에 맞춰서 견적을 내고 1000만원 정도의 가격으로 구매했습니다. 구매 전 계산상 RTX 6000 PRO Ada 48GB 대비 90% 정도의 성능이었기에 가성비가 충분하다고 생각했습니다. vLLM 을 사용해서 Qwen3.6 MoE 모델로 구성했고 20명이 동시에 사용한다 해도 1명 대비 1/20 속도가 아니라 기억상 1/4-1/5 정도로 계산이 되었습니다.
첨부한 영상은 단독 사용 기준이고 3가지 질문을 연속으로 했습니다.
기능 소개
일부 데이터의 파이 차트 그리기
같은 데이터의 바 차트 그리기
특정 단어들이 나오기 때문에 화면 자체는 모자이크+블러 처리했으니 생성 속도만 봐주세요.
Strata 의 경우 시스템 램이 더 필요한데 64GB로 구성했더니 당장 쓸 수가 없어서 램 증설 후 테스트를 계획중입니다. 이미지/영상 편집 기능도 필요한데 이건 RTX 5090 장비로 계획중입니다.
결론: LLM 만 쓸 거면 R9700 x 2 가성비 좋습니다.
