밤샘 세팅 개조했슴미다

51

이건 담당 에이전트가 설명을 너무 힘줘서 한 것이고 조금 단순하게 하자면

제가 서빙중인 컴퓨터가 amd ai max 395 임미다

여기에 외장독으로 rtx pro 5000 72g를 연결해서 basalt 서빙중임미다

qwen3.8-flash-next-nvfp4 서빙중인데 속도가 잘 나옴미다

대충 실사용시 tps는 160 ~ 230 사이 프리필은 4000 ~ 6400 사이 나옴미다 혼자 사용시 이정도 나왔는데 조금 욕심이 듬미다

이러면 클로드 코덱스 제미나이 이런것 처럼 내 에이전트에게 이미지 생성도 맏기면 되지 않을까??

그래서 클로드에게 상담하고 basalt 특성이 빈공간을 다 사용하는거니 이미지 모델을 먼저 올리고 그 다음 basalt를 올리면 되지 않을까?? 하니 실제로 해 보고 성공 함미다

qwen-image-2.1-nvfp4 버전을 5000에 올리고 이미지 생성시 빈 공간이 필요해서 7기가 정도 비워놨슴미다 나머지는 comfyui와 인코딩 디코딩은 ai max 395의 램에 올리고 8060s에서 돌게 했슴미다 이걸 5000에 올리면 20g 정도 더 필요해서 basalt에 필요한 램 용량을 너무 많이 사용할거 같아서 과감하게 빼고 이미지모델과 qwen3.8-flash 모델 이 두개만 5000의 vram에 올렸슴미다

웜업 없이 총 생산에 6.7초 걸렸슴미다 웜업하면 4초대 나오는데 크기를 더 키우면 더 오래 걸릴거 같슴미다

gpu가 6000같은 96g라면 더 여유있게 음악모델도 넣고 싶었는데 72g라서 좀 아쉽네요

로그인한 회원만 댓글 등록이 가능합니다.

개발한당

KR | ID | EN
  • IDR
  • KOR
7.39 =0.00

2026.11.22 KEB 하나은행 고시회차 1008회

다가오는 한인 행사일정

  • 등록 된 일정이 없어요!