
이건 담당 에이전트가 설명을 너무 힘줘서 한 것이고 조금 단순하게 하자면
제가 서빙중인 컴퓨터가 amd ai max 395 임미다
여기에 외장독으로 rtx pro 5000 72g를 연결해서 basalt 서빙중임미다
qwen3.8-flash-next-nvfp4 서빙중인데 속도가 잘 나옴미다
대충 실사용시 tps는 160 ~ 230 사이 프리필은 4000 ~ 6400 사이 나옴미다 혼자 사용시 이정도 나왔는데 조금 욕심이 듬미다
이러면 클로드 코덱스 제미나이 이런것 처럼 내 에이전트에게 이미지 생성도 맏기면 되지 않을까??
그래서 클로드에게 상담하고 basalt 특성이 빈공간을 다 사용하는거니 이미지 모델을 먼저 올리고 그 다음 basalt를 올리면 되지 않을까?? 하니 실제로 해 보고 성공 함미다
qwen-image-2.1-nvfp4 버전을 5000에 올리고 이미지 생성시 빈 공간이 필요해서 7기가 정도 비워놨슴미다 나머지는 comfyui와 인코딩 디코딩은 ai max 395의 램에 올리고 8060s에서 돌게 했슴미다 이걸 5000에 올리면 20g 정도 더 필요해서 basalt에 필요한 램 용량을 너무 많이 사용할거 같아서 과감하게 빼고 이미지모델과 qwen3.8-flash 모델 이 두개만 5000의 vram에 올렸슴미다

웜업 없이 총 생산에 6.7초 걸렸슴미다 웜업하면 4초대 나오는데 크기를 더 키우면 더 오래 걸릴거 같슴미다
gpu가 6000같은 96g라면 더 여유있게 음악모델도 넣고 싶었는데 72g라서 좀 아쉽네요

