지금 qwen3.8 fn 서빙이 메인인데 램이 좀 남아 있슴미다
그래서 뭘 좀 해볼까??? 하다가 제가 새로 서빙툴을 깍을 수도 뭘 만들 수도 없는 일반인이고 그냥 이것저것 생각해 보다가 유투브에 요즘 노트북 새로나온거 리뷰 하는것에 코파일럿이 나오는 검미다
npu가 50톱스 정도 되서 코파일럿을 돌릴 수 있다고 하는데
어?!?!?!?!!!?!?
395도 npu가 50톱스 달려 있는데????
그래서 에이전트에게 시켜 봤슴미다
qwen3.8fn에게 넌 amd ai max 395에서 서빙중인데 gpu는 모델 서빙용이고 npu가 50톱스 짜리 달려 있는데 이걸 활용하고 싶다 가능하냐 하니
대충 계산
짜란~
모델은 제가 정해 주고 amd의 sdk를 이용해서 리눅스용으로 잘 비벼서 만들어 달라고 했슴미다
저 모델이 최신모델인데 문제는 한글지원은 하지만 성능은 처참함미다
그래서 영어 위주로 리서치용으로 등록하라고 했슴미다
그런데 문제는 cpu gpu npu 램을 공유해서 최대 대역폭 때문에 일을 시키면 서로가 서로를 붙잡고 병목이 생길검미다
대신 llm은 멀티작업이 힘든데 좀 느리더라도 gpu에 올린 모델과 npu에 올린모델 동시작업이 가능한거 이정도 인거 같슴미다
1.7b인데 다른 모델 4b랑 비빈다고 함미다
