
한때 llamacpp vulkan으로 Q2, Q3모델들 돌리며 열일 했는데, 요즘은 그냥 애들 스팀머신으로 사용 중입니다
전에 사용하던게 좀 집이랑 안어울려서 새로 뽑았는데, 요게 가장 구조도 간단하고 조립도 쉬운거 같네요
bazzite 에 스팀-llamacpp 병행 해보려는데 역시 bazzite 자체가 메모리를 좀 먹다보니 모델 사이즈가 확 줄어드는군요
bonsai같은건 빌드해도 좀 제데로 안도는거 같고 Gemma4 12B QAT가 딱인거 같습니다