스팀덱 oled 1개 가지고 있는데, 알고보니 16gb 통합메모리 시스템이네요.
잘 구워 삶아서 Ornith-1.0-9B 모델을 구동 해보니 잘 되네요.
모델 4bit 양자화, kvcache turboquant 4bit 양자화 , 64k ctx 적용해서 써보니 12~14 tps 정도 나오네요.
그런데 역시나 세차장 벤치는 실패네요!! ㅎㅎ
현재는 Hermes agent 를 가족들과 함께 일상용 비서로 사용하고 있기 때문에 구독제 api 를 이용하여 deepseek v4 flash 를 연결하여 쓰고 있습니다.
스팀덱을 24시간 서버로 쓰는데 역시 api 호출이다 보니 열이 안나서 안정적이네요.
