GPU를 사용할 일이 있어서 오늘은 하루 종일 local llm을 사용하지 못했습니다.
매일 MTP지원하는 정식버전 나왔는지 화인을 하루에도 몇 번씩 하는지 모르겠습니다.
그래서 큰 맘먹고 llama.cpp MTP 지원하는 베타버전을 설치했습니다.
설치는 잘 모르니 hermes agent에게 시켰습니다. 두뇌는 qwen3.6-plus로 하고(개인적으로 제일 만족스러운 모델입니다. 똘똘하고 나름 그렇게 막 비싸지는 않고..) 진행했는데 한 1달러 정도 사용한 것 같습니다.
막히는 부분이 있어서 AI당에서 정보를 얻어서 깃헙 주소도 알려주고 GGUF있는 곳도 알려주니 알아서 잘 하네요.
GPU쓸일이 있으면 Local llm정지시켜야 하는데 그때 쓸 스킬도 만들어 달라고 하니 뚝딱 만들어줍니다.
프롬프트로 "llama 서버 꺼줘"라고 하면 끄고 켜줘 라고 하면 켠다고 하네요.
아직 GPU를 계속 써야해서 MTP를 경험해 보진 못했지만 AI당에 자랑하고 싶어서 올립니다.
성능이 어떨지 너무 궁금합니다... 검열해제 모델을 받을까도 했는데 겁나서 못했습니다..ㅎㅎ
시스템은 라이젠 5700x / DDR4 96GB / RTX3090FE 사용중입니다.
