저는 AI 를 무료로 사용하는 것에 관심이 있는데, 최근 codex 무료 사용량도 줄고
매일 20분 가용하면 떨어지는 관대한 gemini cli 도 아쉬운 차에
Qwen3.6 35B-A3B 이라는 쓸만한 로컬 모델을 발견하고, Ollama api를 사용하여 로드하고, qwen cli 를 설치하여 방금 막 운영에 성공하였습니다.
툴 사용법이 익숙한지 파일 읽고 판단내리고 작성하는 데 큰 무리가 없어 보이네요.
이제 맘편하게 부려먹을 수 있는 AI 종놈 하나 확보한 듯 합니다. 자세한건 좀 써봐야 알 수 있을 것 같아요.
그리고 성능에 대한 테스트 지표입니다.
장비는 AMD Ryzen 5600, RAM 64G, RTX 3090 1대 환경에서 Ollama API 로 제목의 모델을 사용하고 있습니다.
요약하면 초당 약 17토큰 정도 성능이 나옵니다.
아래는 결과.
측정 방법은 # ollama run qwen3.6:35b-a3b --verbose 로 실행해서 테스트 프롬프트를 날리고
total duration: 6m22.707600455s
load duration: 172.211636ms
prompt eval count: 173 token(s)
prompt eval duration: 459.077036ms
prompt eval rate: 376.84 tokens/s
eval count: 6343 token(s)
eval duration: 6m18.318385948s
eval rate: 16.77 tokens/s
와 같은 식으로 얻어냈습니다.
그외 정보.
# ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3.6:35b-a3b {ID값} 31 GB 23%/77% CPU/GPU 131072 Forever
이만 줄입니다.
