opencode에서 갑자기 kimi요? ㅋㅋㅋ
open-webui에서는 qwen으로 얘기하긴하는데...
{"object":"list","data":[{"id":"qwen3.8-27b","object":"model","created":1787119523,"owned_by":"vllm","root":"Qwen/Qwen3.8-27B","parent":null,"max_model_len":524288,"permission":[{"id":"modelperm-8f041d7ea3598863","object":"model_permission","created":1787119523,"allow_create_engine":false,"allow_sampling":true,"allow_logprobs":true,"allow_search_indices":false,"allow_view":true,"allow_fine_tuning":false,"organization":"*","group":null,"is_blocking":false}]}]}
RTX PRO 6000에서 양자화 안된 원본모델로 구동중인데
생각보다 토큰생성속도가 빠르진 않네요. avg gen throughput 30토큰 내외.
MTP 적용해봐야겠습니다.
