그렇게 작지는 않은 Laravel 코드인데 이걸 다 분석해서 오류를 찾아서 해결하네요.
CMS 게열이긴 한데 조금 복잡하게 구현이 되어있어서 시험삼아 일부러 오류 있는 걸 시켜봤는데 그걸 해결을 했어요. cursor 로 할 때도 얘가 정신 못차리고 몇 번을 되돌아오고 헤맸었는데 말이죠.
지금 5600x, RTX 3090 24G, RAM 80GB 시스템에 우분투로 구동중인데 vllm 을 쓰다가 llama 로 바꿔서 지금은 ctx도 128k 로 완벽하게 잘 돌아가고 있어요. 속도도 엄청나게 빠릅니다. 깜짝 놀랐어요.
암튼 지금 좀 놀랍고 감탄하고 있습니다.
참고로 제가 쓰는 구동 설정 공유하겠습니다.
/usr/local/bin/llama-server
-m /home/models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf
--mmproj /home/models/unsloth/Qwen3.6-35B-A3B-GGUF/mmproj-F16.gguf
--alias Qwen3.6-35B-A3B
--host 0.0.0.0
--port 8000
--temp 0.6
--top-p 0.95
--top-k 20
--min-p 0.00
--kv-unified
--cache-type-k q4_0
--cache-type-v q4_0
--flash-attn on
--fit on
--ctx-size 131072
--api-key sk-.......... (사용자가 원하는 api key)
-ngl 99
이상입니다.
토큰 나오는 속도 미쳤네요 진짜. 와 감탄스럽습니다.
