Ini adalah kode Laravel yang tidak terlalu kecil, dan saya menganalisis semuanya untuk menemukan dan mengatasi kesalahannya.
Meskipun ini adalah seri CMS, implementasinya agak rumit, jadi saya sengaja mencoba dengan kesalahan untuk mengujinya, dan saya berhasil mengatasinya. Bahkan saat menggunakan cursor, dia tidak bisa fokus dan saya harus kembali beberapa kali dan tersesat.
Saat ini saya menjalankan sistem 5600x, RTX 3090 24G, RAM 80GB di Ubuntu. Saya beralih dari vllm ke llama, dan sekarang berjalan dengan sempurna dengan ctx 128k. Kecepatannya sangat cepat. Saya sangat terkejut.
Bagaimanapun, saya sangat terkejut dan kagum saat ini.
Sebagai referensi, saya akan berbagi pengaturan operasi yang saya gunakan.
/usr/local/bin/llama-server
-m /home/models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf
--mmproj /home/models/unsloth/Qwen3.6-35B-A3B-GGUF/mmproj-F16.gguf
--alias Qwen3.6-35B-A3B
--host 0.0.0.0
--port 8000
--temp 0.6
--top-p 0.95
--top-k 20
--min-p 0.00
--kv-unified
--cache-type-k q4_0
--cache-type-v q4_0
--flash-attn on
--fit on
--ctx-size 131072
--api-key sk-.......... (api key sesuai keinginan pengguna)
-ngl 99
Selesai.
Kecepatan token yang keluar gila-gilaan. Wow, benar-benar menakjubkan.
