Saya harus menggunakan GPU hari ini, jadi saya tidak bisa menggunakan llm lokal sepanjang hari.
Saya tidak tahu berapa kali sehari saya memeriksa apakah versi resmi yang mendukung MTP sudah dirilis.
Jadi, saya memutuskan untuk menginstal versi beta llama.cpp yang mendukung MTP.
Karena saya tidak yakin bagaimana cara menginstalnya, saya meminta hermes agent untuk melakukannya. Saya menggunakan qwen3.6-plus sebagai otak (itu model yang paling memuaskan bagi saya. Cerdas dan tidak terlalu mahal...) dan prosesnya memakan sekitar satu dolar.
Ada bagian yang sulit, jadi saya mendapatkan informasi dari AI당, mereka juga memberi tahu saya alamat GitHub dan tempat GGUF berada, jadi saya bisa mengatasinya sendiri.
Ketika saya harus menggunakan GPU, saya harus menghentikan llm lokal, jadi saya meminta mereka untuk membuat keterampilan yang dapat digunakan pada saat itu. Mereka membuatnya dengan cepat.
Jika saya mengatakan "Matikan server llama" dalam prompt, maka server akan dimatikan, dan jika saya mengatakan "Hidupkan server llama", maka server akan dihidupkan.
Saya masih harus menggunakan GPU terus menerus, jadi saya belum bisa mencoba MTP. Tapi saya ingin memamerkannya di AI당.
Saya sangat penasaran dengan performanya... Saya hampir ingin mendapatkan model yang disensor, tapi saya takut...ㅎㅎ
Sistem yang saya gunakan adalah Ryzen 5700x / DDR4 96GB / RTX3090FE.
