Saya sedang menggunakan PC utama dengan RTX 5080 yang terpasang dan Allyx dengan 9070xt sebagai eGPU masing-masing secara terpisah untuk LLM lokal, dan tiba-tiba saya berpikir "Jika saya menggunakan keduanya bersama-sama, bukankah memorinya akan berlipat ganda!!"
Saya langsung membuka Claude untuk menanyakan apakah hal itu mungkin dilakukan
Tanpa melakukan pencarian web, langsung menjawab "Itu tidak mungkin"
Karena baru-baru ini saya kesulitan mempercayai jawaban Claude, saya bertanya "Coba periksa", dan dia melakukan pencarian
Tampaknya ada beberapa kasus sukses, tetapi katanya kombinasi CUDA + ROCm itu sulit
Karena saya adalah orang yang tidak percaya sampai mencoba sendiri, saya melakukan berbagai pengecekan dan menemukan bahwa saat membangun llama.cpp dari sumber, jika Anda menambahkan kartu grafis ROCm, struktur memungkinkan untuk membangun secara bersamaan
Karena AMD tidak mendukung lingkungan WSL dengan baik, saya harus memasang dan membangun di Windows, dan karena lingkungan yang tidak familiar, saya sangat kesulitan
Ketika pesan kesalahan muncul di tengah jalan, saya bertanya kepada Claude dan ChatGPT, dan meskipun Claude memberikan jawaban, karena dia terus mencoba membuat saya menyerah, saya menjadi semakin bersemangat
Saya berhasil menampilkan dua kartu grafis secara bersamaan, tetapi kecepatannya tidak lebih baik dari 9070xt sendiri (80toks)!
Terkejut dan bertanya-tanya apa masalahnya, saya membuka lmstudio, dan ketika saya mengubah dari runtime ROCm menjadi runtime Vulkan, sistem mengenali 5080 + 9070xt dan berfungsi dengan baik. Saya bertanya-tanya apa artinya dari semua pekerjaan kasar yang saya lakukan, dan berpikir apakah saya harus menggunakan LMStudio
Namun, dengan semangat untuk mencoba semua yang mungkin dilakukan, saya membangun ulang llama dengan Vulkan
Setelah menyetel konfigurasi llama-server menjadi CUDA0,Vulkan0 dan menguji lagi, meskipun tidak sebaik 5080 saja, saya mendapatkan kinerja menengah antara 9070xt dan 5080 (sekitar 100~110toks, Qwen3.6-35B-Q5,ctx 130k)
Sekarang, dengan mencoba mengencangkan pengaturan, saya menambahkan opsi turboquant dan menguji dengan curl, tetapi nilai sampah keluar dengan deras.....
Ketika saya melihat apa masalahnya, tampaknya turboquant memiliki beberapa masalah di Vulkan, jadi saya mengubahnya kembali menjadi q4_0 dan masalah tersebut teratasi
Saya telah mencapai tujuan terbesar saya, yaitu menggunakan versi kuantisasi yang lebih tinggi untuk model yang sebelumnya menggunakan IQ3_S
Saya awalnya memulai konstruksi LLM Lokal dengan Mac mini, tetapi selain konsumsi listrik yang rendah, apa yang dapat saya lakukan dengan 24GB sangat terbatas, kecepatan token tidak bagus dan karena saya menggunakannya sebagai perangkat utama, saya tidak dapat mengalokasikan memori hanya untuk llm lokal...
Masalah terbesar adalah biaya listrik... Dengan 9950x3d + 9070xt + 5080, bukankah itu setara dengan sekitar biaya langganan Claude Max 100? Saya berpikir demikian, tetapi apa yang bisa saya lakukan haha, saya bisa menganggapnya sebagai pengalaman yang menyenangkan
Sebagai pembelajaran tambahan dari proyek konstruksi ini, saya menyadari bahwa AI memiliki kecenderungan kuat untuk menginduksi pengguna menyerah ketika AI berpikir bahwa sesuatu tidak mungkin dilakukan atau sulit
Terutama ChatGPT yang sangat berlebihan, memberikan penjelasan panjang lebar dan menarik kesimpulan sendiri, dan terutama di akhir dengan "Jika Anda mau, saya juga bisa memberitahu Anda ~~", membuat saya merasa tidak nyaman
Claude juga memiliki kecenderungan seperti itu, tetapi tidak separah itu
Bagaimanapun, saya merasa puas karena berhasil melakukan apa yang AI katakan tidak mungkin dilakukan
