Versi ROCm baru telah dirilis yang dapat menggunakan AMD AI Max 395 dengan lebih baik
Versi sebelumnya adalah ROCm utama untuk kartu grafis
Kali ini tampaknya bersiap untuk 495
Belum ada versi yang secara resmi mendukung ROCm dari vllm atau llama
Saya meminta agen saya untuk membangun versi untuk llama
Dengan cara ini saya memilih llama karena vllm katanya membutuhkan waktu beberapa jam, dan melihat bahwa selesai lebih cepat dari yang diharapkan, saya pikir vllm juga tidak akan memakan waktu beberapa jam, tetapi untuk saat ini akan menunggu hingga versi resmi dirilis dan kemudian mencobanya
Dibandingkan dengan ROCm sebelumnya dan Vulkan, Vulkan memiliki performa yang sedikit lebih baik
Tetapi kali ini saya menguji dengan versi ROCm10
Sebelumnya tertinggal dari Vulkan, tetapi sekarang tampaknya sebanding atau sedikit meningkat
Ini diukur pada Linux, jadi Windows mungkin berbeda
https://rocm.docs.amd.com/en/latest/about/release-notes.html
Saya memberikan alamat ini kepada agen dan menyuruhnya untuk membangun dengan llama dan menanganinya sendiri
