https://github.com/1ordo/strix-halo-unsloth?utm_source=chatgpt.com
Menggunakan model lokal yang benar-benar dapat digunakan sekitar 30b, sepertinya.
Jadi saya membawa model 14b untuk penyesuaian halus dan mempersiapkannya, tetapi AMD menjadi masalah seperti ini. Driver prosesor yang telah dirilis lebih dari setahun tidak tersedia, jadi saya tidak tahu ada masalah.
Hanya mengunggah model atau menggunakannya di lmstudio tidak masalah, tetapi untuk penyesuaian halus, yang resmi belum tersedia, dan saya harus menggunakan cara curang agar penyesuaian halus dapat dilakukan.
Jadi, melalui Google, saya menemukan metode ini di GitHub dan akhirnya menggunakan Fedora 43. Komputer lainnya menggunakan Ubuntu...
Pembaruan juga dihentikan, hanya versi OS tertentu, PyTorch, dan kernel tertentu yang diverifikasi. Ketika pertama kali menginstal dengan Ubuntu, agen AI tidak dapat berfungsi terlepas dari upaya saya, jadi saya menerapkan metode ini setelah diberitahu dan penyesuaian halus berhasil.
Jika Anda menggunakan prosesor ini dan mempertimbangkan penyesuaian halus, ingatlah bahwa ada cara ini. Jika Anda tidak melakukan penyesuaian halus, Anda dapat menggunakannya seperti biasa.
AMD tampaknya akan mengumumkan sesuatu pada akhir Juni atau awal Juli, jadi saya berharap driver untuk ini akan dirilis pada saat itu.
