Hari ini saya membawa berita hangat.Setiap hari terasa berkembang dengan cepat, jadi menyenangkan dan sedikit menakutkan^^
Qwen 3.8 - 27B dikompresi menjadi 1.76 bit.
Di bawah ini adalah informasi detail yang ditulis oleh Gemini.
Selamat pagi. Ada kabar gembira yang akan mengubah dunia AI open source lokal.
Ini bukan hanya berita bagus bagi pengguna Mac, tetapi juga bagi mereka yang menggunakan laptop dengan spesifikasi rendah atau PC biasa.
Singkatnya, model berukuran sedang dengan 27 miliar parameter Qwen 3.8-27B berhasil dikompresi hingga tingkat '1.76 bit' tanpa kehilangan kemampuan.
Berikut adalah ringkasannya:
1. Diet kapasitas yang luar biasa (5,9GB)
Ukuran model asli dikompresi secara drastis sehingga ukuran file keseluruhan hanya 5,9GB.
Sekarang, dengan perangkat keras spesifikasi rendah yang sebelumnya hanya bisa menggunakan model kecil 8B (8 miliar), Anda dapat menjalankan model besar 27B dengan mudah.
2. Tingkat kecerdasan terjaga 98.2% (Mengatasi jurang inferensi)
Biasanya, jika dikompresi di bawah 4 bit, AI akan mengalami penurunan kemampuan yang signifikan. Namun, dengan teknologi kompresi Ternary, model ini berhasil mempertahankan 98.2% dari kecerdasan asli.
Ini berarti Anda mendapatkan kecepatan model kecil dan kemampuan penalaran logis yang mendalam dari model besar.
3. Direkomendasikan untuk:
Pengguna Mac dengan RAM terintegrasi rendah (8GB, 16GB, dll.) atau kartu grafis lama yang tidak dapat menjalankan model lokal besar.
Mereka yang ingin menjalankan AI cerdas tingkat API komersial secara offline di smartphone atau tablet.
Kemajuan teknologi LLM lokal ini sungguh menakjubkan. Dengan ukuran yang sangat kecil, Anda dapat segera menguji model ini di Hugging Face atau lingkungan Ollama!
