Saya sudah mencari informasi terkait, tetapi sepertinya tidak ada. Jadi saya ingin membagikannya.
Saya menemukan video di YouTube tentang seseorang yang menjalankan 'Qwen 3.8 Splash' di M6 Mac mini 32G dan mengatakan bahwa performa menjadi dua kali lebih baik. Saya penasaran, jadi saya menyelidiki sedikit. Meskipun saya tahu bahwa performa Mac meningkat secara signifikan, saya tidak yakin dapat menjelaskan detailnya dengan tepat, jadi saya meminta Gemini untuk membantu ㅋㅋㅋ
Singkat cerita, Qwen 3.8 Splash yang baru dirilis ini bukanlah model AI baru, melainkan 'mesin inferensi tuning yang dipotong dan dioptimalkan secara ekstrem untuk chip silikon Apple (seri M)'. Itu dirilis sebagai open source oleh Inco AI dan baru-baru ini juga resmi ditambahkan ke LM Studio.
Berikut adalah ringkasan poin pentingnya:
1. Kecepatan Eksekusi yang Gila (2~3 kali lebih cepat dari mesin yang ada)
Dikatakan bahwa hanya dua model, Qwen 3.8 27B / 35B MoE, yang ditargetkan dan dioptimalkan secara khusus menggunakan C++ dan kernel Metal.
Dalam lingkungan chipset M series Pro/Max yang umum, kecepatannya mencapai 70~140 token per detik untuk prompt pendek. Ini adalah LLM lokal dengan kecepatan respons tercepat.
Bahkan dalam konteks teks panjang (lebih dari 150.000 karakter), kecepatannya tetap stabil pada 20~30 token per detik tanpa penurunan.
2. Tingkat Kecerdasan (Menggantikan Model Mini Komersial Sempurna)
Meskipun sedikit kurang dibandingkan dengan flagship berbayar seperti GPT-4o atau 3.5 Sonnet, Qwen 3.8 Splash dengan mudah mengungguli model API komersial yang hemat biaya seperti GPT-4o-mini atau Claude 3.5 Haiku.
Untuk tugas sehari-hari seperti pemrograman, ekstraksi data, ringkasan makalah, dan agen otomatisasi pekerjaan, Qwen 3.8 Splash sangat unggul.
3. Alasan Mengapa Sangat Direkomendasikan untuk Pengguna Mac
Pengguna Mac dapat melakukan komputasi tanpa batas dengan kecepatan komersial di lingkungan lokal mereka sendiri tanpa harus membayar biaya API berbayar dan tanpa khawatir tentang kebocoran kode pribadi atau data penting ke server eksternal.
Terutama bagi pengguna Mac dengan kapasitas memori (RAM) yang besar, mereka dapat menjalankan model kuantifikasi 8-bit (HQ) dengan penurunan performa yang minimal.
