Saya ingin mencoba menggunakan llm di perangkat saya dari ponsel, jadi saya menggunakan edge gallery. Hanya obrolan yang bisa dilakukan dan hanya model yang terbatas yang digunakan.
Saat mencari aplikasi lain, saya menemukan aplikasi bernama pockecpal. Anda juga dapat memilih dan mengunduh model dari HuggingFace.
Saya menggunakan S26U dengan RAM 12GB, jadi model 4B terlalu kecil, saya mengambil E2B.
Aplikasi ini memiliki benchmark bawaan, jadi saya mencobanya dan mendapatkan sekitar 20 token.
Pengaturan saya berfokus pada NPU.
Obrolan keluar dengan cepat jika inferensi dimatikan.
Karena sudah di benchmark, saya harus menghapusnya sekarang.
