Saya memiliki satu Steam Deck dengan OLED, ternyata sistem memorinya terintegrasi 16GB.
Setelah memanggang dan merebusnya dengan baik, saya berhasil menjalankan model Ornith-1.0-9B.
Dengan menerapkan model 4bit kuantisasi, kvcache turboquant 4bit kuantisasi, dan 64k ctx, hasilnya sekitar 12~14 tps.
Namun, sayangnya benchmark mobil cuci gagal!! ㅎㅎ
Saat ini, saya menggunakan Hermes agent sebagai asisten pribadi keluarga sehari-hari, jadi saya menggunakan API berlangganan dan menghubungkannya dengan deepseek v4 flash.
Saya menggunakan Steam Deck sebagai server 24 jam, dan karena menggunakan panggilan API, suhunya tetap stabil.
