Saya langsung membuka kotak dan memasang WD 2TB 2230 model sebagai penggantinya.
Selama akhir pekan, saya menguji kode yang telah saya tulis dengan sungguh-sungguh. Karena memorinya besar, itu bagus (meskipun masih kurang...itu jebakan..)
Awalnya saya menggunakan model Qwen 3.6 27B (karena dianggap paling pintar..) dan berhasil berjalan.
Namun, waktu fine-tuning terlalu lama sehingga saya mencoba berbagai model lain,
Akhirnya saya menyadari bahwa konteks 200k masih kurang untuk tujuan penggunaan saya.. jadi saya memutuskan untuk menggunakan model Qwen/Qwen2.5-7B-Instruct-1M.
Untuk memproses urutan token 1 juta:
Setelah mencoba sekitar 100 studi kasus, hasilnya tampaknya baik.
Tentu saja, 90% waktu yang dibutuhkan untuk satu kali eksekusi adalah proses eksekusi program dan pemuatan bobot
Dan hasilnya hampir langsung muncul. Keren...
Sekarang saya akan meningkatkan jumlah pembelajaran untuk menemukan titik optimal yang menghasilkan hasil yang diinginkan.
Saya perlu memperbarui kode antarmuka yang masih dalam pengembangan...
Saat ini, saya sedang memikirkan apakah akan secara resmi meluncurkan proyek ini sebagai tugas dan mencari pendanaan (dengan asumsi berhasil).
Atau saya hanya akan menggunakannya sendiri secara diam-diam sambil bekerja ㅎㅎ
Karena ini untuk pekerjaan, saya membawanya ke kantor (karena tagihan listrik di rumah sangat berharga..)
Saya meletakkannya di atas satu kipas pendingin.
