Halo. Saya ingin berbagi satu proyek sampingan yang saya buat.
Saya yakin banyak yang sudah menonton film 「Memento」, di mana tokoh utama tidak bisa mengingat memori jangka pendek, jadi dia menato fakta-fakta di tubuhnya dan hidup dengan itu. Saya penasaran bagaimana jika menerapkan ide itu pada LLM kecil 7.5B (Gemma 4 E4B), dan itulah mengapa saya membuatnya. Namanya adalah Gemento.
Pertanyaan inti sangat sederhana - daripada membuat model lebih besar, bagaimana jika saya menyimpan memo terstruktur (tato) di luar model dan memanggil model yang sama berkali-kali, bisakah saya melakukan penalaran kompleks tanpa model besar?
Hasil paling menarik (akumulasi kualitas loop multistep):
Gemma 4 E4B yang sama, soal yang sama, hanya jumlah panggilan yang berbeda:
* Inferensi tunggal : 50,0%
* 2 loop : 72,2%
* 4 loop : 88,9%
* 8 loop : 94,4%
Model tidak berubah dan hanya orkestrator (loop + memo eksternal) yang disempurnakan, namun akurasi meningkat secara monoton. Saat pertama kali menjalankan v1, hasilnya 0% dan saya kecewa, tetapi desain adalah kuncinya.
Hal-hal lain yang sudah divalidasi:
- Ketika menambahkan kalkulator, aljabar linier, dan pemecah LP, masalah matematika sulit meningkat dari 0% menjadi 100%
- Untuk pertanyaan 3-hop pada dokumen panjang, pemisahan peran (ABC) + iterasi chunk melampaui RAG/input penuh (yang menarik adalah tampaknya dapat secara dramatis mengurangi "lost in the middle" dibandingkan dengan LLM besar - dengan trade-off waktu komputasi sebagai gantinya)
Lingkungannya adalah Windows + LM Studio + Gemma 4 E4B, jadi PC biasa sudah cukup. Berlisensi MIT, dan catatan percobaan 9 kali juga disertakan.
GitHub: https://github.com/hang-in/gemento
Catatan Penelitian
https://github.com/hang-in/gemento/blob/main/docs%2Freference%2FresearchNotebook.md
Saya akan sangat berterima kasih jika Anda bisa memberi tahu tentang penelitian dengan arah serupa. Umpan balik dan isu sambut baik.
** Saya sangat berterima kasih kepada pengguna LLM lokal komunitas Damo-ng AI yang menginspirasi eksperimen ini. **
