Saya mengupload 1.0 beta 7 ke AI당 sebagai yang terakhir..
Sekarang sedang menggunakan tag 3.0 beta 2.
Di versi 3.0, kami memperkenalkan konteks RAG (FTS5 + Vector) sehingga fiturnya menjadi jauh lebih baik.
Ini adalah salah satu dari beberapa aplikasi yang telah saya buat dan sering saya gunakan bersama, jadi saya terus melakukan peningkatan!
Saya telah mengambil sorotan dari changelog terbaru.
🔍 Pengenalan FTS5 + Vector DB
Melampaui keterbatasan riwayat dasar atau jendela konteks, kami secara efisien mengelola informasi konteks dan latar belakang secara berkelanjutan.
Anda harus menginstal model embedding di panel manajemen server dan mengaktifkan fitur tersebut di pengaturan jendela chat untuk menggunakannya.
🧠 Pengenalan Fungsi Lupa
Kenangan lama yang fragmentaris secara otomatis dilupakan sesuai dengan skor.
Tujuannya adalah untuk menghapus catatan percakapan yang tidak perlu dari database, dan Anda dapat mengatur periode waktu untuk melupakan per akun pengguna di panel manajemen server.
1. Peningkatan Pengalaman Pengguna dan Fitur
Pengenalan User Profile Facts (MCP Tool): Mengelola kenangan terkait pengguna secara sistematis untuk memberikan respons yang lebih personal.
Penguatan Mode LM Studio: Mendukung tampilan status Loaded model LLM dan fungsi tombol Unload.
Optimasi Pemutaran TTS: Performa pemutaran text-to-speech telah ditingkatkan.
Pencegahan Layar Mati PWA iOS: Diubah ke kode terbaru untuk mencegah layar mati. Namun.. sepertinya sama sekali tidak mati...
Bug Indikator Mikrofon PWA iOS: Setelah menggunakan mikrofon, indikator penggunaan mikrofon tidak padam. Sepertinya ini adalah bug aplikasi PWA iOS.
2. Optimasi Performa dan Sumber Daya (Web Client Diet)
Perubahan Metode Sinkronisasi Real-time: Kami menghapus sinkronisasi delta real-time jendela chat lengkap yang beban performanya besar.
Sistem Sinyal Server: Ditingkatkan agar server memancarkan sinyal secara terpusat untuk tugas yang sedang diproses.
Pembersihan Kode dan DB: Kami menghapus dead code, melakukan optimasi SQLite, dan drop tabel yang tidak perlu (dibersihkan secara otomatis saat server berjalan).
3. Pengaturan LLM dan Perubahan Parameter
Perubahan Kebijakan Max Tokens: Pengguna tidak dapat menentukan secara langsung, mengikuti nilai default runtime LLM yang digunakan.
Fleksibilitas Pengaturan Temperature: Dikonfigurasi untuk tidak mengirim nilai sehingga nilai default model dapat digunakan sepenuhnya.
Peningkatan Konteks RAG (FTS5 + Vector): Dalam mode tersebut, kami mengirim detail 1 giliran dan riwayat ringkas 4 giliran bersama-sama untuk memperkuat konteks jawaban.
Kontrol Penggunaan Tool: Ketika mode kompatibel OpenAI atau penggunaan MCP dinonaktifkan, kami memblokir model dari mencoba menggunakan tool.
4. Sistem dan Penyimpanan
Perubahan Struktur: Struktur penyimpanan preferensi dan file telah diubah sepenuhnya.
Migrasi Data: Saat menjalankan versi update untuk pertama kalinya, jika struktur yang ada tidak kompatibel dengan sistem baru, jendela panduan migrasi akan ditampilkan secara otomatis.
https://github.com/DINKIssTyle/DINKIssTyle-Local-LLM-Gateway-with-TTS/releases
Meskipun masih kurang..
Saya berharap ini bermanfaat bagi mereka yang meneliti AI dan ingin melihat struktur kodenya.
