Halo. Saya datang lagi! Saya minta maaf sering memposting artikel. Setelah artikel ini, saya akan menguranginya! 🙇♂️🙇♂️🙇♂️
"Cara Menggunakan GPT + Local LLM Bersama - Pola 3 Peran, Termasuk Kode" ini adalah konten yang saya buat dengan benar dalam bentuk plugin dari konsep dan kode artikel! (Saya membuatnya di Mac, dan saya tidak tahu mengapa itu bekerja di Windows/Linux - saya belum menguji - tetapi terima kasih. Mungkin hanya skrip Python? ㅎㅎ)
Ini adalah alat yang saya buat untuk pengguna AI Damoang yang menggunakan Claude Code atau Codex CLI dengan paket $20, yang khawatir 'batas habis dengan cepat' atau 'ingin menjalankan local LLM juga tetapi bagaimana cara menghubungkannya'. (Tidak ada niat lain! Saya memiliki alat lain yang saya gunakan terutama ㅎㅎ)
Tautan: https://github.com/hang-in/tunaLlama
Apa itu Plugin Dulu
Claude Code dan Codex CLI keduanya dapat memasukkan alat eksternal sebagai "plugin". Setelah dipasang sekali, agen kemudian secara otomatis memanggilnya saat diperlukan selama bekerja. Anda dapat menganggapnya sebagai paket di mana agen secara otomatis menggunakan alat (Server MCP) di dalamnya, instruksi kerja (Keterampilan), pemicu otomatis (Hook), dan perintah pintasan (Perintah). Jika MCP adalah standar koneksi alat, maka plugin adalah unit yang menggabungkan alat tersebut dengan instruksi penggunaan dan mendistribusikannya sekaligus. Pengguna tidak perlu mengatakan 'gunakan alat ini' setiap kali. tunaLlama juga merupakan salah satu jenis plugin.
Apa yang Dilakukannya
Dibagi menjadi tiga peran.
Peran | Siapa | Pekerjaan |
|---|
Architect | Claude / Codex (Berlangganan) | Memecah tugas, validasi, integrasi |
Developer | LLM Lokal (Ollama / LM Studio / Ollama Cloud) | Menulis kode sebenarnya, review mandiri |
Reviewer | Architect (sesi yang sama) | Keputusan akhir |
Singkatnya, struktur ini adalah 'membuat penulisan kode berat dilakukan oleh LLM lokal, dan menggunakan model berlangganan hanya untuk bagian yang membutuhkan pemikiran (pemecahan·validasi)'. Kecepatan habisnya batas berlangganan berkurang, dan pada saat yang bersamaan model berlangganan melengkapi konteks yang tidak cukup dengan LLM lokal sendiri, sehingga kualitas hasil dapat meningkat bersama-sama.
Bagian yang Diukur Secara Kuantitatif
Ketika menjalankan LLM lokal ukuran menengah sendiri vs. dibandingkan setelah Architect mengatur ulang dan meneruskan konteks: +0.58 ~ +0.64 (validasi 3 model). Ini berarti bahwa dengan LLM lokal yang sama, jika Anda mengatur ulang konteks dengan baik dan meneruskannya, hasilnya secara signifikan menjadi lebih baik. Namun, pengukuran ini dilakukan pada 'rangkaian tes yang telah saya siapkan sebelumnya dengan skenario tugas yang sering muncul di realitas', jadi apakah hasilnya akan sama dalam alur kerja yang sebenarnya Anda gunakan adalah masalah yang terpisah.
Berapa Banyak Penghematan Batas
Jujur saja, untuk bagian ini - karena formula perhitungan batas Anthropic / OpenAI bersifat pribadi, saya tidak dapat memberikan angka seperti 'penghematan X%'. 'Lebih baik daripada hanya menggunakannya' seharusnya cukup, dan saya merekomendasikan untuk memverifikasi dengan penggunaan aktual. Sebenarnya, kode setelah v0.2.0 dikembangkan melalui dogfooding, dan antara v0.2.0 ~ v0.5.0, penggunaan tidak meningkat secara signifikan (mungkin karena itu Python. Saya akan menguji ini lebih lanjut pada proyek lain!)
Dukungan Bahasa Korea
Saya menambahkan analis morfologis Kiwi dan beberapa hal lainnya. Saya memanfaatkan apa yang sudah dibuat di secall. ㅎㅎ Saat mencari pekerjaan masa lalu, kueri Bahasa Korea juga diindeks pada tingkat morfem. Namun, istilah baru dan istilah khusus yang tidak dapat ditangani Kiwi dapat mempengaruhi kualitas pencarian.
Instalasi 5 Menit (Ringkasan)
Nyalakan agen terminal dan lemparkan satu baris di sesi, selesai:
Instal mengikuti INSTALL.md di https://github.com/hang-in/tunaLlama
Bagi mereka yang menggunakan ollama cloud, siapkan kunci api terlebih dahulu (saya merekomendasikannya, tingkat kebahagiaan 30.000 won). Setelah itu, agen secara otomatis menginstal dependensi, mengkonfigurasi .env, mendaftarkan plugin, dan melanjutkan validasi langkah demi langkah. Bagi mereka yang menggunakan ollama atau lmstudio secara lokal dengan hal-hal seperti gemma4, qwen3.6, agen terminal akan menanganinya dengan sendirinya.
Untuk Claude Code, setelah dipasang, Anda dapat memulai baru atau menjalankan /plugin-reload,
Untuk Codex, Anda perlu memasangnya sekali dengan /plugin 😁
Atau jika Anda menginginkan instalasi manual lengkap, lihat README.
Batasan
Meskipun ini v0.5.0 produksi, data pengukuran pekerjaan sehari-hari masih dikumpulkan.
Penghematan batas adalah data subjektif (disebutkan di atas)
Tidak akan bekerja tanpa lingkungan LLM lokal (Ollama dll) (direkomendasikan 27b ~ lebih dari 32b, jika menggunakan ollama cloud, lebih baik menggunakan kimi atau glm)
13 deskripsi alat MCP menambahkan sekitar 1.633 token ke setiap prompt sistem percakapan. Ini adalah biaya yang terkait dengan kualitas dan harus ditanggung (tetapi jauh lebih murah daripada melakukan semuanya dengan Claude Code/Codex(?))
Siapa Yang Akan Diuntungkan
Pengguna Claude Code / Codex paket $20 (motivasi manajemen batas)
Mereka yang sudah memiliki lingkungan Ollama lokal / Ollama Cloud / LM Studio
Mereka yang menangani pekerjaan Bahasa Korea (integrasi Kiwi)
Penutup
Ini bukan alat yang luar biasa. Saya membuatnya untuk digunakan sendiri, dan jika ada beberapa orang dalam situasi serupa, kami hanya ingin menggunakannya bersama. Saya juga tidak bermaksud mempromosikannya di tempat lain. Yang dapat saya lakukan di AI Damoang, meski terbatas, hanya hal-hal seperti ini. 😁 Karena lisensi MIT, Anda dapat memforkirnya dan memodifikasinya sesuai alur kerja Anda sendiri. Umpan balik·isu·PR·bintang(⭐️) semuanya disambut baik. Jika ada penambahan fitur, perbaikan, atau penambahan mcp yang Anda inginkan, silakan katakan dengan nyaman melalui komentar atau masalah! 🥕🥕🥕
