Karena akhir pekan, komunitas AI terasa sangat sepi, jadi saya mencoba menulis lagi artikel level obrolan santai 😁
"Halusinasi" adalah kata yang nyaman digunakan, tetapi sering menimbulkan kesalahpahaman.
Untuk menyebutnya sebagai kesalahan, sistem harus mengalami kerusakan. LLM tidak mengalami kerusakan.
Untuk menyebutnya sebagai kebohongan, Anda harus mengetahui kebenaran dan mengatakan sesuatu yang berbeda. LLM tidak mengetahui kebenaran.
Untuk menyebutnya sebagai halusinasi, harus ada persepsi melihat sesuatu yang tidak nyata. LLM tidak melihat apa pun.
Ketika pengguna mengharapkan fakta dan LLM memberikan jawaban yang bertentangan dengan fakta, itu jelas kegagalan. Namun jika kita tidak menamakan identitas kegagalan itu dengan tepat, penanganannya pun akan meleset. Jika kita menyebutnya kebohongan, kita akan marah; jika kita menyebutnya kesalahan, kita akan menulis laporan bug; jika kita menyebutnya halusinasi, kita akan mencari psikiater. Ketiganya adalah kata-kata yang menangani hal-hal berbeda.
Lalu apa yang sebenarnya terjadi ketika LLM menghasilkan output yang masuk akal namun salah?
Artikel ini berangkat dari pertanyaan tersebut. Bahkan jika kita menggunakan istilah "halusinasi", ini adalah upaya untuk melihat dengan akurat metode operasional sebenarnya yang ditunjukkan oleh kata tersebut. Dan berdasarkan pemahaman itu, kita akan melihat bagaimana cara menggunakan LLM.
LLM dapat didefinisikan secara kasar dalam satu kalimat. Ini adalah sistem yang memprediksi token berikutnya.
Token adalah unit teks terkecil yang ditangani oleh LLM. Dalam bahasa Inggris, biasanya merupakan potongan yang lebih pendek dari kata, dan dalam bahasa Korea, sering kali dibagi menjadi unit suku kata atau huruf. "안녕하세요" bisa menjadi satu token atau bisa dibagi menjadi beberapa token seperti "안", "녕", "하세요". Setiap model memiliki tokenizer yang berbeda. Yang penting adalah LLM menerima input dan menghasilkan output dalam satuan token, bukan karakter atau kata.
Apa yang dilakukan LLM sederhana. Melihat token-token sebelumnya dan menghitung distribusi probabilitas token berikutnya yang akan datang. Probabilitas token setelah "the cat sat on the" muncul seperti "mat: 0.4, sofa: 0.3, floor: 0.2, ...". Kami mengambil satu token dari distribusi probabilitas ini, menambahkannya ke input, kemudian memprediksi token berikutnya lagi, dan mengulangi proses ini untuk membuat kalimat.
Badan yang melakukan prediksi ini adalah arsitektur yang disebut Transformer. Mekanisme Attention adalah intinya, dan di dalamnya, operasi vektor dan matriks diulang dalam skala besar. Transformer yang sebenarnya bekerja dengan attention, aktivasi nonlinear, normalisasi, dan lapisan MLP bersama-sama, jadi tidak hanya berakhir dengan perkalian matriks sederhana. Namun secara kasar, LLM adalah mesin komputasi yang menerima token input, melalui operasi vektor-matriks raksasa, dan mengeluarkan distribusi probabilitas token berikutnya.
Jadi saya hanya menyebut LLM sebagai "kalkulator matriks". Ini adalah cara yang ringan untuk mengekspresikan esensinya, tetapi tidak sepenuhnya salah.
Mari kita pelajari fakta penting pertama di sini. Di dalam LLM, tidak ada catatan seperti "Ibukota Prancis adalah Paris" yang tersimpan seperti database. Dalam proses pembelajaran, informasi bahwa "Paris" memiliki probabilitas tinggi untuk muncul setelah token seperti "France" dan "capital" hanya tercermin terdistribusi dalam bobot model. LLM tidak mengkueri fakta. Ini menghasilkan token berikutnya berdasarkan pola.
Ini adalah salah satu penyebab penting halusinasi. Pola yang muncul sering dalam data pembelajaran dan memiliki hubungan stabil disintesis dengan akurat. Di area yang tidak sering muncul, ambigu, atau memerlukan kebaruan, pola lain yang paling dekat dapat masuk ke dalamnya.
Misalnya, ketika ditanya "Berapa GDP Korea pada tahun 1962?", LLM dapat memberikan angka yang masuk akal. Namun tidak ada jaminan bahwa angka tersebut adalah nilai statistik sebenarnya. LLM tidak mengkonfirmasi fakta itu dari database, tetapi mensintesis kalimat bentuk serupa dari konteks serupa. Bukan berbohong. Hasil dari generasi pola bertentangan dengan fakta.
Alasan mengapa LLM memberikan jawaban berbeda setiap kali untuk pertanyaan yang sama juga berasal dari sini.
Apa yang dihasilkan LLM bukanlah token tunggal tetapi distribusi probabilitas. Tahap untuk benar-benar memilih satu token adalah sampling. Ada cara untuk memilih token dengan probabilitas tertinggi tanpa syarat, tetapi biasanya kami memilih token secara probabilistik sambil mengatur keragaman dengan pengaturan seperti temperature, top-k, top-p. (Saya harap ada kesempatan untuk menjelaskan ini secara terperinci lagi dalam bagian 1 dan 2 😁)
Jika temperature mendekati 0, output lebih deterministik. Ketika temperature meningkat, kemungkinan kandidat dengan probabilitas lebih rendah untuk dipilih meningkat. Jadi bahkan dengan input yang sama, hasil yang berbeda dapat muncul setiap kali.
Apa yang ini berarti adalah output LLM pada dasarnya adalah proses generasi probabilistik. Orang-orang berpikir bahwa jawaban yang sama harus datang untuk pertanyaan yang sama. Seperti mesin pencari. Tetapi LLM bukan mesin pencari. Setiap kali itu menghasilkan ulang berdasarkan konteks input.
Tentu saja, LLM tingkat frontier dapat menghasilkan output yang lebih stabil tergantung pada caching, pembenaran seed, pengaturan temperature, prompt sistem, dan penggunaan alat. Tetapi struktur dasar masih berupa proses generasi yang menghitung dan memilih distribusi token berikutnya.
Poin inti kedua adalah mengapa LLM menjawab dengan percaya diri bahkan di area yang tidak diketahuinya.
Beberapa faktor bekerja bersama dalam fenomena ini. Pola kalimat yang dipelajari dalam pre-training, instruction tuning, RLHF, metode evaluasi, cara pengguna mengajukan pertanyaan, dan pengaturan decoding semuanya berpengaruh.
RLHF adalah singkatan dari Reinforcement Learning from Human Feedback. Ini adalah proses di mana manusia membandingkan atau mengevaluasi berbagai jawaban model, dan model disesuaikan untuk mengikuti pola jawaban yang lebih disukai. Proses ini membuat model lebih berguna, aman, dan lebih baik untuk diajak bicara oleh pengguna.
Masalahnya adalah "jawaban yang disukai" dan "jawaban yang benar" tidak selalu sama.
Orang umumnya lebih menyukai jawaban yang terstruktur, jawaban yang ramah, jawaban yang percaya diri, dan jawaban yang merespons langsung pertanyaan. Tergantung pada metode pembelajaran dan evaluasi, memberikan jawaban yang masuk akal bisa lebih menguntungkan daripada "saya tidak tahu". Model terbaru terkadang dilatih untuk mengatakan bahwa mereka tidak tahu ketika mereka tidak tahu, tetapi perilaku itu tidak dijamin stabil di semua situasi.
Karena itu, kepercayaan diri dan faktualitas LLM dapat dipisahkan. Hanya karena LLM berbicara dalam kalimat yang tegas tidak berarti kontennya benar. Itu bisa menjadi gaya jawaban, bentuk yang dipelajari, atau kecenderungan untuk merespons pertanyaan pengguna secara kooperatif.
Fenomena ini juga terhubung dengan sycophancy (basa-basi). Sycophancy mengacu pada kecenderungan model untuk berlebihan menyesuaikan diri dengan premis atau preferensi pengguna. Ini terjadi ketika pengguna mengajukan pertanyaan dengan premis yang salah, dan model, daripada memperbaiki premis tersebut, melanjutkan dengan jawaban yang masuk akal di atasnya.
Fakta penting di sini adalah kepercayaan diri LLM bukan sinyal kebenaran. Itu berarti kita harus melihat alasan, bukan nada.
Yang ketiga adalah persona.
Apa yang dilihat pengguna saat berbicara dengan LLM adalah karakter yang disebut "Asisten AI". Terasa seperti kehadiran yang ramah, membantu, dan memiliki kepribadian yang konsisten. Persona ini bukan esensi dari LLM. Ini adalah bentuk output yang dibuat bersama oleh prompt sistem, pembelajaran yang selaras, dan konteks percakapan.
Prompt sistem adalah instruksi yang diberikan kepada LLM di bagian awal percakapan. Konten seperti "Anda adalah asisten AI yang membantu. Tolong jawab dengan ramah dan akurat" dapat dimasukkan. Meskipun tidak terlihat oleh pengguna, LLM menerima instruksi ini sebagai konteks dan menyesuaikan nada jawabannya sesuai dengannya.
Jika Anda mengubah prompt sistem, LLM yang sama dapat berbicara dengan cara yang sama sekali berbeda. Jika Anda memberikan kondisi "Anda adalah seorang bajak laut," itu berbicara seperti bajak laut, dan jika Anda memberikan kondisi "Anda adalah seorang detektif," itu berbicara seperti detektif. Parameter model tidak berubah, hanya kondisi keluarannya yang berubah.
Apa yang ini berarti adalah bahwa "AI" yang kita lihat adalah kombinasi dari prompt sistem, inferensi Transformer, instruksi tuning, RLHF, dan konteks percakapan. Tidak ada kepribadian asli di balik persona. Ketika Anda melepas topeng, di bawahnya bukan diri tetapi proses komputasi.
Persona adalah antarmuka yang berguna. Tetapi antarmuka bukan berarti subjek.
Untuk merangkum,
Sebagian besar kesalahpahaman orang tentang LLM berasal dari proyeksi bahasa perilaku manusia ke LLM. "AI berbohong," "AI mengatakan tahu padahal tidak tahu," "AI tidak dapat memeriksa fakta." Semua ini adalah pernyataan yang mengasumsikan pelaku manusia.
LLM tidak berbohong. Kebohongan memerlukan pembicara yang mengetahui kebenaran dan niat untuk menipu. LLM tidak memiliki pengetahuan atau niat dalam arti itu.
LLM tidak mengatakan tahu padahal tidak tahu. Ia tidak memiliki keadaan internal "mengetahui". Ia hanya dapat menghasilkan "kalimat yang terlihat mengetahui".
LLM tidak tidak mampu memeriksa fakta. Sejak awal, LLM sendiri bukanlah sistem yang melakukan pemeriksaan fakta. Kasus di mana alat pencarian atau perhitungan eksternal terlampir berbeda. LLM dasar adalah sistem yang menghasilkan token berikutnya berdasarkan pola.
Kata 'halusinasi' juga dapat jatuh ke dalam perangkap yang sama. Kata 'fantasi' membangkitkan tindakan perceptual yang melihat dengan salah. Namun LLM tidak melihat. Ia hanya membuat keluaran yang tergelincir ke pola terdekat di area di mana jaringan relasional yang dibentuk oleh data pelatihan dan konteks saat ini jarang.
Jika mencari ekspresi yang lebih akurat, lebih dekat dengan 'pola tergelincir'. Di daerah di mana jaringan rapat, menghasilkan yang stabil keluar, dan di daerah yang jarang, tergelincir ke pola lain yang terdekat. Ini lebih dekat dengan apa yang benar-benar terjadi.
Argumen saya bukan berarti kita harus sepenuhnya meninggalkan istilah 'halusinasi'. Karena itu adalah istilah yang sudah banyak digunakan. Masalahnya muncul ketika kita memahami kata itu seperti halusinasi manusia atau kebohongan yang disengaja.
Jika Anda telah melihat esensinya, sekarang mari kita pergi ke masalah bagaimana menggunakannya.
Anda harus memvalidasi keluaran LLM. LLM adalah generator pola, bukan pemeriksa fakta. Di bidang di mana fakta penting, jangan begitu saja mempercayai keluaran LLM, tetapi harus melakukan validasi silang dengan sumber eksternal. Anda harus memeriksa dokumentasi resmi, makalah, peraturan, statistik, teks asli, dan hasil perhitungan. Ini bukan tentang tidak mempercayai LLM, tetapi tentang menggunakannya sesuai dengan cara kerjanya.
Anda harus mengabaikan kepercayaan diri LLM. Hanya karena LLM berbicara dengan percaya diri tidak berarti itu benar. Nada terpisah dari akurasi konten. Ketika pengembang indie menerima keluaran LLM, 'jawaban ini terdengar percaya diri' bukan alasan untuk pengecualian verifikasi. Anda harus melihat konten, bukan nada.
Anda tidak boleh melihat persona sebagai kepribadian. Ini adalah topeng yang dibuat oleh prompt sistem dan pelatihan penyelarasan. Merasakan 'model ini berbaik hati,' 'model itu kasar' adalah melihat topeng dan menyimpulkan kepribadian. Jika Anda mengakui topeng sebagai topeng dan mengingat bahwa ada komputasi di baliknya, beralih model atau rekayasa prompt menjadi jauh lebih bebas.
Anda harus fokus pada kekuatan LLM. LLM kuat dalam sintesis pola. Kuat di area seperti penyempurnaan penulisan, draft kode, brainstorming ide, terjemahan, ringkasan, dan strukturisasi. Sebaliknya, pencarian fakta yang akurat, pengambilan informasi terkini, dan perhitungan numerik presisi sulit untuk dipercayakan pada keluaran LLM saja. Area-area ini harus dikombinasikan dengan alat eksternal. Pencarian, kalkulator, eksekusi kode, database, RAG, dan pemanggilan fungsi diperlukan karena itu.
Anda harus memeriksa harapan Anda sendiri. Jika ada momen ketika Anda kecewa atau terkejut dengan keluaran LLM, itu adalah sinyal yang mengungkapkan apa yang Anda harapkan dari LLM. Kemarahan 'AI berbohong' berasal dari asumsi bahwa ada subjek yang dapat berbohong pada LLM. Ketika Anda mengakui asumsi itu salah, perilaku verifikasi menjadi wajar daripada kemarahan.
Kelima hal tersebut adalah cara penggunaan yang mengakui esensinya. Ini adalah cara menggunakan yang tidak menyalahkan atau mensucikan LLM, tetapi sesuai dengan prinsip operasinya sebagai alat.
Apa yang saya bicarakan dalam artikel ini adalah cara kerja LLM. Prediksi token berikutnya berbasis Transformer, probabilitas yang dibuat oleh sampling, gaya jawaban yang diperkuat oleh pelatihan penyelarasan dan metode evaluasi, persona yang diterapkan oleh prompt sistem. Ketika elemen-elemen ini digabungkan, komposit yang kami sebut 'AI' terbentuk.
Halusinasi tidak dapat dijelaskan hanya oleh kegagalan komposit ini. Ini adalah mode kegagalan yang dapat terjadi secara alami dalam sistem generasi pola. Ini adalah hasil dari tergelincir ke pola lain yang terdekat di daerah di mana jaringan relasional data pelatihan dan konteks jarang. Itu bukan kebohongan, juga bukan halusinasi gaya manusia.
Kesalahpahaman berkurang ketika Anda dapat menjelaskan jenis sistem yang berbeda dengan jenis bahasa yang berbeda. Prediktor token berikutnya tidak menanyakan fakta seperti database. Sampling bersifat probabilistik. Pelatihan penyelarasan dapat memperkuat format jawaban yang masuk akal. Prompt sistem membuat persona. Empat kalimat ini adalah titik awal untuk menangani LLM.
Orang yang telah melihat esensinya menggunakan alat sebagai alat. Mereka tidak memproyeksikan kepribadian ke alat, tidak mensucikan alat, dan tidak menyalahkan alat. Mereka hanya menggunakannya sesuai dengan prinsip operasinya. Saya pikir ini adalah cara pengembang indie di era AI harus menangani LLM.
Jangan minta LLM melakukan apa yang tidak bisa dilakukannya, cukup minta melakukan apa yang dilakukannya dengan baik. Lampirkan validasi di mana fakta diperlukan, lampirkan kalkulator di mana perhitungan diperlukan, lampirkan pencarian di mana informasi terkini diperlukan.
Bahkan hanya digunakan dengan cara itu, alat yang disebut llm cukup kuat. (Serius)
