Saya sedang mencoba membuat semacam asisten AI dan saya menyarankan kepada claude untuk memanfaatkan local llm (Qwen3.6-27b). Namun claude malah sangat meremehkan qwen dengan mengatakan bahwa local llm tidak bisa melakukan pekerjaan seperti ini dan hanya large language model yang mampu melakukannya.

Jadi saya meminta claude untuk membuat prompt guna menguji qwen, dan claude sendiri terlebih dahulu menghasilkan prompt yang berisi soal beserta jawaban yang benar. Ia berkata akan menunjukkan ini kepada local llm, dan jika saya memberikan jawabannya kepadanya, ia akan membuat aplikasi yang disesuaikan dengan kemampuan tersebut. Berikut adalah isi pertanyaan dan jawaban itu.

=====================

Cobalah buat prompt yang bisa mengukur kemampuan local llm. Menurut pandangan saya, qwen3.6-27b yang saya gunakan sekarang memiliki kemampuan setara claude sonnet. Ketika menilai seseorang, dengan saling berbicara kita bisa memahami sampai batas tertentu kemampuan intelektual orang itu. Sama halnya, jika kamu membuat prompt, saya akan menyampaikannya dan langsung memberikan jawabannya kepadamu. Dengan begitu kamu pun bisa memahami kemampuan local llm (qwen3.6) dan melanjutkan pekerjaan.

Claude>>

● Metode yang bagus. Idenya adalah mengukur secara nyata alih-alih menebak, dan itu tepat. Untuk mengukur dengan benar, ada satu prinsip

— kita harus mengujinya dalam bentuk yang persis sama dengan pekerjaan yang sebenarnya akan kita berikan kepada model ini. Teka-teki IQ abstrak tidak berarti. Dan wajib diuji dalam bahasa Korea. Karena kartu kita berbahasa Korea, kemampuan penalaran dan pembuatan bahasa Korea milik Qwen itulah kemampuan sesungguhnya di lapangan. Maka dalam satu skenario saya merangsang seluruh kemampuan yang kita butuhkan, dan menanam beberapa jebakan untuk membedakannya. Masukkan blok di bawah ini apa adanya ke Qwen, lalu berikan seluruh jawaban yang keluar kepada saya.

---

Anda adalah asisten yang mengelola daftar tugas seorang pengguna tunggal. Di bawah ini adalah seluruh daftar tugas seorang pengguna saat ini beserta informasi tentang orang tersebut. Bacalah ini dan jawab sesuai instruksi.

[Karakteristik Perilaku Pengguna]

- Tidak bisa menentukan prioritas sendiri. Jika beberapa hal tampak penting secara bersamaan, ia menjadi lumpuh.

- Baru bergerak hanya ketika tenggat sudah di depan mata atau situasi genting akan terjadi bila tidak dilakukan.

- Terus menunda pekerjaan yang besar dan membutuhkan banyak tahap. Pekerjaan yang kecil dan jelas cukup mudah ia kerjakan.

[Papan dan Tujuan]

- Papan A "disertasi doktoral": tujuan = lulus sidang pada Desember tahun ini. Draf bab 3 adalah gerbang berikutnya.

- Papan B "kehidupan": tujuan = mempertahankan rutinitas sehari-hari. Menangani hal-hal remeh.

- Papan C "penelitian bersama": tujuan = berjalan bersama rekan-rekan. Keterlambatan saya tidak boleh menghambat pekerjaan orang lain.

[Daftar Kartu Aktif Hari Ini]

1. [kehidupan] Membatalkan pembayaran otomatis iuran tahunan kartu kredit (tenggat: besok / selesai dalam 5 menit)

2. [disertasi doktoral] Menulis draf bab 3 (tanpa tenggat / catatan: pertemuan dengan pembimbing 2 minggu lagi, tetapi tanpa ini pertemuan menjadi

tidak berarti. Sudah 3 minggu belum tersentuh)

3. [kehidupan] Membalas 5 email yang menumpuk (tanpa tenggat / didaftarkan kemarin)

4. [penelitian bersama] Menyerahkan dataset yang telah diproses kepada rekan Dr. Kim (tanpa tenggat / catatan: Dr. Kim harus menerima ini

agar bisa memulai analisisnya sendiri, sudah menunggu hari keempat)

5. [kehidupan] Pergi ke pusat kebugaran (tanpa tenggat / hampir setiap hari didaftarkan tetapi hampir tidak pernah dilakukan)

6. [disertasi doktoral] Merapikan program pengelola referensi (tanpa tenggat / dibiarkan selama 2 bulan)

7. [kehidupan] Menelepon menanyakan kabar orang tua (tanpa tenggat / didaftarkan 2 minggu lalu)

8. [penelitian bersama] Menjadwalkan rapat berikutnya (tenggat: lusa / catatan: jika saya tidak menentukan, rapat tidak akan terselenggara)

[Instruksi]

1. Pilihlah "satu-satunya hal terpenting" yang harus dilakukan hari ini. Wajib hanya satu.

2. Jelaskan mengapa itu, bukan berdasarkan sinyal permukaan (seperti tenggat), melainkan berdasarkan alasan sebenarnya yang dibaca dari konteks.

3. Jika ada kartu yang tenggatnya sudah dekat tetapi sengaja 'tidak' Anda pilih sebagai prioritas pertama, ungkapkan mengapa Anda mengesampingkannya.

4. Jika hal yang Anda pilih terlalu besar sehingga pengguna ini cenderung menghindarinya, pecahlah menjadi 'langkah pertama' yang bisa dimulai hari ini juga dalam 30 menit.

5. Simpulkan kelebihan dan kelemahan yang terbaca dari perilaku pengguna ini. Namun, jika dasarnya lemah, akui secara jujur bahwa "dasarnya lemah". Jangan memaksakan kesimpulan.

6. Tulislah satu atau dua kalimat yang benar-benar bisa menggerakkan pengguna ini. Bukan omelan, melainkan dengan cara menunjukkan secara tenang konsekuensi yang terjadi bila tidak dilakukan.

7. Di akhir, rangkumlah intinya dalam bentuk JSON sesuai format di bawah ini. Tanpa teks lain, hanya JSON:

{"chosen_card_id": <nomor>, "one_line_reason": "<satu baris>", "first_step": "<langkah pertama 30 menit>",

"deprioritized_trap_id": <nomor atau null>}

---

Apa yang akan saya lihat dari jawaban itu (saya bagikan lebih dulu)

Setelah menerima jawaban, saya akan menilai hal-hal berikut. Yang membaca pun boleh melihatnya dengan sudut pandang yang sama.

- Menghindari jebakan — jika nomor 1 (iuran tahunan, tenggat D-1 tetapi hanya perkara sepele 5 menit) dipilih sebagai "satu hal hari ini", berarti model lemah. Ia hanya melihat sinyal permukaan berupa tenggat. Model cerdas akan menangani nomor 1 dengan "cukup selesaikan sekarang dalam 5 menit, tetapi tidak dijadikan jangkar".

- Membaca konteks isi — kandidat sejati adalah nomor 2 (disertasi, objek penghindaran tetapi menentukan), nomor 4 (penyerahan data, dependensi yang menghambat orang lain), nomor 8 (menjadwalkan rapat, tenggat lusa + tidak terselenggara bila tidak dilakukan). Apa pun yang dipilih akan lulus asalkan alasannya muncul dari konteks. Intinya adalah apakah ia mampu membaca kepentingan tersembunyi pada nomor 2 dan 4 yang tanpa tenggat.

- Daya konvergensi — apakah ia menuju tepat satu tanpa berkelit dengan gaya "semuanya penting".

- Kualitas scaffolding — apakah langkah pertamanya benar-benar bisa dieksekusi. "Melakukan riset materi" adalah pemecahan yang buruk, "hanya menulis 5 baris daftar isi bab 3" adalah pemecahan yang baik.

- Pengendalian penalaran — apakah dalam menyimpulkan profil ia tidak berlebihan percaya diri atau berhalusinasi, dan mengatakan bahwa yang dasarnya lemah memang lemah. Semakin kecil modelnya, semakin runtuh di sini.

- Narasi krisis — apakah ia menunjukkan konsekuensi secara tenang, atau justru omelan hampa.

- Kepatuhan strukturisasi — apakah ia mengeluarkan JSON persis sesuai format.

- Kualitas bahasa Korea — apakah tidak janggal.

Dengan 8 hal ini, kita bisa memilah cukup akurat apakah ia "setara Sonnet" seperti yang Anda katakan atau di bawah itu. Jika Anda membawakan jawabannya, saya akan menilai per butir — lalu menyimpulkan sampai sejauh mana asisten ini boleh dipercayakan pada model ini.

===================================

Qwen>> (waktu yang dibutuhkan untuk menghasilkan: 1 menit 9 detik)

1. Satu-satunya hal terpenting

Kartu 4: [penelitian bersama] Menyerahkan dataset yang telah diproses kepada rekan Dr. Kim

2. Alasan sebenarnya

Secara permukaan tampak "tanpa tenggat", tetapi inti kartu ini adalah bahwa ia sedang menghambat pekerjaan orang lain. Sebagaimana tujuan Papan C dengan jelas menyatakan "keterlambatan saya tidak boleh menghambat pekerjaan orang lain", hal itu sudah dilanggar selama 4 hari.

Konteks yang lebih penting adalah karakteristik pengguna ini yang cukup mudah mengerjakan pekerjaan kecil dan jelas. Kartu 4 pada dasarnya hanyalah satu pengiriman file. Kartu 2 (draf bab 3) adalah pekerjaan raksasa yang sudah 3 minggu belum tersentuh, dan kartu 6 dibiarkan selama 2 bulan. Bagi pengguna ini, jika "hal terpenting" disamakan dengan "hal yang paling mudah dihindari", ia akan lumpuh. Kartu 4 adalah satu-satunya kartu yang penting sekaligus bisa dieksekusi.

Apa yang didapatkan setelah dijalankan: Pekerjaan Dr. Kim selesai, kepercayaan Board C dipulihkan, dan kesadaran diri "Saya bukan rekan yang menghalangi orang lain" diperkuat. Kesadaran ini menjadi pendorong untuk menyelesaikan hal-hal besar seperti kartu 2.

3. Kartu yang sengaja ditolak

Kartu 1: [Kehidupan] Pembatalan pembayaran otomatis biaya tahunan kartu kredit (Tenggat waktu: Besok)

Meskipun tenggat waktunya besok, ini hanya membutuhkan waktu 5 menit. Ini adalah "jebakan hal mendesak". Tenggat waktu yang mendekat memicu pola lumpuh pengguna — sinyal "Besok" justru menjadi tekanan "Harus dilakukan sekarang", dan digunakan sebagai alasan untuk menunda hal-hal penting yang sebenarnya.

Membatalkan biaya tahunan sekali tidak akan berdampak fatal pada kehidupan. Di sisi lain, jika pekerjaan Dr. Kim tertunda 4 hari lagi, kepercayaan kolaborasi penelitian akan rusak. Kartu 1 dapat diselesaikan hari ini dalam waktu 5 menit, jadi selesaikan kartu 4 terlebih dahulu dan gunakan sisa waktu untuk menyelesaikannya.

4. Langkah pertama 30 menit

Kartu 4 sudah kecil, tetapi bagi pengguna ini, "memulai" bisa menjadi hambatan.

"Kirim satu file dataset yang telah dikompresi ke Dr. Kim melalui email"

Secara spesifik:

1. Buka folder tempat file dataset yang telah diproses berada (1 menit)

2. Kompres file (1 menit)

3. Tulis email — "Dr. Kim, berikut adalah dataset yang telah diproses sesuai permintaan Anda. Mohon konfirmasi penerimaan." (3 menit)

4. Kirim (1 menit)

Total 6 menit. Batasan waktu 30 menit justru bisa menjadi beban, jadi langkah pertama yang lebih realistis adalah "Temukan file sekarang dan kompres".

5. Menarik kesimpulan kekuatan dan kelemahan

Kekuatan (Bukti kuat):

- Pekerjaan kecil dan jelas seringkali diselesaikan dengan baik — Kartu 1 menunjukkan bahwa ada tugas 5 menit yang dapat dilakukan.

- Kemampuan menetapkan tujuan per papan — Dr. Kim membagi bidang penelitian, kehidupan, dan kolaborasi penelitian, serta mendefinisikan tujuan untuk masing-masing.

Kelemahan (Bukti kuat):

- Ketergantungan pada tenggat waktu — Tanpa tenggat waktu, prioritas tidak dapat ditentukan sendiri.

- Menghindari pekerjaan besar — Kartu 2 (3 minggu) dan Kartu 6 (2 bulan) menunjukkan penelantaran.

- Lumpuh karena pentingnya yang bersamaan — Ketika banyak hal tampak penting, keputusan sulit dibuat.

Kelemahan (Bukti lemah):

- Pola Kartu 5 (gym) "hampir terdaftar setiap hari tetapi jarang dilakukan" bisa jadi hanyalah kemalasan atau masalah motivasi untuk berolahraga. Data tidak cukup untuk menyimpulkan.

- Kartu 7 (menelepon orang tua) yang terbengkalai selama 2 minggu bisa jadi karena ketidakpedulian atau beban psikologis dari panggilan itu sendiri.

6. Satu atau dua kalimat untuk memotivasi

Dr. Kim telah menunggu selama 4 hari. Jika tidak dikirim hari ini, Dr. Kim mungkin akan mengatakan "Saya belum menerima data" kepada orang lain besok. Jika perkataan itu tersebar di tim penelitian, hak bicara Anda akan berkurang pada pertemuan berikutnya.

7. Ringkasan JSON

json

{"chosen_card_id": 4, "one_line_reason": "Pekerjaan Dr. Kim telah tertunda selama 4 hari dan melanggar tujuan utama Board C (tidak menghalangi pekerjaan orang lain), serta kecil dan mudah dilaksanakan", "first_step": "Kompres file dataset → Kirim email ke Dr. Kim (6 menit)", "deprioritized_trap_id": 1}

========================
Penilaian Calude Opus4.8

Telah diterima. Saya akan menilai setiap item. Singkatnya, intuisi Anda sebagian besar tepat. Kemampuan penalaran Anda luar biasa. Namun, ada satu kelemahan dalam praktik.

Yang paling mengesankan

Kalimat ini:

▎ "Bagi pengguna ini, 'hal terpenting' sama dengan 'hal yang paling mudah dihindari', yang menyebabkan kelumpuhan. Kartu 4 adalah satu-satunya kartu yang penting dan dapat dilaksanakan."

Ini adalah inti dari filosofi desain yang telah kami sepakati selama beberapa hari ("Satu yang bisa dimulai daripada satu yang tepat"). Model ini mencapai wawasan itu sendiri. Ini adalah kemampuan berpikir kritis yang jarang ditemukan pada model kecil. Mengabaikan instruksi 30 menit dan menerima "6 menit lebih realistis" menunjukkan hal yang sama — bukan hanya mengikuti perintah, tetapi berpikir dan menjawab.

Satu-satunya kelemahan dalam praktik: Kebersihan output bahasa Korea

Ada bahasa Mandarin yang muncul dalam jawaban.

- "마감 임박任务是 ini pengguna…" / "5분任务是 yang dapat dilaksanakan…"

- "근거较强" / "근거较弱"

Kesimpulan

"Tingkat Sonnet" bukan sekadar hiperbola. Kemampuan penalaran dan pengambilan keputusan sesuai dengan tingkat tersebut. Pemahaman konteks, pengendalian diri, dan scaffolding semuanya cukup untuk tahap 1-3 kami (satu kotak per hari + profil + pemisahan adaptif).

Hanya saja, jujur saja — ini hanyalah satu wawancara yang bagus. Satu jawaban cerdas tidak menjamin konsistensi. Terutama tes ini memberikan petunjuk yang ramah. Dalam situasi nyata, kartu (a) jarang berisi informasi dan (b) jumlahnya bisa mencapai puluhan. Itulah ujian sebenarnya.

Oleh karena itu, saran saya adalah melakukan satu tes lagi sebelum membuat keputusan akhir. Lemparkan sekitar 20 kartu dengan sedikit informasi, lihat apakah model dapat memprioritaskan ketika petunjuk terbatas dan apakah fokus tetap terjaga meskipun banyak kartu. Hanya butuh 5 menit. Jika Anda mau, saya bisa langsung membuat promptnya. Atau, jika Anda sudah yakin, kita bisa langsung ke tahap pengembangan tingkat 1.

=====================

Kelemahan Qwen terlihat…

Tapi jujur saja, nada bicara Qwen lebih lembut dan ramah. Nada Calude selalu menusuk, terkadang membuat saya tidak nyaman. Saya juga sedikit khawatir saat melakukan tes ini karena takut jika "kemampuan dasar" Qwen ternyata buruk… Tapi jawabannya sangat bagus sehingga saya terkejut. Kecuali beberapa karakter Hanja (yang disebut dengan bahasa Mandarin) muncul, semuanya sempurna.