Ternyata ada seseorang di luar negeri yang melakukan analisis tokenizer Claude 4.7 secara langsung.
Sumber asli: https://www.claudecodecamp.com/p/i-measured-claude-4-7-s-new-tokenizer-here-s-what-it-costs-you
Ringkasannya adalah sebagai berikut.
Analisis Tokenizer Baru Claude 4.7: Peningkatan Penggunaan Token dan Dampak Biaya Nyata
Kesimpulan Inti
Dokumentasi resmi Anthropic menunjukkan bahwa tokenizer baru Claude 4.7 menggunakan 1,0~1,35 kali lebih banyak token dibandingkan dengan 4.6 yang sudah ada. Namun, berdasarkan pengukuran dengan konten aktual, peningkatan penggunaan token mencapai 1,47 kali dalam dokumen teknis dan 1,45 kali dalam file CLAUDE.md yang sebenarnya. Dengan kata lain, bagian atas kisaran resmi lebih umum terjadi di lingkungan penggunaan aktual.
Apa Arti Peningkatan Token
Daftar harga tetap sama, tetapi prompt yang sama menghabiskan lebih banyak token.
Pengguna paket Max akan melihat jendela konteks habis lebih cepat, biaya awalan yang disimpan cache juga meningkat, dan batas kecepatan juga tercapai lebih cepat.
Pada akhirnya, Anthropic mengorbankan sesuatu dan mendapatkan sesuatu yang lain. Pertanyaan utamanya adalah apa itu dan apakah itu bernilai.
Wow, benar-benar... Akhir-akhir ini setelah melakukan beberapa prompt saja langsung kena waktu tunggu 5 jam jadi saya takut untuk melakukan apa pun.
Apakah orang lain juga mengalami hal ini?
Metode Eksperimen dan Hasil
Penulis menggunakan API count_tokens untuk membandingkan jumlah token antara 4.6 dan 4.7 untuk konten yang sama.
Hasil Sampel 7 Jenis Konten Penggunaan Aktual
Jenis Konten | Token 4.6 | Token 4.7 | Tingkat Peningkatan |
|---|
File CLAUDE.md | 1.399 | 2.021 | 1,45 kali |
Prompt Pengguna | 1.122 | 1.541 | 1,37 kali |
Postingan Blog | 1.209 | 1.654 | 1,37 kali |
Log Komit Git | 910 | 1.223 | 1,34 kali |
Output Terminal | 652 | 842 | 1,29 kali |
Stack Trace Python | 1.736 | 2.170 | 1,25 kali |
Perbedaan Kode | 1.226 | 1.486 | 1,21 kali |
Rata-rata Tertimbang Keseluruhan: Peningkatan sekitar 1,33 kali
Perbedaan menurut Jenis Konten
Bahasa Inggris dan Kode: Peningkatan 1,20~1,47 kali (dokumen teknis paling tinggi)
CJK (Cina, Jepang, Korea): 1,01 kali hampir tidak ada perubahan
Data Terstruktur seperti JSON/CSV: Peningkatan relatif lebih rendah yaitu 1,07~1,13 kali
Mengapa Lebih Banyak Token Digunakan?
Dengan menganalisis pola perubahan tokenizer:
CJK, emoji, dan simbol memiliki perubahan kosakata kecil sehingga tingkat peningkatan token rendah
Bahasa Inggris dan kode cenderung dibagi menjadi unit subword yang lebih pendek → peningkatan jumlah token
Kode memiliki banyak kata kunci dan pengenal yang berulang, sehingga selama pembelajaran BPE kemungkinan dipotong menjadi unit yang lebih kecil lebih besar
Dengan kata lain, diperkirakan bahwa tokenizer telah diubah untuk merepresentasikan teks yang sama dalam unit yang lebih kecil.
Keuntungan dari Perubahan Ini: Peningkatan Akurasi Kepatuhan Instruksi?
Anthropic menampilkan "kepatuhan instruksi yang lebih akurat, khususnya tidak menggeneralisasi bahkan pada tingkat upaya yang rendah" sebagai keuntungan.
Penulis memverifikasinya dengan benchmark IFEval (sampling 20 prompt):
Kriteria Ketat (Strict): 4.6 (85%) → 4.7 (90%), +5%p peningkatan
Kriteria Longgar (Loose): Kedua model sama-sama 90% tanpa perbedaan
Kesimpulan: Ada perbaikan yang terukur namun kecil, tetapi tidak dapat dilihat sebagai "peningkatan dramatis". Karena ukuran sampel kecil dan perubahan bobot serta pembelajaran pasca-pelatihan juga tercermin bersama-sama, sulit untuk menentukan hubungan sebab akibat.
Simulasi Biaya Sesi Nyata
Dengan asumsi sesi coding skala 80 putaran:
Item | Claude 4.6 | Claude 4.7 |
|---|
Cache Write (1 kali) | $0.05 | $0.06 |
Cache Read (79 kali) | $3.40 | $4.54 |
Input Baru | $0.20 | $0.26 |
Generasi Output | $3.00 | $3.00~$3.90 |
Total | ~$6.65 | ~$7.86~$8.76 |
→ Peningkatan biaya sekitar 20~30% per sesi. Meskipun harga per token tetap sama, lebih banyak token dikonsumsi untuk tugas yang sama.
Interaksi dengan Cache Prompt
Cache Invalidation saat Switching Model: Saat beralih dari 4.6 → 4.7, cache yang ada diinisialisasi ulang, dan biaya penulisan cache baru juga meningkat 1,3~1,45 kali
Peningkatan Volume Cache: Token itu sendiri yang disimpan dalam cache bertambah, sehingga biaya baca/tulis meningkat
Perubahan Metrik Observasi: Walaupun transkripnya sama, hitungan token berbeda, jadi perlu hati-hati saat menganalisis berdasarkan log yang ada
Kesimpulan: Apakah Ini Pertukaran Nilai yang Sepadan?
Biaya: Untuk pekerjaan berbasis Inggris/kode, penggunaan token meningkat 1,3~1,45 kali → peningkatan biaya 20~30% per sesi
Keuntungan: Akurasi kepatuhan instruksi ketat meningkat sekitar +5%p (berdasarkan sampel kecil)
"Apakah peningkatan akurasi kecil ini membenarkan biaya tambahan?" tergantung pada beban kerja pengguna.
Jika kepatuhan yang akurat terhadap instruksi sangat penting untuk tugas Anda, ini mungkin bernilai.
Di sisi lain, untuk penggunaan asisten koding umum, peningkatan biaya mungkin terasa lebih signifikan.
