Ada hasil benchmark di Reddit yang saya bawa.
Saya telah merangkum konten asli secara singkat.
Ini disebut 'MineBench', sebuah benchmark open-source yang menguji kualitas konstruksi dengan memberikan prompt kepada AI dan membiarkannya mengeluarkan koordinat struktur 3D bergaya Minecraft (JSON). Ini adalah data perbandingan antara Claude Fable 5 yang baru dirilis dan Opus 4.8 yang sudah ada.
1. Kecepatan dan Biaya (Berdasarkan uji 15 build)
2. Kualitas Build (Evaluasi Subjektif)
Detailnya sangat menakjubkan. Ukurannya tidak sebesarnya perubahan skor benchmark resmi, tetapi obsesi terhadap detail sangat mengesankan. Sebagai contoh, ketika diminta membuat 'Arcade Machine', model ini adalah yang pertama yang berhasil mengimplementasikan dengan akurat tidak hanya tata letak Pac-Man di layar, tetapi juga papan skor dan indikator '1UP'.
Namun, ini menginterpretasikan prompt secara agak konservatif. Karena skalanya sendiri tidak menjadi lebih besar secara megah, ada beberapa build yang terlihat lebih mengesankan dengan hasil Opus 4.8. Secara keseluruhan, terasa seperti hanya membuat apa yang diperlukan dengan cara yang efisien dan kompak.
Deduksi Kinerja Pengkodean Menurut pengguna pengujian, mereka menduga bahwa Fable diakui sebagai yang terbaik dalam pengkodean karena karakteristiknya yang menghasilkan kode yang intuitif dan bersih tanpa hal-hal yang tidak perlu.
3. Tips untuk Mereka yang Ingin Menguji (Umpan balik Tim VoxelBench)
Karena Fable 5 cenderung membuat struktur sedikit lebih kecil secara default, menambahkan dua baris berikut ke template prompt dikatakan akan meningkatkan kualitas dan ukuran secara dramatis.
Singkatnya, Fable 5 adalah "gaya segi enam yang rapat, biayanya sedikit lebih tinggi tetapi cepat, tidak banyak basa-basi, dan terobsesi dengan detail".
Setelah melihat hasil benchmark, rasanya Fable5 dan Opus4.8 seperti kertas yang berbeda, bukan?
Bagian biaya dikatakan tidak setinggi yang dipikirkan, tetapi saya pikir saya masih harus menahan diri dalam mengevaluasinya.
