Artikel dari Pusat Standar dan Inovasi Kecerdasan Buatan (CAISI) Institut Nasional Standar dan Teknologi Amerika Serikat (NIST)
https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro
Beberapa bagian diterjemahkan oleh GPT-5.5 Thinking.
Pada April 2026, Pusat Inovasi dan Standar Kecerdasan Buatan (CAISI) mengevaluasi model AI open-weight DeepSeek V4 Pro (selanjutnya disebut "DeepSeek V4"). Menurut evaluasi CAISI, kemampuan DeepSeek V4 tertinggal sekitar 8 bulan dari model frontier.
DeepSeek V4 adalah model yang menunjukkan kinerja terbaik di antara model AI Tiongkok yang dievaluasi oleh CAISI. Evaluasi CAISI mencakup bidang siber, rekayasa perangkat lunak, ilmu alam, penalaran abstrak, dan matematika.
DeepSeek V4 mencatat skor yang lebih tinggi dalam evaluasi internal DeepSeek dibandingkan dengan evaluasi CAISI. Data DeepSeek menyatakan bahwa DeepSeek V4 memiliki kemampuan yang setara dengan Opus 4.6 atau GPT-5.4 yang dirilis sekitar 2 bulan sebelumnya. Namun, berdasarkan evaluasi CAISI yang mencakup benchmark yang tidak dipublikasikan, DeepSeek V4 menunjukkan kinerja yang mirip dengan GPT-5 yang dirilis sekitar 8 bulan sebelumnya.
DeepSeek V4 memiliki efisiensi biaya yang lebih tinggi dibandingkan model lain dengan kemampuan serupa. Dibandingkan dengan model standar Amerika Serikat dengan daya saing biaya tertinggi, GPT-5.4 mini, DeepSeek V4 menunjukkan efisiensi biaya yang lebih tinggi dalam 5 dari 7 benchmark. Dalam 7 benchmark tersebut, biaya DeepSeek V4 berkisar antara 53% lebih rendah hingga 41% lebih tinggi dibandingkan GPT-5.4 mini.
[Untuk sisa konten, silakan lihat tautan.]
