Halo
Lama tidak menulis, kali ini saya akan mengunggah tulisan lagi
Selama beberapa bulan terakhir saya terlibat dalam proyek dan sibuk sehingga tidak bisa memperhatikan berita tentang AI atau pembelajaran...
Proyek yang saya ikuti sekarang adalah proyek BI, dan kami sedang mengerjakan proyek untuk mengubah ETL yang sudah ada menjadi ELT yang disebut DBT
Saya ingin berbagi kesan-kesan yang saya rasakan saat menggunakan Claude sebagai alat utama untuk pekerjaan konversi
Keterbatasan LLM
LLM tidak cocok untuk menganalisis dan mengkonversi sistem yang sudah ada seperti yang dipikirkan
- Diduga penyebabnya adalah bahwa hasil analisis tidak konsisten
- Hasil yang lebih baik diperoleh dengan membuat program analisis mekanis berbasis aturan
LLM hampir tidak memiliki pengetahuan tentang program komersial
- Sebagian besar alat komersial di bidang BI memiliki informasi yang tertutup sehingga tidak memiliki pengetahuan internal
- Saat menjalankan proyek, kita harus mengajar LLM sambil mengumpulkan pengetahuan
- Penting untuk membangun dokumentasi dan struktur database sehingga LLM dapat memanfaatkan pengetahuan yang telah dikumpulkan dengan baik
Jangan mempercayai hasil analisis LLM
- Bahkan setelah proses di atas, hasil analisis LLM tidak sempurna
- Pengguna harus selalu mencurigai hasil LLM dan melacaknya sampai akhir untuk memastikan mendapatkan hasil yang benar
LLM mudah membuat kesimpulan
- Cenderung menggunakan interpretasi yang tidak pasti sebagai kesimpulan dari hasil parsial yang diperluas
- Pastikan untuk mengingatkan poin perhatian pengguna nomor 3 saat menginstruksikan pekerjaan kepada LLM
LLM dalam Proyek
Kurangnya evaluasi terhadap keterbatasan pada item 1 oleh klien dan anggota proyek
- Klien dan anggota proyek yang tidak mengetahui proses derivasi data analisis sering kali salah menganggap bahwa hasil tersebut mudah diperoleh, atau memiliki kepercayaan yang berlebihan terhadap hasil
- Perlu mengingatkan secara berkala tentang keterbatasan AI
Berhati-hati terhadap perluasan fungsi dan ruang lingkup yang berlebihan karena penggunaan LLM
- LLM sering menunjukkan kecenderungan untuk memperluas pekerjaan dengan memeriksa kasus serupa ketika diperintahkan untuk menganalisis masalah tertentu
- Pengguna juga mengalami kasus di mana mereka memperluas ruang lingkup pemrosesan setelah melihat respons LLM
- Kemampuan pemrosesan LLM yang luar biasa dan perluasan pekerjaan yang dihasilkan mungkin tampak tidak masalah pada awalnya, tetapi verifikasi dan penanganan pekerjaan tersebut di kemudian hari adalah tanggung jawab pengguna
Tingkat pemahaman anggota proyek tentang AI, pemrograman, dll.
- Status adopsi AI di bidang BI adalah kurang dari 10 persen pada Maret 2026
- Komposisi kelompok usia di pasar proyek BI (mereka yang lahir di pertengahan tahun 70-an masih menjadi mayoritas) berarti pemahaman tentang teknologi baru seperti AI relatif sedikit
- Dalam situasi menggunakan AI dalam proyek, ada kemungkinan tinggi bahwa pekerjaan akan terkonsentrasi pada personel yang melakukan pekerjaan menggunakan AI
- Diharapkan bahwa seiring dengan kemajuan proyek dan meningkatnya keahlian AI anggota proyek, ketika digabungkan dengan pengetahuan domain yang sudah ada, dapat menjadi senjata yang kuat
- Berdasarkan hal di atas, diperkirakan bahwa posisi junior akan semakin sempit di masa depan
Proyek belum selesai dan masih banyak tantangan yang tersisa, tetapi tampaknya kami telah melewati satu krisis
Rencana awal adalah meningkatkan keahlian dengan menerapkan berbagai keterampilan AI, metodologi, dll. sambil menjalankan proyek dengan AI, tetapi ketika terbebani proyek, saya menemukan bahwa alih-alih melakukan dengan metodologi PDCA yang tepat atau merencanakan, saya malah terus melakukan perbaikan sementara
Saya merasa proyek ini meninggalkan banyak penyesalan
