Saya hanya tahu cara menggunakan chatgpt dan gemini, saya tidak pernah memikirkan tentang penyetelannya.
Saat itu, saya ingin mengimplementasikan AI ke dalam pekerjaan yang sedang saya lakukan, dan karena masalah keamanan, saya tidak diizinkan untuk mengunggah data ke AI berbasis web.
Saya hanya berpikir tentang LLM dan melakukan instalasi yang sangat sederhana. Saya hanya memeriksa apakah itu berfungsi atau tidak.
Saat memeriksa workstation yang sedang saya gunakan, ternyata ada RTX 2000 ADA atau RTX PRO 2000 blackwell.
Kedua modelnya berukuran 16G, tetapi untuk menjalankan AI secara serius, model ini sangat kurang.
Bagaimanapun, saya mengunduh model qwen3.5-4B sebagai uji coba di workstation saya.
Saya membuat generator contoh yang sangat sederhana dan melatihnya melalui contoh tersebut.
Meskipun modelnya berukuran 4B, pelatihan menggunakan lebih dari 9G memori. Karena keterbatasan perangkat keras, hal ini terasa agak pahit.
Sebelum pelatihan, setelah 100, 1000, dan 10000 kali pelatihan, saya memberikan masalah yang sama sekali sederhana dan meminta mereka untuk menyelesaikannya.
Sebelum pelatihan: Itu berpikir tentang sesuatu tetapi tidak dapat menemukan jawaban dalam batasan token.
100: Cara berpikirnya berubah dan itu menghasilkan beberapa hasil, tetapi jawabannya salah.
1000: Pemikiran menjadi jauh lebih sederhana daripada 100 kali dan menemukan jawaban yang benar.
10000: Pemikiran sedikit lebih panjang daripada 1000 kali, tetapi juga menemukan penyebabnya dengan tepat dan memberikan jawaban yang benar.
Ini masih merupakan tingkat dasar yang sangat berbeda dari praktik, tetapi saya sangat terkejut melihat proses pembelajaran AI untuk pertama kalinya.
Saat ini, saya hanya memperkirakan 4 tahap pelatihan dan hanya memeriksa kemungkinan. Saya pikir akan bagus untuk melanjutkan ke tahap 1 dan memeriksa kemungkinan secara lebih spesifik.
Model 4B ini membuat saya penasaran dengan model 30B, 70B, dan 120B... Akhirnya, saya membeli ASUS Ascent GX10 (DGX SPARK) kemarin... (Tiba-tiba ada model 1Tb seharga 3560 euro...)
Saya ingin mengembangkan hasil ini lebih lanjut dan membuat proyek untuk meminta akses ke cluster di tempat kerja yang menggunakan A100.
