Beberapa hari yang lalu saya menulis tentang penyesuaian model saham.
Setelah menggunakannya beberapa hari, phi4 memang bagus, tetapi konteksnya terlalu kecil, hanya 16k...
Model lain bisa mencapai 128k.
phi4 dibuat pada tahun 2024, jadi mungkin Microsoft tidak lagi membuat model. Kinerjanya bagus, tetapi konteksnya kecil sehingga sepertinya tidak cocok untuk laporan saham.
Saya telah mengimpor model qwen3-14b dan melakukan penyesuaian halus.
phi4 dikhususkan untuk matematika dan statistik, jadi kualitasnya lebih baik daripada qwen3. ... Tetapi 14b tidak memiliki alternatif lain, jadi saya memilih qwen3 karena memiliki konteks 128k.
Hmm....
Ehm...
Saya merasa ada yang salah, jadi saya bertanya pada berbagai AI. Mereka mengatakan bahwa model itu sendiri kurang baik dan penyesuaian halus tidak akan banyak berubah. Saya kecewa, lalu saya berpikir apakah data penyesuaian saya yang salah???
Jadi saya melakukan riset.
Saya menemukan bahwa kualitas lebih penting daripada kuantitas. Sebelumnya, saya memasukkan data apa saja dan formatnya tidak teratur.
Sekarang saya membuat sekitar 1000 contoh menggunakan data resmi dari bursa efek, buku teks keuangan gratis, dan contoh Q&A.
Ada penelitian yang mengatakan bahwa 1000 contoh buku teks berkualitas lebih baik daripada 10.000 contoh acak, jadi saya mengikutinya.
Saya terus lupa bahwa LLM harus dilatih seperti manusia. Saya berasumsi komputer dapat mempelajari sendiri dengan data apa pun, tetapi itu adalah makro yang dibuat oleh pengembang. Saya terus melupakan hal sederhana ini.
