0.6b 모델을 제작중임미다
qwen3.5 보고 벤치마킹으로 만들고 있슴미다
스파크 2대로 돌리는 중인데 가장 기초단계에서 2주넘게 걸리네요
언어 어휘 수학 코딩 이런 기초적인것들 다 하는데 스파크 2대로 3주 정도 걸린다고 클로드가 말했슴미다
그런데 점점 욕심이 들어요 그러면 학습해야 하는 시간이 더 늘어나겠죠???
1차적으로 190억 토큰치를 학습하기로 했는데 qwen3.5는 36조 토큰치를 학습에 사용했다고 클로드가 말했슴ㅁ미다 제 스파크로 그걸 하려면 몇년이 걸린다고 하네요
190억 토큰을 gpu 대여로 최적의 상태로 한방에 성공한다는걸 전제로 하면 320~360달러가 듬미다 320은 gpu대여 40은 ssd대여 가격임미다
취미로 하는거라 집에서 스파크로 돌리는거지요
4b를 qwen만큼 학습자료를 넣는다면 억단위로 나올거 같아요
점점 로컬모델은 기존 업체들 것을 못 넘어설거 같은 느낌임미다
전 한자 뱉어 내는거 짜증이나서 어휘 학습자료를 영어 한글 일어 이렇게만 넣고 돌리는 중임미다
과연 잘 나올지 3주후에 뵙겠슴미다????
