취미로 프리트레이닝으로 모델 2개 제작중임미다
제대로 공부해서 하는게 아니라 게임 오토봇용으로 개조하기 위해 만드는 중이라 일반 모델보다 성능이 딸릴거고 많은 기대도 안 하고 있슴미다
100m짜리는 8에포크를 했고 1에포크당 17~19시간씩 걸렸슴미다
0.63b는 3주 걸렸슴미다 그릇 만들고 영어 언어 데이터 넣고 1에포크 돌리는데 이정도 임미다
100m은 3060 랩탑으로 했고 언락 해서 속도가 27000~28000토큰정도 나왔슴미다
0.63b는 2스파크로 클러스터링으로 했는데 합친 속도가 9700토큰 나왔슴미다
사이즈가 커서 학습이 느린거 같고 램 대역 문제도 있는거 같슴미다
100m은 8에포크라서 여러 데이터를 그냥 막 넣었는데 0.63b 언어만 학습한 1에포크한 모델보다 딸림미다 역시 체급이 깡패죠
rtx pro 6000 갖고 시프다요 a100 갖고 시프다요 임미다 ㅜㅠ
