This post has not been translated to English yet. Showing the original text.
취미로 프리트레이닝으로 모델 2개 제작중임미다
제대로 공부해서 하는게 아니라 게임 오토봇용으로 개조하기 위해 만드는 중이라 일반 모델보다 성능이 딸릴거고 많은 기대도 안 하고 있슴미다
100m짜리는 8에포크를 했고 1에포크당 17~19시간씩 걸렸슴미다
0.63b는 3주 걸렸슴미다 그릇 만들고 영어 언어 데이터 넣고 1에포크 돌리는데 이정도 임미다
100m은 3060 랩탑으로 했고 언락 해서 속도가 27000~28000토큰정도 나왔슴미다
0.63b는 2스파크로 클러스터링으로 했는데 합친 속도가 9700토큰 나왔슴미다
사이즈가 커서 학습이 느린거 같고 램 대역 문제도 있는거 같슴미다
100m은 8에포크라서 여러 데이터를 그냥 막 넣었는데 0.63b 언어만 학습한 1에포크한 모델보다 딸림미다 역시 체급이 깡패죠
rtx pro 6000 갖고 시프다요 a100 갖고 시프다요 임미다 ㅜㅠ
