작은 모델인데 0.6b 사이즈 모델임미다
기존 모바일용으로 작게 만들려고 했는데 100m짜리 모델 만들었더니 지능이 아니라 외워서 대답하는 수준이라 임배딩과 별 차이가 없어서 게임 플레이용으로 너무 단일게임용이라고 생각이 되서 최소한 지능이 있어서 게임을 인지하고 다른거 확인하고 거기에 맞춰 줄 수 있는 최소 수준에서 조금 더 올렸슴미다
일반 공개 모델들 중 0.4b가 최소 리밋인거 같은데 전 이런 모델들에 집어 넣을 양질의 데이터와 컴퓨팅파워가 없기에 집에 있는 스파크2대를 이용해서 시간과 전력을 녹여서 천천히 그리고 모델 내부 데이터를 빡빡 하게 채워 넣는게 아니라 조금 널널하게 채워 넣을 생각이라 0.6b 파라미터지만 실제로는 0.4b보다 성능이 많이 딸릴검미다
하지만 일단 기초 모델을 만들어 놓으면 여기에 파인튜닝도 lora도 다 물고 뜯고 할 수 있으니 기초부터 만들고 있슴미다... 클로드가 만들고 있슴미다
일반 공개모델이 훨씬 좋은건 알지만 엄청 압축이 되어있어서 파인튜닝시 생각보다 효율이 좋지 않고 공개모델 대부분이 중국모델이라 중국어가 튀어나오는걸 막기위해 영어 한국어 일본어 까지만 넣고 돌리는 중 임미다
영어 일본어는 고전게임부터 최신게임까지 이 두 언어가 기본이고 한글은 한국게임도 돌릴 예정이라 일단 3개 언어를 넣고 제작중임미다
3주정도 계속 돌린다고 생각하면 스파크로 최신 모델 돌리는 취미생활은 당분간 접어야 함미다 흙흙
