https://github.com/1ordo/strix-halo-unsloth?utm_source=chatgpt.com
로컬모델로 실제 쓸만하게 사용하는건 30b정도? 인듯 함미다
그래서 전 파인튜닝 할 모델로 14b모델을 가져와서 파인튜닝을 준비 하는데 amd가 이렇게 문제가 되는지 출시 1년이 넘은 프로세서의 드라이버가 안 나와서 문제가 있는지 몰랐었슴미다
그냥 모델을 올라마나 lmstudio에서 사용하는데는 문제가 없지만 파인튜닝을 하려면 지금 정식으로 나온게 없고 편법을 사용해야 파인튜닝이 가능함미다
그래서 구글링을 통해 깃허브에서 이런 방법이 있다 라는걸 찾았고 페도라43버전을 사용하게 되었슴미다 다른 컴들은 다 우분투인데...
업데이트도 다 막고 특정버전의 os와 파이토치와 특정 커널만 사용이 확인되었고 처음 우분투로 설치했을때는 아무리 해도 ai에이전트가 힘내봐도 안 되서 이런 방법이 있다고 알려주니 적용하고 파인튜닝이 되었슴미다
혹시나 이 프로세서를 사용하시는 분은 파인튜닝까지 생각하시면 이런 방법이 있다 라는것만 알아두시면 됨미다 파인튜닝 안 하시면 그냥 사용하시면 되요
6월말이나 7월초에 amd가 뭔가를 발표 한다고 하는데 그때쯤 이것에 대한 드라이버가 나올거라고 기대를 하고 있슴미다
