Postingan ini belum diterjemahkan ke Bahasa Indonesia. Menampilkan teks asli.
AI에게 원고 교정/교열용 모델 추천해달라했더니 Exaone이 있더라고요
그래서 https://huggingface.co/LGAI-EXAONE/EXAONE-4.5-33B-AWQ 를 한번 돌려보려고 시도해봤습니다.
제 환경(5060ti x 2)인지 vllm으로는 결국 동작 못시켰고,
llama.cpp에서 q4 로 돌려봤습니다.
대략 30t/s 정도 나오더라구요.
예제 문장 몇개 올리고 해봤는데...
뭔가 교과서 같은 문장을 제안해주더라구요.
나쁘지는 않은 것 같으나, 뭔가 저랑은 안 맞는 것 같습니다.
교열 보다는 맞춤법 교정용 정도로 써야하나 싶습니다.
참고로 strata에서 iq3은 어떤가하고 하나 요청해봤더니 루프걸리더라구요 ㅠ.ㅠ