This post has not been translated to English yet. Showing the original text.
LLM Wiki의 구조를 좀 바꿔서 새로 인제스트해야 합니다. 대략 약 천건이구요.
앞서 올렸던 gittensor-model-hub/Qwen3.8-27B-NVFP4-RTX5090 와 vllm 조합 진행할 생각으로 테스트로 몇건 돌렸습니다. 생각보다 5분 이상 소요되는 것이 많아, 페북에 글을 올렸더니 지인이 리즈닝 관련 한번 보라하더라구요. 그러고 저녁에 유튜브 보다보니 이런걸 봤습니다.
생각해보니, llm wiki 인제스트 과정도 코딩과 비슷한 상황으로 진행되더라구요. 그래서 Swift 1.5와 한번 비교해보자하고 간단히 5개 인제스트 시간 비교해봤습니다.
비교 모델
- gittensor-model-hub/Qwen3.8-27B-NVFP4-RTX5090 : 블랙웰 환경 최적이라 tps는 Swift 보다 잘나오는 느낌
- Swift 1.5 Qwen3.8-27B-NVFP4 : 측정은 안했으나 위 모델 대비 10~20% 정도 tps 떨어진 것 같은...
- 둘다 리즈닝 medium 으로 실행
1. 7:35 vs 7:58
2. 8:09 vs 6:02
3 11:09 vs 5:58s
4. 6:51 vs 4:25s
5. 5:08 vs 3:46s
샘플 수가 적기는 하지만 Swift 1.5쪽이 시간이 덜 걸리는 경우가 많음. 2~30% 빠르게 처리한 것 같아요. 문서 번역 상태는 비슷한 것 같고, 다만 정리 형식은 둘이 차이가 많이 납니다. 다행히 Swift 1.5쪽이 제 취향 같아요.
