현재 두개다 DGX 스파크 2노드에서 돌렸습니다. 현재 연결은 직결은 아니고 MIKRO CRS 504에 스위치에 연결되 있고요.
속도는 QWEN 3.8FN이 압도적으로 빠릅니다.
그런데 문제가 QWEN 3.8FN 의 경우 30분마다 이상한 루프에 빠집니다.좀 이해가 안가는 상황인데요. 계속 "!!!!" 문자를 찍으면서 의미없는 토큰을 생성합니다. Thinking 을 끄면 발생하지 않는거 같은데 정확한것은 좀 더 확인을 해봐야 할거같습니다.
GLM 5.3 F 도 동일조건으로 돌렸는데 toks 측정치에 비해 속도는 나쁘지 않은거 같습니다.
품질테스트로 한 줄 프롬포트로 "테트리스 만들어줘" 했을때 결과물은 의외로 QWEN 3.8 FL이 나아 보입니다.
둘다 버그가 있긴 했지만 QWEN의 경우 NEXT 블럭이 나오는 부분이 갱신이 안되는 것 하나 나왔고,
GLM의 경우 NEXT블럭이 갱신이 안되는 것 멀티 블럭 삭제시 한줄이 남는것, 홀드시 블럭이 표시안됨 등 세가지 가 나왔습니다. 물론 이거 하나만 가지고 판단할 수는 없지만 오히려 GLM이 더 나을거라고 생각했는데 약간 실망입니다.
그리고 다음 한 줄 프롬포트로 "갤러그 만들어줘" 는 GLM이 좀 더 갤러그 게임을 이해를 잘한 것 같습니다.ㅎㅎ 소리까지 넣는거 보고 깜짝 놀랐습니다.
아직 나온지 하루 정도밖에 안지나서 더 테스트 해봐야 겠 지만 하나 확실한 건 두개다 왠만큼 프론티어를 따라간다는것은 부정할수 없는 사실인거 같습니다.
상당히 놀랍네요.ㅎㅎㅎ
그냥 재미로 참조만 해주세요~
| QWEN 3.8 FLASH NEXT NVFP4 | GLM 5.3 FLASH NVFP4 |
|---|
단일 스트림 | 47.6 tok/s | 21.9~33.3 tok/s |
TTFT | 0.16초 | 0.43초 |
동시 4 (집계) | 119.1 tok/s | 50.6 tok/s |
스트림당 @4 | 29.8 | 12.6 |
QWEN3.8 FLASH NEXT
GLM 5.3 FLASH
