model: deepseek-v4-flash-0731
[batch] p1 answer ... 422 tok in 30 s (14.0 tok/s), 0 answer chars, 4436 reasoning chars, <= 15.8 h left
[batch] p1 answer ... 846 tok in 60 s (14.1 tok/s), 0 answer chars, 9732 reasoning chars, <= 15.8 h left
[batch] p1 answer ... 1273 tok in 2 min (14.1 tok/s), 0 answer chars, 14807 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 1692 tok in 2 min (14.1 tok/s), 0 answer chars, 19498 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 2119 tok in 3 min (14.1 tok/s), 0 answer chars, 24208 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 2540 tok in 3 min (14.1 tok/s), 0 answer chars, 29422 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 2961 tok in 4 min (14.1 tok/s), 0 answer chars, 34814 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 3381 tok in 4 min (14.1 tok/s), 0 answer chars, 40060 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 3801 tok in 5 min (14.1 tok/s), 0 answer chars, 45535 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 4223 tok in 5 min (14.1 tok/s), 0 answer chars, 50300 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 4641 tok in 6 min (14.0 tok/s), 0 answer chars, 54854 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 5061 tok in 6 min (14.0 tok/s), 0 answer chars, 59818 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 5479 tok in 7 min (14.0 tok/s), 0 answer chars, 65113 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 5895 tok in 7 min (14.0 tok/s), 0 answer chars, 70328 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 6312 tok in 8 min (14.0 tok/s), 0 answer chars, 75546 reasoning chars, <= 15.7 h left
[batch] p1 answer ... 6734 tok in 8 min (14.0 tok/s), 0 answer chars, 80835 reasoning chars, <= 15.7 h left
셋팅은 어제부터해서 오늘 어느정도 셋팅을 마무리하고 돌려보니
약 14tok/s 정도 나옵니다
여기에 Fable이 분석했던 방법을 그대로 도입해 답변을 받아보는데
테스트에서는 그래도 납득할만한 수준의 답을 얻었기때문에 상당히 놀라는중입니다.
100B 이하 모델에 비해 답변이 상당히 정확한편이라 어제부터 살짝 놀라는중인데
확실히 1M context와 파라미터수가 일단은 깡패라는 생각이듭니다.
DGX SPARK두대를 굴려보니 512G달려있던 맥스튜디오를 사지 않은게 조금 후회가 되긴하지만
하드웨어적으로 여기서 더 확장은 가성비가 너무 떨어지다보니..
시간이 지나면 좀 더 똑똑한 오픈 웨이트 모델이 공개되지 않을까 기대를 해 봅니다.
