FreeToken 삽질 후기

74

제 랩 시스템은 현재 Gold 6146에 DDR4 2400t로 6채널 풀뱅되어 있습니다.

대략 메모리 대역폭 90~100GB 정도 나온다고 볼 수 있구요.

여기에 5060ti 16GB 듀얼 쓰고 있습니다.

  • TP 1만 지원합니다. <- 5060ti가 2개 달려 있으나, 1개 밖에 못써요.

  • 싱글 GPU로 DeepSeek-V4-Flash-0731 돌려보니 대략 13~14 t/s

돌아가긴 합니다만... 실용적이진 않은 것 같아요.

내부 구조가 어떻게된건지 모르겠지만...

지원 모델로 나와 있는 것만 도는 것 같아요.

혹시나하고 Qwen3-Coder-Next-FP8 받아서 해봤으나, 동작 안합니다. ㅠ.ㅠ

로그인한 회원만 댓글 등록이 가능합니다.

개발한당

KR | ID | EN
  • IDR
  • KOR
7.53 ▲ 0.01

2026.10.09 KEB 하나은행 고시회차 1738회

다가오는 한인 행사일정

  • 등록 된 일정이 없어요!