RTX 3090 24GB에서 DiffusionGemma 26B-A4B-it Q4_K_M GGUF 테스트.
프롬프트: "Explain DeepMind."
최고 raw TPS는 max_steps=4에서 222.8 tok/s였지만 출력은 깨졌습니다.
영어 기준 실사용 가능한 지점은 max_steps=24의 49.5 tok/s 전후로 측정됩니다.
보수적 품질 설정 max_steps=48은 42.9 tok/s였습니다.
영어가 더 잘나올 줄 알았는데 비슷한 것 같습니다.
샘플 요약:
max_steps=4:
DeepMind is a British artificial intelligence (AI) research laboratory based in London
subsidiary of subsidiary of subsidiary subsidiary parent parent...
max_steps=12:
DeepMind is a British artificial intelligence research laboratory based in London. It is a
subsidiary of Alphabet Inc...
...
AlphaZero ... playing playing against itself ... surpassing surpassing...
max_steps=24는 영어 답변이 꽤 쓸 만했습니다. 다만 같은 문단을 반복하는 현상이 있습니다.
max_steps=48도 가장 안정적이지만 완전히 깨끗하진 않습니다.
