개발자들이 NVIDIA GeForce RTX 20·30·40 시리즈의 GPU 연산 제한을 우회해 특정 AI 연산 성능을 최대 2배 높임
RTX 3090 Ti는 BF16 행렬 곱셈 성능이 최대 80%, RTX 4090은 FP16 텐서 연산 처리량이 165.6에서 331.6 TFLOPS로 증가
개조 후에도 기본 NVIDIA 드라이버와 CUDA를 사용할 수 있으며, 로컬 LLM의 프리필·디코드 처리량 향상이 기대
단, 부팅 시 개조를 활성화해야 하고 그래픽카드 보증이 무효화될 수 있으며, 성능 향상 폭은 GPU와 작업 유형에 따라 달라짐
며칠전부터 관련 보도자료가 계속나오는데 다모앙에는 해당 게시물이 없어 옮겨봅니다.
그리고 이는 AI 연산에만 해당하고, 게임 성능 향상과는 무관하다고 합니다. ㅜㅜ
LLM 쓰시는 분들에게 좋은 소식이기를...
▶ 원문 출처: https://www.techpowerup.com/354110/geforce-unlocked-modders-boost-rtx-20-rtx-30-and-rtx-40-compute-performance-by-up-to-2x
