해외 기사를 번역한 것이므로 오역이 있을 수 있습니다.
https://hothardware.com/news/nvidia-dlss-5-neural-rendering-launch-thursday
NVIDIA DLSS 5 공식 출시: 목요일 NBA 2K27과 함께 첫 선보여
지난 3월 GTC 2026에서 DLSS 5가 공개된 이후, 반응은 좋게 말해서 엇갈렸습니다. 일부 사용자들은 열렬한 찬사를 보내며 그래픽 선명도의 다음 단계 도약을 간절히 기다렸습니다. 다른 이들은 날카로운 비판을 보냈고, 그중 일부는 타당한 것이었습니다. 물론 누구도 기술을 먼저 직접 경험하고 시험해보기 전에는 진짜 의견을 형성해서는 안 되며, 이번 다가오는 목요일인 9월 3일 NBA 2K27과 함께 DLSS 5가 출시되므로 곧 기회가 올 것입니다.
엔비디아는 지난 6월 SIGGRAPH 2026에서 DLSS 5를 다시 선보였으며, 신규 그래픽 기술에 대한 더 자세한 정보를 공유했지만 시연 자체는 이전에 보여준 것과 근본적으로 유사했습니다. 이로 인해 정식 출시 시점의 DLSS 5 상태가 이전과 많이 다를지 의문이 들었습니다. 이에 대한 답은 대부분 ' 그렇다' 입니다. 이번 주에 출시되는 기술은 지난 3월에 시연된 것과 궤를 같이하지만, 6개월간의 집중적인 최적화 작업이라는 이점을 안고 있습니다.
그렇다면 DLSS 5란 정확히 무엇일까요? 이제 이전보다 훨씬 더 많은 것을 알고 있으므로 설명해보겠습니다.
엔비디아 DLSS 5 뉴럴 렌더링 핵심 요약
엔비디아는 DLSS 5가 실시간 렌더링과 실사주의(Photorealism)의 돌파구라고 말합니다. 회사는 이를 "3D 가이드 뉴럴 렌더링(3D guided neural rendering)"이라고 부르며 이것이 그래픽 기술의 미래라는 대담한 주장을 펼치고 있습니다. 우리는 오늘 그러한 주장을 평가할 준비가 되지 않았으며, 아직 자체적인 제3자 테스트를 살펴보지도 않을 것입니다. 그것은 빠르면 목요일까지 기다려야 합니다. 대신 엔비디아의 업데이트를 살펴보고 기술에 대해 이야기해 보겠습니다.
근본적으로 DLSS 5는 "실시간 렌더링을 더욱 실제처럼 보이게 만들기" 위해 의도된 디퓨전 트랜스포머 모델입니다. 단순한 필터가 아니라, 3D 비디오 게임 그래픽의 세부적인 디테일을 향상시키기 위해 특별히 최적화된 매우 전문화된 버전의 비디오 생성 모델입니다.
SIGGRAPH에서 엔비디아의 에드워드 리가 설명했듯, DLSS 5는 기반이 되는 훨씬 더 큰 모델로부터 광범위한 세계관 지식을 물려받아 장면을 더 많이 이해할 수 있습니다. 특화 과정에서 범용성은 상실하여 텍스트 프롬프트로 새 미디어를 생성할 수는 없지만, 실시간으로 실행되는 능력을 얻었습니다.
더 쉽게 말해 이미지를 이미지로 바꾸는 AI 모델이지만, 단순히 완성된 출력 버퍼를 가져와 스테이블 디퓨전이나 유사한 프로그램에 돌리는 것이 아닙니다. 우선 이 모델은 깊이 특화되어 있습니다. 또한 스테이블 디퓨전 같은 것보다 훨씬 더 똑똑합니다.
진취적인 해커들이 비교적 적은 입력 데이터로도 작동할 수 있음을 증명하긴 했지만, 완성된 컬러 버퍼 외에도 전반적인 G-버퍼로 보이는 것을 포함해 다양한 입력을 받아들일 수 있습니다. G-버퍼는 알베도(기본 색상), 표면 법선, 깊이 정보, 거칠기 및 금속성, 운동 벡터 등의 값을 저장하는 2D 텍스처 레이어 모음입니다.
이것이 사용할 수 있는 전부도 아닙니다. DLSS 5는 엔진 측 입력과 함께 엔진 측 및 모델 측 모두에서 몇 가지 다른 제어 기능을 지원합니다. 엔진 측 입력에는 개발자가 장면 내의 오브젝트를 DLSS 5가 주변 환경과 다르게 취급하도록 마스크로 정의할 수 있는 개발자 마스킹과 구조 강도(Structure Intensity) 및 톤 강도(Tone Intensity)라는 두 가지 장면 제어가 포함됩니다.
개발자는 마스크를 주의 깊게 정의하고 강도 값을 설정하여 DLSS 5가 장면을 처리하는 방식을 미세 조정할 수 있습니다. 구조 강도는 더 나은 환경 광폐색(Ambient Occlusion)과 더 나은 반사 등을 위한 고주파 디테일에 영향을 미치는 반면, 톤 강도는 저주파 디테일에 영향을 미쳐 조명과 대비에 영향을 줍니다.
이어 모델 측에서는 개발자가 DLSS 5용으로 서로 다른 세 가지 모델 중 하나를 선택할 수 있으며, 각 모델은 약간씩 다른 외관을 가지고 있고 다양한 유형의 장면에 최적화되어 있습니다. 이것이 NBA 2K27의 유출된 DLL 내부에서 모더들이 발견한 7가지 프리셋과 어떻게 연결되는지는 명확하지 않습니다.
개발자는 장면에서 캐릭터를 자동으로 감지하고 개발자가 특정 캐릭터에 대한 DLSS 5 효과의 강도를 조절할 수 있도록 해주는 "모델 오토마스크(Model Automask)"라는 기능도 사용할 수 있습니다. 잘 작동하는 것으로 보이지만, 엔비디아가 둘 이상의 캐릭터가 있는 장면에서 이를 시연해 주면 더 좋을 것입니다.
DLSS 5의 세 가지 가장 큰 과제
이 모든 미세 조정 및 구성 기능은 이 기술이 직면한 세 가지 가장 큰 우려 사항 중 하나인 예술적 의도 보존을 해결하기 위해 DLSS 5 뉴럴 렌더링에 추가되었습니다. 엔비디아에 따르면 DLSS 5는 결정론적(Deterministic)이어서 항상 동일한 결과를 생성하지만, 모델이 올바르게 학습되고 설정되지 않으면 장면을 너무 많이 변경하여 중요한 디테일을 삭제하거나 있어서는 안 될 곳에 추가할 수 있습니다. 엔비디아는 DLSS 5가 "이야기를 바꾸지 않는" 방식으로 이미지를 변경해야 한다는 목표를 가지고 있었으므로, 캐릭터는 알아볼 수 있게 유지되고 원작자의 의도에 충실하게 남습니다.
엔비디아가 그 목표에 성공했는지 여부는 앞으로 살펴볼 부분이지만, 그것은 세 가지 과제 중 하나에 불과했습니다. 두 번째는 시간적 안정성(Temporal Stability)과 관련이 있었습니다. 엔비디아는 기존의 AI 비디오 모델이 이전 프레임으로부터 연속성을 확보하기 위해 프레임을 연속으로 생성한다고 말합니다. 그것은 당연히 실시간으로 실행될 때 작동하지 않을 것입니다. 비디오 게임은 반응성을 느끼기 위해 수십 밀리초 단위로 측정되는 응답 시간이 필요합니다. 해결책은 일반적인 이미지 디퓨저처럼 정확히 한 번에 한 프레임씩 작동하도록 모델을 특별히 학습시키는 것이었습니다.
마지막으로 세 번째 과제는 성능이었습니다. 기억하시겠지만, 지난 GTC에서 엔비디아의 시연은 한 쌍의 지포스 RTX 5090 카드에서 실행되었으며, 한 카드는 게임을 렌더링하고 다른 카드는 DLSS 5 모델을 실행했습니다. 당시 가파른 하드웨어 요구사항이 실험적 성격의 결과물이라고 엔비디아가 주장했음에도 불구하고 기술은 이 요구사항으로 인해 대대적인 비판을 받았습니다. 알고 보니 그 주장은 사실이었던 것으로 보입니다. 엔비디아가 게임과 함께 단일 GPU에서 작동하도록 만들었을 뿐만 아니라 지포스 RTX 5060과 같은 비교적 겸손한 그래픽 카드에서도 작동하도록 만들었기 때문입니다.
엄밀히 말해 DLSS 5를 사용하기 위한 최소 요구사항이 무엇인지, 또는 기술이 더 최적화되었을 때 엔비디아가 최종적으로 어디에 안착할지는 아직 알지 못하지만, 엔비디아는 NBA 2K27에서 자체 벤치마크 세 세트를 제공했습니다. 이 게임은 전반적으로 상당히 가벼운 게임입니다. 게임의 권장(필수가 아닌) 하드웨어에는 코어 i5-10600과 7년 된 지포스 RTX 2060이 포함됩니다. 하지만 엔비디아의 벤치마크 차트에 있는 거대한 숫자는 6배 멀티 프레임 생성(Multi-Frame Generation)을 사용하여 생성되었습니다. 성능이 어떤지 확인하실 수 있도록 도움이 되도록 각 차트에 실제 MFG 미적용 렌더링 프레임 레이트를 추가해 두었습니다.
엔비디아는 레이 트레이싱을 활성화한 상태에서 가장 높은 설정으로 보이는 환경에서 게임을 테스트하고 있습니다. 게임이 어떤 레이 트레이싱 효과를 사용하는지는 아직 알 수 없지만, 어쨌든 프레임 생성 없이 생성되는 절대적인 프레임 레이트는 상당히 낮습니다. 이것이 DLSS 5가 성능 부담이 크기 때문일까요? 부분적으로는렇습니다. 모더들이 모든 게임에 억지로 집어넣고 있는 유출 버전은 높은 성능 비용을 발생시키며, 일부 댓글 작성자들은 이것이 지원되지 않고 최적화되지 않은 핵(Hack)으로서의 성격 때문에 나타나는 결과일 수 있다고 추측했습니다. 이에 대해 자체 테스트를 진행할 수 있게 되면 확실히 알게 될 것입니다.
진짜 질문: DLSS 5는 실제로 어떻게 보일까요?
솔직히 말해서 저는 엔비디아의 자료를 보는 것 외에 아직 DLSS 5를 직접 경험할 기회를 얻지 못했습니다. 이번 주 후반에 직접 테스트를 해볼 계획입니다. 하지만 핫하드웨어의 수장인 데이브 알타빌라는 GTC에서 DLSS 5를 직접 시연으로 보았고 깊은 인상을 받았습니다. 그 당시 현장에서 그가 담아온 데모입니다.
엔비디아의 데모는 확실히 인상적으로 보입니다. 또한 이 페이지 상단 부근에 있는 나란히 놓인 나뭇잎 데모를 아직 클릭하지 않으셨다면 꼭 확인해 보세요. 그것은 이 기술을 뽐내기 위해 특별히 제작된 엔비디아의 조라(Zorah) 데모에서 가져온 것입니다. 그래서 당연히 인상적이지만, 실제 게임에서는 어떨까요? 글쎄요, 적어도 이 스크린샷들로 보아 NBA 2K27에서도 꽤나 훌륭해 보입니다. 곧 DLSS 5를 켠 채로 게임을 직접 플레이해 보고 다시 보고할 예정입니다.
디트로이트 피스톤스의 케이드 커닝햄이 등장하는 이 비교에서 DLSS 5가 장면을 위해 무엇을 하고 있는지 즉시 명확해집니다. 농구공의 더 정확한 텍스처링과 음영부터 커닝햄 얼굴의 주름과 피부, 슬리브와 유니폼의 재질에 이르기까지 이미지의 거의 모든 부분이 개선되었습니다. 그의 머리카락은 약간의 작업이 더 필요해 보이지만, 지금까지 공개된 랜드 세프트 오토 VI(GTA 6) 영상으로 판단하건대 그와 같은 곱슬머리는 록스타만이 해결한 것으로 보이는 거대한 렌더링 과제입니다.
반면 경기장 측면의 비디오 촬영 기사와 관람석의 일부 팬들을 보여주는 이 비교에서는 개선 사항이 더 미묘하지만, 찾아보기 시작하면 못지않게 눈에 띕니다. 젊은 카메라맨의 얼굴 외에도 카메라 자체의 재질과 음영 디테일이 엄청나게 향상되었으며, 카메라 조작자의 손에 들어간 음영과 팬들 얼굴의 텍스처 같은 미묘한 디테일도 DLSS 5 버전 존재합니다. 보여드릴 수 있는 다른 비교들도 있지만, 아마 이제 요점을 파악하셨을 것입니다.
앞서 우리는 엔비디아가 모든 그래픽 기능을 켠 상태로 NBA 2K27을 테스트하고 있음을 지적했습니다. DLSS 5가 본질적으로 자신만의 해석으로 게임의 모든 그래픽을 수정할 것임을 고려하면 왜 그런지 의아할 수 있습니다. 이유는 간단합니다.
더 나은 베이스 렌더링을 갖추는 것이 DLSS 5에 시작할 수 있는 더 나은 근거를 제공하기 때문입니다. DLSS 업스케일링이나 레이 리컨스트럭션처럼 맞추어야 할 기준이 되는 그라운드 트루스(Ground Truth)가 없으므로, DLSS 5로부터 가장 훌륭하고 실제 같은 결과를 확보하기 위해 게임 엔진이 최선의 결과를 내놓는 것이 중요합니다.
물론 모든 비디오 게임이 실사 같은 외관을 지향하는 것은 아닙니다. DLSS 5, 적어도 이 버전은 명시적으로 실사주의를 목표로 하고 있으므로 높은 수준의 리얼리즘을 시도하지 않는 게임에는 잘 맞지 않습니다. 그럼에도 불구하고 이 기술은 NBA 2K27보다 훨씬 더 많은 게임에 적용될 예정입니다.
GTC에서 엔비디아는 DLSS 5가 아이온 2, 어쌔신 크리드 섀도우스, 블랙 스테이트, 신더 시티, 델타 포스, 호그와트 레거시, 저스티스, 나라카: 블레이드포인트, NTE: 네버니스 투 에버니스, 판톰 블레이드 제로, 바이오하자드 레퀴엄, 씨 오브 레스넌츠, 스타필드, 엘더스크롤 4: 오블리비언 리마스터 "등"에 적용될 예정이라고 밝혔습니다.
이 게임들의 대부분은 실제로 실사주의로 향하는 시각적 스타일을 가지고 있지만, 애니메이션 가챠 게임인 NTE에서 어떻게 보일지 너무나 궁금합니다.
이번 다가오는 목요일인 9월 3일에 NBA 2K27이 이 기능을 탑재하여 출시되면 DLSS 5에 대한 약간 더 포괄적인 보고를 드릴 것입니다. 현재로서 말씀드릴 수 있는 것은 이 기술이 진짜이며, 여러분 가까이에 있는 블랙웰(Blackwell) GPU로 찾아온다는 점입니다.
현재 에이다 러브레이스(Ada Lovelace) 칩에 대한 공식 지원 소식은 없지만, 필요한 FP8 지원을 갖추고 있으므로 이전 세대 GPU에서도 뉴럴 렌더링이 작동하는 것을 보게 될 가능성이 있습니다. 안타깝게도 더 오래된 칩을 가진 분들은 기회가 없을 가능성이 높습니다.
유출된 버전이 RTX 30 시리즈 GPU에 큰 부담을 주기 때문입니다. 하지만 엔비디아가 명시적으로 그렇게 말하지는 않았으므로 더 자세한 정보가 나오는 대로 계속 지켜봐 주시기 바랍니다.
▶ 원문 출처: https://hothardware.com/news/nvidia-dlss-5-neural-rendering-launch-thursday
