엔비디아, AI로 게임에 사실적 조명·재질 더하는 ‘DLSS 5’ 공개

엔비디아는 17일 미국 새너제이에서 개최한 ‘엔비디아 GTC 2026’에서 게임 그래픽에 사실적 조명과 재질을 더하는 실시간 뉴럴 렌더링 모델을 도입한 ‘DLSS 5’를 공개했다.

DLSS(딥러닝 슈퍼 샘플링) 5는 2018년 발표된 실시간 레이 트레이싱 기술에 이어 엔비디아가 선보이는 차세대 컴퓨터 그래픽 혁신이다. DLSS 5는 픽셀에 사실적인 조명과 재질을 더하는 실시간 뉴럴 렌더링 모델을 도입했다. 이를 통해 렌더링과 현실 사이의 간극을 좁히며, 덕분에 게임 개발자들은 그동안 할리우드 시각 효과에서만 가능했던 새로운 수준의 사실적인 컴퓨터 그래픽을 구현할 수 있다.

DLSS 5는 애플리케이션의 기존 3D 콘텐츠, 색상 및 모션을 활용해 AI로 사실적인 조명을 추가한다. AI는 피부, 머리카락, 옷과 같은 일반적인 인체 요소가 어떻게 보여야 하는지 학습한 후 하나의 프레임만으로도 조명과 색상을 조정해 더욱 사실적으로 만들 수 있다.

엔비디아 지포스 출시 이후 엔비디아는 게임 개발자들이 생생하고 사실적인 세계를 구현할 수 있도록 그래픽 성능을 제공해 왔다. 이러한 세계에서는 조명, 반사, 그림자가 자연의 법칙에 따라 표현된다.

2001년 프로그래머블 셰이더를 탑재한 지포스 3, 2006년 쿠다를 탑재한 지포스 8800 GTX, 2018년 실시간 레이 트레이싱을 탑재한 지포스 RTX 2080 Ti, 2025년 패스 트레이싱과 뉴럴 셰이더를 탑재한 지포스 RTX 5090에 이르기까지 엔비디아는 주요 아키텍처 혁신과 함께 컴퓨팅 성능을 37만 5000배 이상 끌어올리며 이러한 도전에 대응해 왔다.

그러나 약 16밀리초의 게임 프레임에 사용할 수 있는 렌더링 성능은 렌더링에 수분에서 수 시간 걸리는 할리우드의 사실적인 VFX 프레임과 비교하면 극히 일부에 불과하다. 실시간 렌더링은 단순한 컴퓨팅 성능만으로는 사실성의 격차를 메울 수 없다.

DLSS는 성능 향상을 위한 AI 기술로, 2018년 처음 공개됐다. 초기에는 해상도를 업스케일링하는 방식으로 시작해 이후에는 완전히 새로운 프레임을 생성하는 방식으로 발전했다. 현재 DLSS는 750개 이상의 게임에 도입되며 업계 표준 기술로 자리 잡았다.

올해 CES에서 공개된 DLSS 4.5는 AI를 활용해 화면에 표시되는 픽셀 24개 중 23개를 생성한다. 이제 DLSS는 단순한 성능 향상을 넘어 게임의 시각적 충실도를 혁신하는 방향으로 진화하고 있다.

비디오 AI 모델은 빠르게 발전해 사실적인 픽셀을 생성할 수 있지만 대부분 오프라인 환경에서 작동한다. 따라서 정밀한 제어가 어렵고 예측 가능성이 낮으며, 새로운 프롬프트를 입력할 때마다 결과가 달라지는 경우도 많다. 그러나 게임에서는 픽셀이 결정론적(deterministic)으로 생성돼야 하며, 실시간으로 제공돼야 한다. 동시에 게임 개발자가 구축한 3D 월드와 예술적 의도를 충실히 반영해야 한다.

DLSS 5는 각 프레임의 색상과 모션 벡터를 입력으로 받아, AI 모델을 통해 장면에 사실적인 조명과 재질을 더한다. 이 조명과 재질은 원본 3D 콘텐츠에 기반하며, 프레임 간 일관성을 유지한다. DLSS 5는 최대 4K 해상도에서 실시간으로 구동돼 부드럽고 인터랙티브한 게임플레이를 지원한다.

AI 모델은 단일 프레임 분석만으로도 캐릭터, 머리카락, 직물, 반투명 피부 등 복잡한 장면 요소와 정면 조명, 역광, 흐린 날씨와 같은 환경 조명 조건을 이해하도록 엔드투엔드 방식으로 훈련됐다. 이를 바탕으로 DLSS 5는 피부의 서브서피스 스캐터링(SSS), 직물의 섬세한 광택, 머리카락에서의 빛과 재질 간 상호작용 등 복잡한 요소를 처리하면서도 원본 장면의 구조와 의미를 유지한 정밀한 이미지를 생성한다.

DLSS 5는 강도, 컬러 그레이딩(color grading), 마스킹(masking) 등 세밀한 제어 기능을 제공한다. 덕분에 아티스트는 각 게임의 고유한 미적 감각을 유지하면서도 효과가 적용될 위치와 방식을 결정할 수 있다. 또한 기존 DLSS와 엔비디아 리플렉스(Reflex) 기술에 사용되는 동일한 엔비디아 스트림라인(Streamline) 프레임워크를 통해 통합은 손쉽게 이뤄질 수 있다.

DLSS 5는 베데스다, 캡콤, 호타 스튜디오, 넷이즈, 엔씨소프트, S-GAME, 텐센트, 유비소프트, 워너 브라더스 게임즈 등 주요 배급사·개발사에서 지원할 예정이다.

젠슨 황 엔비디아 창립자 겸 CEO 는 “엔비디아가 프로그래머블 셰이더를 발명한 지 25년이 지난 지금, 우리는 컴퓨터 그래픽을 다시 한 번 재창조하고 있다”며 “DLSS 5는 그래픽 분야의 ‘GPT 모멘트’로, 수작업 렌더링과 생성형 AI를 결합해 시각적 사실성을 비약적으로 끌어올리는 동시에, 아티스트가 창의적 표현에 필요한 제어력을 유지할 수 있도록 한다”고 강조했다.

DLSS 5는 올가을 출시될 예정이다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network