NVIDIA ha presentado oficialmente su tecnología DLSS 5. Nos encontramos ante una evolución bastante más profunda de lo que supuso pasar de DLSS 3 a DLSS 4. La gran novedad que se ha añadido recibe el nombre de 3D-Guided Neural Rendering. O bueno, “filtro de belleza” ha sido la definición más escuchada por aquellos que no han profundizado en lo que implica el DLSS 5. Nos encontramos realmente ante un sistema de renderizado neuronal generativo que ya no se limita a reconstruir píxeles o generar fotogramas. Ahora la IA interviene directamente en el aspecto final de la imagen. Lo que le permite enriquecer la iluminación, materiales, sombras y determinadas propiedades visuales que serían demasiado costosas de calcular mediante renderizado tradicional en tiempo real.
La diferencia fundamental respecto a un modelo generativo convencional es que el NVIDIA DLSS 5 no crea libremente una imagen. En concreto, utiliza como punto de partida obligatorio el fotograma producido por el propio motor gráfico, junto con más información como el color, movimiento, geometría, iluminación y materiales. Con su implementación oficial, y el primer juego diseñado para soportar el DLSS 5, se consigue mejorar la apariencia visual sin que, de por medio, se modifique de forma arbitraria la cara, objeto o una escena mediante IA. NVIDIA reconoció que este era el principal problema a solucionar antes de lanzar su tecnología.
DLSS 5 utiliza IA generativa para completar lo que el renderizado tradicional no puede calcular en tiempo real
Hasta ahora, buena parte del desarrollo de DLSS estaba orientado a hacer más eficiente el renderizado que ya existía. Es decir, mejorar el rendimiento o la calidad visual. Por ejemplo, Super Resolution reconstruye una imagen a mayor resolución. Frame Generation genera fotogramas adicionales. Y Ray Reconstruction sustituye determinados denoisers empleados con Ray Tracing. El DLSS 5 cambia parcialmente este planteamiento. Se recurre a un modelo generativo especializado para crear detalles adicionales de iluminación y respuesta de materiales basándose en la información proporcionada por el juego.
Explicado de otra forma. Una escena fotorrealista puede requerir una cantidad de geometría, materiales y cálculos lumínicos imposibles de procesar decenas o cientos de veces por segundo. Cada cabello de forma individual, la forma en que la luz atraviesa una oreja, las distintas capas de la piel o la transmisión de luz a través de una hoja. Estos son algunos de los ejemplos de efectos que pueden requerir una enorme cantidad de información. El renderizado offline puede emplear minutos u horas en producir un único fotograma. En un videojuego debe hacerse en unos pocos milisegundos para no afectar al rendimiento. De esta forma, NVIDIA pretende que la red neuronal infiera parte de esa complejidad visual en lugar de calcularla físicamente mediante fuerza bruta.
Gracias a ello pueden aparecer efectos como la dispersión subsuperficial. Es decir, que la luz penetre en un material translúcido, y que incluso pueda rebotar en su interior y salir por un punto diferente. Lo mismo sucede con la piel, la luz atravesando el cabello y vegetación. Por no hablar de mejores reflejos, oclusión ambiental o sombras. Es decir, se mejora todo sin que todos esos detalles tengan que estar representados explícitamente con geometría o un número desorbitado de rayos. NVIDIA insiste además en que no se trata simplemente de un filtro convencional aplicado sobre el fotograma. El modelo DLSS 5 reconoce tipos de objetos, materiales y fuentes de luz y utiliza ese conocimiento para decidir qué tipo de información visual tiene sentido incorporar.
No es un filtro de belleza con IA: el fotograma original manda
Evidentemente, este es el apartado más interesante de explicar después de toda la polémica generada alrededor de DLSS 5. Por no hablar del DLL filtrado y utilizado en cualquier juego. Partimos de que un modelo generativo tradicional es probabilístico. Es decir, si recibe diez veces exactamente el mismo prompt puede producir diez imágenes distintas. Eso es completamente inaceptable en un videojuego, donde la cara de un personaje no puede cambiar ligeramente de un fotograma al siguiente o dependiendo de la configuración de hardware. Con la filtración del DLL hemos visto gran variedad de caras porque se ha jugado con el modelo y claro, cuanto más exagerado, más clickbait.
DLSS 5 está diseñado para ser determinista. Ante la misma información de entrada debe producir el mismo resultado, siempre. NVIDIA ha entrenado el modelo para respetar la geometría, texturas, composición y relaciones entre luces y sombras del fotograma producido por el motor gráfico. La estructura básica de una cara, por ejemplo, sigue procediendo del modelo 3D creado por el estudio. La red neuronal puede mejorar cómo la luz atraviesa la piel, cómo aparecen los reflejos de los ojos o cómo se sombrea el cabello, pero no debería reconstruir libremente una cara diferente.
También había que solucionar la coherencia temporal. Los modelos generativos de vídeo suelen trabajar con grupos de fotogramas, pero un videojuego no conoce de antemano qué ocurrirá porque el siguiente fotograma depende de lo que haga el jugador. DLSS 5 funciona por tanto siguiendo un esquema de un fotograma de entrada y uno de salida, utilizando los vectores de movimiento proporcionados por el motor para conservar la información entre imágenes. NVIDIA afirma que este procedimiento evita problemas como parpadeos, elementos que parecen flotar en pantalla o mostrar detalles que cambian continuamente de forma.
Los desarrolladores pueden decidir exactamente hasta dónde llegarán las modificaciones de DLSS 5
NVIDIA también ha dedicado bastante esfuerzo a evitar que DLSS 5 imponga una apariencia visual única a todos los videojuegos. El SDK incluye varios modelos neuronales con comportamientos diferentes. Es por ello que el estudio tendrá la última palabra. Es decir, puede utilizar un modelo para interiores, otro modelo para exteriores o incluso modelos distintos entre el gameplay y las cinemáticas. Incluso podrán mejorar todo un juego (iluminación, reflejos, sombras o detalles) y no tocar las caras.
Dentro de cada modelo existen además dos controles principales. Structure Intensity modifica principalmente detalles de mayor frecuencia como la oclusión ambiental, los reflejos, sombras de contacto y la dispersión subsuperficial. Tone Intensity actúa sobre información de menor frecuencia, que implica la iluminación en general y la respuesta del color. Un desarrollador puede ajustar estos valores para conservar una imagen mucho más cercana al render original o aumentarlos si considera que el resultado generado mejora la dirección artística. Que es algo que hemos visto con el Kingdom Come: Deliverance II.
Y terminamos con lo que ya adelantábamos: el sistema de máscaras. El propio modelo puede reconocer semánticamente personajes y objetos, todo ello mientras que el motor puede proporcionar máscaras adicionales para elementos concretos. Esto permite aplicar Neural Rendering únicamente a una persona, a la vegetación, al agua, a determinados objetos o incluso excluir completamente un personaje mientras se mejora el escenario que le rodea. Las máscaras pueden además tener valores independientes de Structure y Tone, proporcionando un nivel de control prácticamente por elemento.
Ray Tracing y Path Tracing siguen siendo importantes: cuanto mejor sea la entrada, mejor funciona DLSS 5
DLSS 5 no sustituye el renderizado tradicional ni convierte en innecesario el Ray Tracing. De hecho, NVIDIA muestra que el resultado del modelo mejora significativamente cuando la información original también es mejor. Una escena rasterizada puede beneficiarse del Neural Rendering, pero si el motor proporciona un sistema de iluminación proveniente del Ray Tracing, el modelo dispone de datos físicamente más precisos sobre los que trabajar. Ya con Path Tracing, la información de partida es aún más completa, lo que mejora aún más su implementación.
Esto convierte a DLSS 5 en una tecnología complementaria y no sustitutiva. La geometría, los materiales y la iluminación base siguen siendo generados por el videojuego. Después, el Neural Rendering interpreta esa información y añade detalles que serían demasiado costosos de representar directamente. NVIDIA lo resume indicando que DLSS 5 amplía el pipeline de renderizado, y no lo reemplaza. Es por ello que seguirá mejorando otras tecnologías como Super Resolution, Frame Generation, Ray Reconstruction, Ray Tracing y Path Tracing en paralelo.
Las propias demostraciones técnicas de NVIDIA dejan bastante clara esta dependencia (en el vídeo del inicio). NVIDIA enseña una escena rasterizada y posteriormente la misma escena alimentada con Ray Tracing y Path Tracing. El modelo genera resultados mejores conforme aumenta la precisión de los datos iniciales. Es decir, DLSS 5 no puede convertir mágicamente cualquier render mediocre en una escena perfecta. Cuanto más sólida sea la base preparada por el estudio, más información fiable tiene la red neuronal para producir el resultado final.
NBA 2K27 será el primer juego en llegar con soporte oficial para el NVIDIA DLSS 5
Curiosamente, NVIDIA ha escogido a 2K Games y su juego NBA 2K27 para hacer debutar su tecnología DLSS 5. El estudio encargado de su desarrollo, Visual Concepts, indicó que lleva años intentando hacer que su juego se vea como una retransmisión de un partido de baloncesto en directo. Es por ello que este juego tiene mucho sentido, ya que se priorizan los rostros humanos en primer plano, piel, pelo, tejidos, focos extremadamente intensos y decenas de miles de espectadores en segundo plano.
Visual Concepts asegura que DLSS 5 permite que la luz atraviese de manera más natural las orejas de los jugadores, que la piel responda mejor a la iluminación del pabellón, que el cabello tenga mayor definición y que la ropa interactúe de forma más convincente con el cuerpo. Por si no fuera suficiente, también mejora las sombras de contacto y la oclusión ambiental en elementos como cuellos de camisetas, mangas y arrugas de la ropa. Según el estudio, estas mejoras se han extendido al estado, al público y al personal situado alrededor de la cancha. De esta forma será interesante ver cómo va este juego, a nivel de rendimiento, dada la exigencia que conlleva esto en cuanto al número de personajes en pantalla.
Aquí entra en juego precisamente el sistema de máscaras. Visual Concepts puede controlar píxel a píxel la intensidad del Neural Rendering sobre los jugadores, algo especialmente delicado porque sus caras proceden de escaneos de atletas reales. ¿Te resulta familiar? sí, lo mismo que en Kingdom Come: Deliverance II. Son en estos juegos que han llevado el realismo al límite los que más se benefician del DLSS 5. Es decir, el trabajo que han hecho se ha visto recompensado haciendo que sus “actores” se vean muchísimo más realistas. Ya que el DLSS 5 se nutre de estos escáneres para hacer que las cara se acerquen, asombrosamente, al realismo.
DLSS 5 llegará a NBA 2K27 mediante un nuevo Game Ready Driver el 3 de septiembre a las 21:00 PT (06:00 del 4 de septiembre en España peninsular). Una vez instalado aparecerá en los ajustes gráficos una opción independiente denominada DLSS Neural Rendering, que además podrá activarse y desactivarse durante la partida y repeticiones pulsando F9. NVIDIA asegura que NBA 2K27 será únicamente el comienzo y que anunciará más juegos compatibles durante las próximas semanas y meses.
50% de pérdida de rendimiento, pero NVIDIA promete que no te faltará
En el NBA 2K27, NVIDIA anuncia que una GeForce RTX 5090 alcanza hasta 370 FPS a 4K. Todo ello utilizando el ajuste en gráfico en Ultra y el Ray Tracing activado. A 2560x 1440 píxeles las cifras aumentan hasta 590 FPS con una RTX 5090, 410 FPS con una RTX 5080, 350 FPS con una RTX 5070 Ti y 260 FPS con una RTX 5070. NVIDIA asegura que prácticamente todas las GeForce RTX 50 Series podrán ejecutar este juego a 1080p, Ultra y Ray Tracing utilizando DLSS 5.
Ahora bien, la letra pequeña es utilizar toda su artillería tecnológica. Es decir, el Multi-Frame Generation activado x6 junto al DLSS Super Resolution en Calidad.
La entrada NVIDIA DLSS 5 ya está entre nosotros: se estrenará oficialmente el 4 de septiembre en el NBA 2K27 aparece primero en El Chapuzas Informático.
