NVIDIA ha anunciado NVHBM, una nueva implementación personalizada de memoria de alto ancho de banda (HBM) diseñada específicamente para aceleradores de inteligencia artificial. La tecnología se integrará dentro del ecosistema NVLink Fusion y promete mejorar simultáneamente tres de los principales cuellos de botella de los chips destinados a IA. El primero es el ancho de banda de memoria, seguido por el espacio disponible dentro del encapsulado, y terminando por el consumo energético. Frente a la futuro estándar HBM4E, NVIDIA habla de hasta un 30% más de ancho de banda. Aún más impresionante es saber que esta mejora de rendimiento va unida a un 15% menos de consumo energético y hasta un 25% más de superficie disponible en el die del XPU para dedicarla a computación.
Pero NVHBM no consiste simplemente en fabricar una HBM convencional más rápida. NVIDIA está modificando dónde reside parte de la lógica encargada de gestionar la memoria, trasladando el controlador de memoria personalizado desde el propio XPU hasta el base die del stack HBM. Es decir, parte de la circuitería que tradicionalmente ocupaba espacio en el chip de cálculo pasa a integrarse directamente debajo de las capas de la memoria. NVIDIA confirma además que esta tecnología está basada en la misma arquitectura de memoria que utilizarán sus futuras GPU.
NVIDIA NVHBM libera espacio en el chip y ofrece hasta un 30% más de ancho de banda
En una implementación HBM tradicional, el acelerador incluye en su propio die buena parte de la lógica necesaria para comunicarse con los stacks de memoria. Esto significa dedicar una cantidad considerable de silicio al PHY, controladores e interfaces en lugar de emplearlo en núcleos Tensor Cores, unidades matriciales, caché, SRAM u otro hardware especializado. Con NVHBM, NVIDIA integra su controlador personalizado y una nueva PHY directamente dentro del base die del stack HBM 3D. Esto reduce considerablemente el espacio que necesita ocupar la interfaz en el XPU.
Según NVIDIA, el nuevo diseño consigue reducir en hasta un 67% el espacio ocupado por la PHY y su circuitería asociada frente a una implementación basada en el estándar JEDEC HBM4E. Además, una interfaz físicamente más estrecha simplifica el enrutado sobre el interposer, y la compañía habla de hasta un 80% más de silicio utilizable dentro del layout completo del encapsulado. En términos prácticos, NVIDIA resume estas mejoras indicando que los diseñadores de XPUs pueden disponer de hasta un 25% más de área del die de cálculo para incorporar hardware adicional.
A ello se añade el aumento del rendimiento de la propia memoria. NVHBM promete hasta un 30% más de ancho de banda por stack respecto a la HBM4E estándar. Este incremento está especialmente pensado para cargas de IA limitadas por memoria, donde los aceleradores tienen que mover continuamente pesos de modelos, activaciones y datos del KV Cache entre la HBM y las unidades de cálculo. Al alimentar los núcleos con datos a mayor velocidad se puede aumentar la utilización efectiva del acelerador y, particularmente en inferencia de modelos de gran tamaño, mejorar el número de tokens procesados por usuario.
Un 15% menos de consumo y hasta un 30% más de rendimiento para los XPUs con NVLink Fusion
NVIDIA centra el tercer pilar de NVHBM en la eficiencia energética. La compañía asegura que su implementación reduce el consumo energético de la HBM en hasta un 15% frente a la HBM4E convencional. Puede parecer una diferencia relativamente pequeña observando un único acelerador, pero hablamos de centros de datos con decenas de miles de chips. La compañía pone como ejemplo una infraestructura de 1 GW equipada con XPUs de 2.000 W. Con su memoria, ese ahorro energético podría dejar margen eléctrico y térmico suficiente para instalar hasta 15.000 aceleradores más.
NVIDIA también afirma que la combinación de un 30% más de ancho de banda, mayor superficie de silicio disponible para computación y un 15% menos de consumo de la HBM puede traducirse en un incremento de hasta el 30% en el rendimiento global end-to-end de cada XPU integrado mediante NVLink Fusion. El primer socio confirmado es Annapurna Labs, la división de diseño de chips de Amazon AWS.
Amazon AWS trabajará con NVIDIA para integrar la memoria NVHBM junto con NVLink Fusion en sus futuros chips para IA. Amazon ya había confirmado que sus próximos chips Trainium4 soportarán NVLink Fusion y NVLink 6, permitiendo combinar sus propios aceleradores de IA con GPU de NVIDIA dentro de una arquitectura común a escala de rack. NVIDIA también pretende que NVHBM sea validada y ofrecida por varios fabricantes de memoria, de forma que sus clientes no queden vinculados necesariamente a un único proveedor.
La entrada NVIDIA NVHBM: mejorando la memoria HBM4E con hasta un 30% más de ancho de banda y un 15% menos de consumo aparece primero en El Chapuzas Informático.
