[21/03/2024] NVIDIA anunció que la plataforma NVIDIA Blackwell ha llegado, señalando que permite a las organizaciones de todo el mundo crear y ejecutar IA generativa en tiempo real en modelos de lenguaje grandes de billones de parámetros a un costo y consumo de energía hasta 25 veces menor que su predecesora.
"La arquitectura de GPU Blackwell cuenta con seis tecnologías transformadoras para la computación acelerada, que ayudarán a desbloquear avances en el procesamiento de datos, la simulación de ingeniería, la automatización del diseño electrónico, el diseño de fármacos asistido por computadora, la computación cuántica y la IA generativa, todas oportunidades emergentes de la industria para NVIDIA”, sostuvo Jensen Huang, fundador y CEO de NVIDIA, en el comunicado de prensa.
De acuerdo al ejecutivo, entre las muchas organizaciones que se espera que adopten Blackwell se encuentran Amazon Web Services, Dell Technologies, Google, Meta, Microsoft, OpenAI, Oracle, Tesla y xAI.
Nombrada en honor a David Harold Blackwell, un matemático que se especializó en teoría de juegos y estadística, y el primer académico negro incluido en la Academia Nacional de Ciencias, la nueva arquitectura sucede a la arquitectura NVIDIA Hopper, lanzada hace dos años, anotó Huang.
Innovaciones de Blackwell
El ejecutivo anotó que las seis tecnologías de Blackwell, que juntas permiten el entrenamiento de IA y la inferencia de LLM en tiempo real para modelos que escalan hasta 10 billones de parámetros, incluyen:
- Chip con 208 mil millones de transistores, las GPU de arquitectura Blackwell se fabrican utilizando un proceso TSMC 4NP personalizado con matrices de GPU de límite de dos retículas conectadas por un enlace de chip a chip de 10TB / segundo en una sola GPU unificada.
- Impulsado por el nuevo soporte de escalado de microtensores y los algoritmos avanzados de gestión de rango dinámico de NVIDIA integrados en los marcos NVIDIA TensorRT-LLM y NeMo Megatron, Blackwell admitirá el doble de tamaños de cómputo y modelo con nuevas capacidades de inferencia de IA de punto flotante de 4 bits.
- Para acelerar el rendimiento de los modelos de IA de varios billones de parámetros y mezcla de expertos, la última iteración de NVIDIA NVLink ofrece un rendimiento bidireccional innovador de 1,8TB/s por GPU, lo que garantiza una comunicación fluida de alta velocidad entre hasta 576GPU para los LLM más complejos.
- Las GPU con tecnología Blackwell incluyen un motor dedicado para brindar confiabilidad, disponibilidad y facilidad de servicio. Además, la arquitectura Blackwell agrega capacidades a nivel de chip para utilizar el mantenimiento preventivo basado en IA para ejecutar diagnósticos y pronosticar problemas de confiabilidad. Esto maximiza el tiempo de actividad del sistema y mejora la resiliencia para que las implementaciones de IA a gran escala se ejecuten sin interrupciones durante semanas o incluso meses a la vez y reduzcan los costos operativos.
- Las capacidades informáticas confidenciales avanzadas protegen los modelos de IA y los datos de los clientes sin comprometer el rendimiento, con soporte para nuevos protocolos de cifrado de interfaz nativa, que son fundamentales para industrias sensibles a la privacidad, como la atención médica y los servicios financieros.
- Un motor de descompresión dedicado admite los formatos más recientes, lo que acelera las consultas a la base de datos para ofrecer el mayor rendimiento en análisis de datos y ciencia de datos. En los próximos años, el procesamiento de datos, en el que las empresas gastan decenas de miles de millones de dólares al año, se acelerará cada vez más con la GPU.
"Para obtener el máximo rendimiento de IA, los sistemas con tecnología GB200 se pueden conectar con las plataformas Ethernet NVIDIA Quantum-X800 InfiniBand y Spectrum-X800, también anunciadas hoy, que ofrecen redes avanzadas a velocidades de hasta 800 Gb/s”, indicó Huang.
Agregó que el GB200 es un componente clave de NVIDIA GB200 NVL72, un sistema de escala de rack de refrigeración líquida de varios nodos para las cargas de trabajo más intensivas en cómputo. "Combina 36 superchips Grace Blackwell, que incluyen 72 GPU Blackwell y 36 CPU Grace interconectadas por NVLink de quinta generación. Además, GB200 NVL72 incluye unidades de procesamiento de datos NVIDIA BlueField-3 para permitir la aceleración de la red en la nube, el almacenamiento componible, la seguridad de confianza cero y la elasticidad de cómputo de la GPU en nubes de IA de hiperescala. El GB200 NVL72 proporciona un aumento de rendimiento de hasta 30 veces en comparación con la misma cantidad de GPU NVIDIA H100 Tensor Core para cargas de trabajo de inferencia de LLM, y reduce el costo y el consumo de energía hasta 25 veces”, explicó Huang.
NVIDIA lanza DGX SuperPOD con tecnología Blackwell
NVIDIA también ha anunciado su supercomputadora de IA de próxima generación, la NVIDIA DGX SuperPOD con tecnología NVIDIA GB200 Grace Blackwell Superchips, para procesar modelos de billones de parámetros con un tiempo de actividad constante para cargas de trabajo de inferencia y entrenamiento de IA generativa a gran escala.
"Con una nueva arquitectura de báscula de rack refrigerada por líquido altamente eficiente, el nuevo DGX SuperPOD está construido con sistemas NVIDIA DGX GB200 y proporciona 11,5 exaflops de supercomputación de IA con precisión FP4 y 240 terabytes de memoria rápida, escalando a más con racks adicionales”, anotó Huang en otro comunicado.
El ejecutivo explicó que cada sistema DGX GB200 cuenta con 36 superchips NVIDIA GB200, que incluyen 36 CPU NVIDIA Grace y 72 GPU NVIDIA Blackwell, conectados como una supercomputadora a través de la quinta generación NVIDIA NVLink. Los superchips GB200 ofrecen un aumento de rendimiento de hasta 30 veces en comparación con la GPU NVIDIA H100 Tensor Core para grandes cargas de trabajo de inferencia de modelos de lenguaje.
"El DGX SuperPOD con tecnología Grace Blackwell cuenta con ocho o más sistemas DGX GB200 y puede escalar a decenas de miles de superchips GB200 conectados a través de NVIDIA Quantum InfiniBand. Para obtener un espacio de memoria compartida masivo para impulsar los modelos de IA de próxima generación, los clientes pueden implementar una configuración que conecte las GPU 576 Blackwell en ocho sistemas DGX GB200 conectados a través de NVLink”, anotó el ejecutivo.
Huang agregó que los nuevos sistemas DGX SuperPOD con DGX GB200 cuentan con una estructura informática unificada. "Además de NVIDIA NVLink de quinta generación, la estructura incluye DPU NVIDIA BlueField-3 y será compatible con las redes NVIDIA Quantum-X800 InfiniBand. Esta arquitectura proporciona hasta 1.800 gigabytes por segundo de ancho de banda a cada GPU de la plataforma”.
Además, sostuvo, la tecnología NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) de cuarta generación proporciona 14,4 teraflops de computación en red, un aumento de cuatro veces en la arquitectura DGX SuperPOD de próxima generación en comparación con la generación anterior.
"La nueva DGX SuperPOD es una supercomputadora de IA completa a escala de centro de datos que se integra con el almacenamiento de alto rendimiento de socios certificados por NVIDIA para satisfacer las demandas de las cargas de trabajo de IA generativa. Cada uno de ellos se construye, cablea y prueba en la fábrica para acelerar drásticamente la implementación en los centros de datos de los clientes”, indicó el ejecutivo.
Franca Cavassa, CTOPerú