[24/02/2025] La próxima frontera de la IA son los modelos de razonamiento que piensan críticamente y aprenden durante la inferencia para resolver problemas complejos. Según lo comentado por Google Cloud en una entrada de blog, para entrenar y servir a esta nueva clase de modelos, se necesita una infraestructura con el rendimiento y la eficiencia no solo para manejar conjuntos de datos masivos y ventanas de contexto, sino también para ofrecer respuestas rápidas y confiables.
Para esto, Google Cloud anunció la vista previa de las máquinas virtuales A4X, con tecnología NVIDIA GB200 NVL72, un sistema que consta de 72 GPU NVIDIA Blackwell y 36 CPU NVIDIA Grace basadas en Arm, conectadas a través de NVIDIA NVLink de quinta generación. "Con este sistema integrado, las máquinas virtuales A4X abordan directamente las importantes demandas de computación y memoria de los modelos de razonamiento que utilizan la cadena de pensamiento, lo que desbloquea nuevos niveles de rendimiento y precisión de la IA”, sostuvo Jorge Elissaios, vicepresidente de Infraestructura y Computación de IA, Google Cloud
Características y capacidades clave de A4X
El ejecutivo anotó que las máquinas virtuales A4X se basan en varias innovaciones clave para permitir la próxima frontera de la IA:
- NVIDIA GB200 NVL72: Esta configuración permite que 72 GPU Blackwell funcionen como una sola unidad de cómputo unificada, con memoria compartida y comunicaciones de gran ancho de banda. "Por ejemplo, esta arquitectura unificada ayuda a lograr respuestas de baja latencia para el razonamiento multimodal en solicitudes de inferencia simultáneas”, explicó Elissaios.
- CPU NVIDIA Grace: Estos chips Arm personalizados vienen con conexiones de chip a chip (C2C) NVLink a las GPU Blackwell que permiten la creación de puntos de control, la descarga y la rematerialización eficientes del estado del modelo y el optimizador que se requieren para entrenar y servir los modelos más grandes.
- Rendimiento de entrenamiento mejorado: Según el ejecutivo, Con más de un exaflop por sistema GB200 NVL72, A4X ofrece un aumento de cuatro veces en el rendimiento de entrenamiento de LLM en comparación con las máquinas virtuales A3 con GPU NVIDIA H100.
- Escalabilidad y paralelización: Las máquinas virtuales A4X facilitan la implementación de modelos en decenas de miles de GPU Blackwell utilizando las últimas estrategias de fragmentación y canalización para maximizar la utilización de la GPU. "La red de alto rendimiento de Google Cloud basada en RDMA a través de Ethernet convergente (RoCE) combina racks NVL72 en clústeres únicos, alineados con rieles y sin bloqueo de decenas de miles de GPU. No se trata solo de tamaño; Se trata de escalar de manera eficiente sus modelos más complejos”, anotó Elissaios.
- Optimizado para el razonamiento y la inferencia: La arquitectura A4X con su dominio NVLink de 72 GPU está diseñada específicamente para la inferencia de baja latencia, especialmente para modelos de razonamiento que emplean técnicas de cadena de pensamiento. "La capacidad de compartir la memoria y la carga de trabajo entre las 72 GPU (incluido KVCache para modelos de contexto largo) proporciona una baja latencia, mientras que el gran dominio NVLink también conduce a un mejor escalado del tamaño de los lotes y a un menor coste total de propiedad, para que pueda atender más solicitudes de usuarios simultáneos”, señaló el ejecutivo.
Elissaios indicó que las VM A4X forman parte de su arquitectura de supercomputación, AI Hypercomputer, y se benefician de la experiencia en el centro de datos, la infraestructura y el software de Google Cloud. Igualmente, se integran fácilmente en todos los productos y servicios de Google Cloud.
Una asociación estratégica
Además, NVIDIA DGX Cloud, una plataforma de IA totalmente gestionada, pronto estará disponible en las máquinas virtuales A4X para acelerar las iniciativas de IA de los clientes.
"Los desarrolladores e investigadores necesitan acceso a la última tecnología para entrenar e implementar modelos de IA para aplicaciones e industrias específicas. Nuestra colaboración con Google proporciona a los clientes un rendimiento y una escalabilidad mejorados, lo que les permite hacer frente a las cargas de trabajo más exigentes de IA generativa, LLM y computación científica, al tiempo que se benefician de la facilidad de uso y el alcance global de Google Cloud", sostuvo, por su parte, Alexis Bjorlin, vicepresidente de NVIDIA DGX Cloud, de NVIDIA.
Franca Cavassa, CTOPerú