[20/11/2024] Red Hat anunció la última versión de Red Hat OpenShift AI, su plataforma de inteligencia artificial (IA) y aprendizaje automático (ML) basada en Red Hat OpenShift que permite a las empresas crear y entregar aplicaciones habilitadas para IA a escala en la nube híbrida. Según lo señalado en el comunicado de prensa, Red Hat OpenShift AI 2.15 está diseñado para proporcionar una mayor flexibilidad, ajuste y capacidades de seguimiento, lo que ayuda a acelerar la innovación de IA/ML y la consistencia operativa de las empresas con una mayor regularidad y una postura de seguridad más sólida a escala en nubes públicas, centros de datos y entornos periféricos.
"Red Hat OpenShift AI ofrece mejoras significativas en escalabilidad, rendimiento y eficiencia operativa, al tiempo que actúa como piedra angular para el ciclo de vida del modelo general, lo que hace posible que las organizaciones de TI obtengan los beneficios de una poderosa plataforma de IA mientras mantienen la capacidad de construir, implementar y ejecutar en cualquier entorno que dicten sus necesidades comerciales únicas", sostuvo Joe Fernandes, vicepresidente y director general de la unidad de negocio de IA de Red Hat.
El ejecutivo anotó que Red Hat OpenShift AI 2.15 tiene como objetivo ayudar a las empresas a abordar las necesidades emergentes de las cargas de trabajo de IA junto con los requisitos de las aplicaciones nativas de la nube de misión crítica que impulsan sus negocios en la actualidad. Las funciones avanzadas que se ofrecen con la última versión de Red Hat OpenShift AI incluyen:
- El registro de modelos, que actualmente se proporciona como versión preliminar de tecnología, es el lugar central para ver y administrar los modelos registrados. "Esta función proporciona una forma estructurada y organizada de compartir, versionar, implementar y realizar un seguimiento de modelos predictivos y de generación de IA, metadatos y artefactos de modelos. También está disponible la opción de proporcionar varios registros de modelos. Red Hat también ha donado el proyecto de registro de modelos a la comunidad de Kubeflow como un subproyecto”, explicó Fernandes.
- La detección de desfase de datos supervisa los cambios en las distribuciones de datos de entrada para los modelos de ML implementados. "Esta función permite a los científicos de datos detectar cuándo los datos en vivo utilizados para la interferencia del modelo se desvían significativamente de los datos con los que se entrenó el modelo. La detección de desviaciones ayuda a verificar la confiabilidad del modelo mediante la supervisión continua de los datos de entrada, manteniendo el modelo alineado con los datos del mundo real y ayudando a mantener la precisión de sus predicciones a lo largo del tiempo”, comentó el ejecutivo.
- Las herramientas de detección de sesgos ayudan a los científicos de datos y a los ingenieros de IA a supervisar si sus modelos son justos e imparciales, una parte crucial para establecer la confianza en los modelos. Según Fernandes, estas herramientas no solo ayudan a proporcionar información sobre si los modelos son imparciales en función de los datos de entrenamiento, sino que también supervisan la equidad de estos modelos durante las implementaciones en el mundo real. Estas herramientas provienen de la comunidad de código abierto de TrustyAI, que proporciona un conjunto de herramientas diverso para el desarrollo y la implementación responsables de la IA.
- El ajuste fino eficiente con LoRA utiliza adaptadores de rango bajo (LoRA) para permitir un ajuste fino más eficiente de los LLM, como Llama 3. "Esto permite a las organizaciones escalar las cargas de trabajo de IA al tiempo que reduce los costos y el consumo de recursos. Al optimizar el entrenamiento y el ajuste de modelos dentro de los entornos nativos de la nube, esta solución mejora tanto el rendimiento como la flexibilidad, lo que hace que la implementación de IA sea más accesible y escalable”, agregó el ejecutivo.
- Compatibilidad con NVIDIA NIM, un conjunto de microservicios de interfaz fáciles de usar que aceleran la entrega de aplicaciones de IA de generación. La integración con NIM, parte de la plataforma de software NVIDIA AI Enterprise, ayudará a acelerar las implementaciones de IA de generación, al tiempo que admitirá una amplia gama de modelos de IA para ofrecer inferencias escalables en las instalaciones o en la nube a través de interfaces de programación de aplicaciones (API).
- La compatibilidad con las GPU de AMD permite el acceso a una imagen de área de trabajo ROCm de AMD para usar las GPU de AMD para el desarrollo de modelos. La nueva funcionalidad también permite el acceso a imágenes que se pueden usar para servir y entrenar/ajustar casos de uso con GPU AMD. Esta compatibilidad ofrece a las organizaciones opciones adicionales para usar GPU con el fin de mejorar el rendimiento de las actividades de cálculo intensivo.
Modelo de servicio mejorado
Como plataforma integral de IA/ML, Fernandes anotó que Red Hat OpenShift AI 2.15 también agrega nuevas capacidades en torno al servicio de modelos de IA de generación, incluido el tiempo de ejecución de servicio vLLM para KServe. "Esta nueva capacidad lleva a la plataforma el popular modelo de código abierto que sirve tiempo de ejecución para modelos de lenguaje (LLM) grandes. La flexibilidad y el rendimiento de vLLM es una excelente adición a los tiempos de ejecución actualmente compatibles con la plataforma, y los usuarios también pueden agregar sus propias opciones personalizadas según lo dicten los requisitos comerciales”.
El ejecutivo añadió que la última versión de Red Hat OpenShift AI también agrega soporte para KServe Modelcars, que agrega repositorios de Open Container Initiative (OCI) como una opción para almacenar y acceder a versiones de modelos en contenedores. Además, la selección de rutas privadas/públicas para los puntos finales en KServe permite a las organizaciones mejorar la postura de seguridad de un modelo dirigiéndolo específicamente a los puntos finales internos cuando sea necesario.
Opciones ampliadas de entrenamiento y experimentación con IA
Fernandes finalizó comentando que Red Hat OpenShift AI 2.15 añade mejoras a las canalizaciones de ciencia de datos y al seguimiento de experimentos, lo que permite a los científicos de datos gestionar, comparar y analizar más fácilmente las ejecuciones de canalizaciones agrupadas en una estructura lógica. "La plataforma también agrega ajuste de hiperparámetros con Ray Tune, agregando algoritmos de optimización avanzados para mejorar la precisión y entrenar modelos predictivos y de IA de generación de manera más eficiente. Las imágenes de contenedor base para los clústeres de Ray ahora se incluyen en la versión más reciente de Red Hat OpenShift AI, y los trabajos de entrenamiento y ajuste se pueden programar en cargas de trabajo distribuidas en el clúster para acelerar los trabajos y maximizar la utilización de los nodos”.
Franca Cavassa, CTOPerú