[16/12/2024] Red Hat anunció la última versión de Red Hat Enterprise Linux AI (RHEL AI), la plataforma de modelos base de Red Hat para desarrollar, probar y ejecutar de manera más sencilla modelos de inteligencia artificial generativa (o GenAI) para aplicaciones empresariales. Según lo señalado en el comunicado de prensa, RHEL AI 1.3 ofrece soporte para la última evolución de la familia de modelos de lenguaje de gran tamaño (LLM) Granite e incorpora avances de código abierto para la preparación de datos, al mismo tiempo que mantiene un amplio abanico de opciones para implementaciones en la nube híbrida, incluida la arquitectura de computación acelerada subyacente.
"Para aprovechar el poder transformador de la IA genérica, creemos que son necesarios modelos más pequeños y optimizados, y que estos modelos deben desplegarse en cualquier lugar y en todas partes a través de la nube híbrida”, comentó Joe Fernandes, vicepresidente y gerente general de Artificial Intelligence Business Unit de Red Hat.
De acuerdo al ejecutivo, la visión de la compañía de una IA generativa empresarial requiere:
- Modelos con licencia open source más pequeños capaces de ejecutarse en cualquier momento y lugar en la nube híbrida en función de las necesidades.
- Capacidades de ajuste fino que permitan a las empresas personalizar más fácilmente los LLM a partir de datos privados y casos de uso específicos.
- Modelos de IA optimizados y más eficientes impulsados por la experiencia en ingeniería de rendimiento de inferencia.
- El respaldo de un partner fuerte y un ecosistema open source para ofrecer a los clientes una mayor variedad de opciones.
"RHEL AI es uno de los pilares clave de la visión de IA de Red Hat, ya que reúne la familia de modelos Granite con licencia de código abierto y las herramientas de alineación de modelos InstructLab basadas en la metodología de alineación de modelos a gran escala para chatBots (LAB). Estos componentes luego se empaquetan como una imagen de Red Hat Enterprise Linux de inicio optimizada para implementaciones de servidores individuales en cualquier parte de la nube híbrida”, sostuvo Fernandes.
Soporte para los LLM Granite 3.0
El ejecutivo anotó que RHEL AI 1.3 amplía el compromiso de Red Hat con los LLM Granite a través del soporte para casos de uso de Granite 3.0 8b en idioma inglés. "Granite 3.0 8b es un modelo convergente que admite no solo el inglés, sino también una docena de otros idiomas naturales, generación de código y llamadas de funciones. Los casos de uso en idiomas distintos del inglés, así como el código y las funciones, están disponibles como una versión preliminar para desarrolladores dentro de RHEL AI 1.3 y la expectativa es que estas capacidades se incorporen en futuras versiones de RHEL AI”.
Simplificar la preparación de datos con Docling
Fernandes anotó que Docling es un proyecto de desarrollo de la comunidad que recientemente IBM Research convirtió en código abierto. De acuerdo al ejecutivo, este proyecto ayuda a analizar formatos de documentos comunes y convertirlos en formatos como Markdown y JSON a fin de preparar este contenido para aplicaciones y entrenamiento de la IA generativa. RHEL AI 1.3 ahora incorpora esta innovación como una función compatible que permite a los usuarios convertir archivos PDF en Markdown y simplificar la introducción de datos para el ajuste de modelos con InstructLab.
"Gracias a Docling, RHEL AI 1.3 ahora también incluye la fragmentación en función del contexto, que toma en cuenta la estructura y los elementos semánticos de los documentos que se utilizan para el entrenamiento de la IA generativa. Esto ayuda a que las aplicaciones de IA generativa resultantes mantengan un grado mayor de coherencia y respuestas más adecuadas desde el punto de vista contextual a las preguntas y tareas, que de lo contrario requerirían un mayor ajuste y alineación”, explicó Fernandes.
Agregó que las futuras versiones de RHEL AI seguirán incorporando y perfeccionando los componentes de Docling, como formatos de documentos adicionales y la integración de procesos de generación aumentada de recuperación (RAG), además del ajuste de conocimientos de InstructLab.
Expandir el ecosistema de la IA generativa
Según el ejecutivo, la libertad de elección constituye un componente fundamental de la nube híbrida y, en vista del rol que desempeña la IA generativa como carga de trabajo característica de los entornos híbridos, esta flexibilidad de opciones debe partir de las arquitecturas de chips subyacentes. RHEL AI ya admite los principales aceleradores de NVIDIA y AMD y la versión 1.3 ahora incluye Intel Gaudi 3 como versión tecnológica preliminar.
"Más allá de la arquitectura de chips, RHEL AI es compatible con los principales proveedores de nubes, que incluyen AWS, Google Cloud y las consolas de Microsoft Azure, como oferta 'traiga su propia suscripción' (BYOS). La plataforma también estará pronto disponible como una opción de solución optimizada y validada en Azure Marketplace y AWS Marketplace”, indicó Fernandes.
RHEL AI está disponible como plataforma de modelos base preferida en ofertas de hardware aceleradas de partners de Red Hat, que incluyen los servidores Dell PowerEdge R760xa y los servidores Lenovo ThinkSystem SR675 V3.
Mejoras en el servicio de modelos con Red Hat OpenShift AI
El ejecutivo anotó que en vista de que los usuarios buscan ampliar la capacidad de ofrecer LLM, Red Hat OpenShift AI ahora admite la entrega en paralelo en múltiples nodos con entornos de ejecución vLLM, lo que proporciona la capacidad de manejar múltiples solicitudes en tiempo real. "Red Hat OpenShift AI también permite a los usuarios modificar dinámicamente los parámetros de un LLM cuando se entrega, como compartir el modelo en varias GPU o subdividirlo para que ocupe menos espacio. Estas mejoras tienden a acelerar el tiempo de respuesta a los usuarios, aumentar la satisfacción del cliente y reducir la tasa de abandono”.
RHEL AI 1.3 ya tiene disponibilidad general.
Franca Cavassa, CTOPerú