[19/07/2024]Mistral AI y NVIDIA lanzaron un nuevo modelo de lenguaje de última generación, Mistral NeMo 12B, que los desarrolladores pueden personalizar e implementar fácilmente para aplicaciones empresariales que admiten chatbots, tareas multilingües, codificación y resúmenes.
"Al combinar la experiencia de Mistral AI en datos de entrenamiento con el ecosistema optimizado de hardware y software de NVIDIA, el modelo Mistral NeMo ofrece un alto rendimiento para diversas aplicaciones”, sostuvo Guillaume Lample, cofundador y científico jefe de Mistral AI, en el comunicado de prensa.
El ejecutivo anotó que Mistral NeMo se formó en la plataforma de IA en la nube NVIDIA DGX, que ofrece acceso dedicado y escalable a la arquitectura NVIDIA más reciente. "NVIDIA TensorRT-LLM para acelerar el rendimiento de inferencia en modelos de lenguaje grandes y la plataforma de desarrollo NVIDIA NeMo para crear modelos de IA generativa personalizados también se utilizaron para avanzar y optimizar el proceso”.
Ofreciendo una precisión, flexibilidad y eficiencia
Lample explicó que con una longitud de contexto de 128K, Mistral NeMo procesa información extensa y compleja de manera más coherente y precisa, lo que garantiza resultados contextualmente relevantes.
"Lanzado bajo la licencia Apache 2.0, Mistral NeMo es un modelo de 12 mil millones de parámetros. Además, el modelo utiliza el formato de datos FP8 para la inferencia del modelo, lo que reduce el tamaño de la memoria y acelera la implementación sin ninguna degradación de la precisión”, sostuvo el ejecutivo, añadiendo que esto significa que el modelo aprende mejor las tareas y maneja diversos escenarios de manera más efectiva, lo que lo hace ideal para casos de uso empresarial.
Agregó que Mistral NeMo viene empaquetado como un microservicio de inferencia NVIDIA NIM, que ofrece inferencia optimizada para el rendimiento con motores NVIDIA TensorRT-LLM. "Este formato en contenedores permite una fácil implementación en cualquier lugar, lo que proporciona una mayor flexibilidad para diversas aplicaciones”.
Como resultado, anotó Lample, los modelos se pueden implementar en cualquier lugar en cuestión de minutos, en lugar de varios días.
"NIM cuenta con software de nivel empresarial que forma parte de NVIDIA AI Enterprise, con ramas de funciones dedicadas, rigurosos procesos de validación y seguridad y soporte de nivel empresarial. Incluye soporte integral, acceso directo a un experto en IA de NVIDIA y acuerdos de nivel de servicio definidos, lo que brinda un rendimiento confiable y constante”, explicó Lample.
La licencia de modelo abierto permite a las empresas integrar Mistral NeMo en aplicaciones comerciales sin problemas. "Diseñado para caber en la memoria de una sola GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 o NVIDIA RTX 4500, el Mistral NeMo NIM ofrece alta eficiencia, bajo costo de cómputo y seguridad y privacidad mejoradas”, sostuvo el ejecutivo.
Desarrollo y personalización avanzada de modelos
Lample indicó que la experiencia combinada de Mistral AI y los ingenieros de NVIDIA ha optimizado el entrenamiento y la inferencia para Mistral NeMo. "Entrenado con la experiencia de Mistral AI, especialmente en multilingüismo, código y contenido de varios turnos, el modelo se beneficia de un entrenamiento acelerado en la pila completa de NVIDIA”.
Agregó que está diseñado para un rendimiento óptimo, utilizando técnicas eficientes de paralelismo de modelos, escalabilidad y precisión mixta con Megatron-LM. "El modelo se entrenó utilizando Megatron-LM, parte de NVIDIA NeMo, con 3.072 GPU H100 Tensor Core de 80 GB en DGX Cloud, compuestas por la arquitectura de IA de NVIDIA, que incluye computación acelerada, estructura de red y software para aumentar la eficiencia del entrenamiento”, sostuvo Lample.
Disponibilidad e implementación
Con la flexibilidad de ejecutarse en cualquier lugar (nube, centro de datos o estación de trabajo RTX), Mistral NeMo está listo para el desarrollo de las aplicaciones de IA en varias plataformas.
Franca Cavassa, CTOPerú