[04/03/2024] IBM ha anunciado la disponibilidad del modelo de lenguaje LLM de código abierto Mixtral-8x7B, desarrollado por Mistral AI, en su plataforma de datos Watsonx AI, a medida que continúa expandiendo las capacidades para ayudar a los clientes a innovar con los propios modelos básicos de IBM y los de una variedad de proveedores de código abierto.
"IBM ofrece una versión optimizada de Mixtral-8x7B que, en pruebas internas, fue capaz de aumentar el rendimiento (o la cantidad de datos que se pueden procesar en un período de tiempo determinado) en un 50% en comparación con el modelo normal. Esto podría reducir la latencia entre un 35 y un 75%, dependiendo del tamaño del lote, lo que aceleraría el tiempo de obtención de información. Esto se logra a través de un proceso llamado cuantificación, que reduce el tamaño del modelo y los requisitos de memoria para los LLM y, a su vez, puede acelerar el procesamiento para ayudar a reducir los costos y el consumo de energía”, señaló Kareem Yusuf, Ph.D, vicepresidente senior de Gestión de Productos y Crecimiento de IBM Software, en el comunicado de prensa.
De acuerdo al ejecutivo, la incorporación de Mixtral-8x7B amplía la estrategia abierta y multimodelo de IBM para darles a los clientes opciones y flexibilidad para escalar las soluciones de IA empresarial en sus negocios. "A través de décadas de investigación y desarrollo de IA, colaboración abierta con Meta y Hugging Face, y asociaciones con líderes de modelos, IBM está ampliando su catálogo de modelos watsonx.ai e incorporando nuevas capacidades, lenguajes y modalidades”.
Yusuf indicó que las opciones de modelos básicos listos para la empresa de IBM y su plataforma de datos e IA watsonx pueden capacitar a los clientes para utilizar la IA generativa para obtener nuevos conocimientos y eficiencias, y crear nuevos modelos de negocio basados en principios de confianza. IBM permite a los clientes seleccionar el modelo adecuado para los casos de uso correctos y los objetivos de precio-rendimiento para dominios de negocio específicos, como las finanzas.
"Mixtral-8x7B se construyó utilizando una combinación de modelado disperso, una técnica innovadora que encuentra, y utiliza solo las partes más esenciales de los datos para crear modelos más eficientes, y la técnica de mezcla de expertos, que combina diferentes modelos ('expertos') que se especializan y resuelven diferentes partes de un problema. El modelo Mixtral-8x7B es ampliamente conocido por su capacidad para procesar y analizar rápidamente grandes cantidades de datos para proporcionar información relevante para el contexto”, sostuvo Yusuf.
Esta semana, IBM también anunció la disponibilidad de ELYZA-japanese-Llama-2-7b, un modelo LLM japonés de código abierto de ELYZA Corporation, en watsonx. IBM también ofrece los modelos de código abierto de Meta Llama-2-13B-chat y Llama-2-70B-chat y otros modelos de terceros en watsonx, con más por venir en los próximos meses.
Franca Cavassa, CTOPerú