[18/06/2024] Databricks anunció varias innovaciones en Mosaic AI para ayudar a los clientes a crear aplicaciones de IA generativa con calidad de producción. Según lo señalado en el comunicado de prensa, Databricks está invirtiendo en Mosaic AI en tres áreas clave: apoyo a la construcción de sistemas de IA compuestos, capacidades para mejorar la calidad del modelo y nuevas herramientas de gobernanza de IA.
"Las organizaciones están luchando por hacer la transición de los proyectos de IA generativa de la producción piloto a la producción a gran escala debido a problemas de privacidad, calidad y costo. Si bien todos los modelos de cimentación han mejorado significativamente, todavía tienen dificultades para producir resultados de alta calidad. Los modelos de mayor rendimiento aún pueden dar respuestas inexactas, inseguras o exponer datos confidenciales. Para hacer frente a estos desafíos, las organizaciones van más allá de la implementación de un modelo extremadamente grande para implementar sistemas de IA compuestos. Este enfoque utiliza varios componentes, incluidos varios modelos, recuperadores, bases de datos vectoriales y herramientas para la evaluación, el monitoreo, la seguridad y la gobernanza. Como resultado, los sistemas de IA compuestos ofrecen una calidad de producción mucho mayor, lo que permite a las organizaciones ofrecer aplicaciones de IA más precisas, seguras y gobernadas de manera eficiente”, comentó Matei Zaharia, cofundador y CTO de Databricks.
El ejecutivo anotó que, para ayudar a los clientes a crear aplicaciones de IA generativa con calidad de producción, Databricks lanza Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training y Mosaic AI Gateway.
Crear sistemas de IA compuestos
Databricks presenta varias funcionalidades nuevas para ayudar a los clientes a implementar sistemas de IA compuestos listos para la empresa. "RAG es un tipo de sistema de IA compuesto, ya que utiliza múltiples componentes, como una base de datos vectorial, y herramientas de supervisión, evaluación, seguridad y gobernanza para mejorar la precisión del LLM. El mes pasado, Databricks anunció la disponibilidad general de Mosaic AI Vector Search como una base de datos vectorial sin servidor integrada en la plataforma de inteligencia de datos. Ahora, Databricks anuncia Mosaic AI Agent Framework, que facilita a los desarrolladores la creación rápida y segura de aplicaciones RAG de alta calidad, utilizando modelos básicos y sus datos empresariales. Pueden evaluar la calidad de su aplicación RAG con Mosaic AI Agent Evaluation, iterar rápidamente y volver a implementar su aplicación fácilmente. Mosaic AI Agent Evaluation es una herramienta de evaluación asistida por IA que determina automáticamente si los resultados son de alta calidad y proporciona una interfaz de usuario intuitiva para obtener comentarios de las partes interesadas humanas. En conjunto, estas capacidades ayudan a las organizaciones a implementar soluciones de IA generativa con calidad de producción”, explicó Zaharia.
Entrenamiento de modelos
Por su parte, el ejecutivo señaló que Mosaic AI Model Training ajusta los modelos básicos de código abierto con los datos privados de una organización, lo que le brinda nuevos conocimientos específicos para su dominio o tarea. "Estos modelos ajustados son propiedad y están totalmente controlados por el cliente y producen resultados de mayor calidad para casos de uso específicos porque han sido entrenados con los datos privados de la organización para tareas especializadas. Además de ser más precisos para dominios específicos, los modelos más pequeños ajustados por el entrenamiento de modelos también son más rápidos y menos costosos de servir que los modelos propietarios más grandes porque tienen menos parámetros y requieren menos potencia de cálculo”.
Gobernanza en las aplicaciones y modelos de GenAI
Finalmente, Zaharia indicó que Mosaic AI Gateway proporciona una interfaz unificada para consultar, administrar e implementar cualquier modelo de código abierto o propietario, lo que permite a los clientes cambiar fácilmente los modelos de lenguaje grandes (LLM) que impulsan sus aplicaciones sin necesidad de realizar cambios complicados en el código de la aplicación. "Es compatible con el seguimiento del uso y las barreras de protección, lo que permite a las organizaciones realizar un seguimiento de quién llama al modelo, configurar límites de velocidad para controlar el gasto de sus usuarios empresariales y filtrar la seguridad y la información de identificación personal (PII) independientemente del modelo que se esté utilizando. Por último, ofrece gobernanza y supervisión integradas para ayudar a garantizar continuamente la calidad”.
Disponibilidad
Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Model Training y Mosaic AI Gateway ya están en versión preliminar pública. El catálogo de herramientas de IA de Mosaic se encuentra en versión preliminar privada.
Franca Cavassa, CTOPerú