[14/06/2024] Databricks anunció el lanzamiento de Databricks AI/BI, un nuevo tipo de producto de inteligencia empresarial (BI, por sus siglas en inglés) que señalan tiene como objetivo democratizar el análisis y la información para cualquier persona en una organización.
"Databricks AI/BI presenta un par de experiencias complementarias: Dashboards, una interfaz low-code impulsada por IA para crear y distribuir paneles rápidos e interactivos; y Genie, una interfaz conversacional para abordar preguntas ad-hoc y de seguimiento a través del lenguaje natural. Ambos están alimentados por un sistema de IA compuesto que aprende continuamente del uso en toda la pila de datos de una organización, incluidas las canalizaciones ETL, el linaje y otras consultas. Esto permite que la IA/BI responda a preguntas complejas de forma precisa y automática, sin necesidad de una configuración o modelado por adelantado asociados a las herramientas convencionales”, sostuvo Ali Ghodsi, cofundador y CEO de Databricks, en el comunicado de prensa.
El ejecutivo anotó que, hoy en día, las herramientas de BI permiten a las organizaciones proporcionar acceso básico a los datos a través de informes y paneles, pero solo pueden abordar las preguntas específicas para las que fueron diseñadas. "Los cambios en los datos o en las condiciones empresariales plantean constantemente nuevas preguntas que requieren la escasa experiencia de los científicos y analistas de datos. Recientemente, la industria de BI ha estado buscando IA generativa para resolver este problema mediante la adición de grandes modelos de lenguaje (LLM) sobre una pila de BI convencional. Sin embargo, estos intentos se han quedado cortos en el mundo real. El enfoque de resolver este problema pasando un conjunto de preguntas de lenguaje natural a los LLM para generar un plan de ejecución para responder a dichas preguntas es fundamentalmente limitado porque los casos de uso del mundo real están llenos de preguntas comerciales matizadas con datos desordenados y semánticas mal definidas. En última instancia, las soluciones de 'IA complementaria' pueden proporcionar demostraciones convincentes, pero no pueden trabajar con preguntas y datos reales”.
Ghodsi explicó que en el núcleo de la IA/BI se encuentra un sistema de IA compuesto que utiliza un conjunto de agentes de IA para razonar sobre preguntas comerciales y generar respuestas útiles. "Cada agente es responsable de una tarea limitada, pero importante, como la planificación, la generación de SQL, la explicación, la visualización y la certificación de resultados. Estos agentes también son compatibles con otros componentes, como un subsistema de clasificación de respuestas y un índice vectorial. Juntos, proporcionan capacidades de razonamiento mucho más allá de cualquier modelo monolítico individual”.
Agregó que el sistema está diseñado para aprender y mejorar continuamente su rendimiento en función de la retroalimentación humana. "Por ejemplo, si se le indica la definición de un cliente que abandona, la IA/BI no solo utilizará ese conocimiento para abordar consultas similares (por ejemplo, clientes que abandonan en EMEA frente a APJ), sino que también utilizará ese conocimiento para calcular la tasa de abandono o inferir el significado de los clientes retenidos. La IA/BI persiste este conocimiento más allá de un solo análisis o conversación para mejorar cada vez más, al igual que un analista humano. Además, AI/BI aprende de otra información sobre los datos de una organización en la plataforma de Databricks, como canalizaciones de ETL, linaje, estadísticas de popularidad y otras consultas sobre los datos”.
Ghodsi anotó que este sistema alimenta dos interfaces complementarias:
- AI/BI Dashboards: Una solución de dashboarding de bajo código impulsada por IA que incluye las capacidades de BI convencionales que los usuarios esperarían de forma inmediata, para responder a un conjunto fijo de preguntas empresariales; y
- AI/BI Genie: Una interfaz conversacional que puede aprender los datos y la semántica subyacentes de forma continua en función de los comentarios humanos, y puede responder a un conjunto mucho más amplio de preguntas empresariales en función de sus capacidades de razonamiento, al tiempo que proporciona respuestas certificadas para los patrones de consulta especificados por los equipos de datos.
Databricks AI/BI se basa en la plataforma de inteligencia de datos y está estrechamente integrada con ella. El ejecutivo indicó que los beneficios incluyen:
- Gobernanza y linaje unificados: La IA/BI está profundamente integrada en Databricks Unity Catalog. Sigue el mismo marco de gobernanza, y cualquier política global establecida por los administradores se aplicará en AI/BI. Y gracias a la capacidad de linaje de Unity Catalog, los productores o administradores de datos pueden observar cómo se utilizan sus activos de datos en IA/BI, y los usuarios finales pueden confiar más en su análisis porque pueden rastrear los orígenes de sus conjuntos de datos hasta la ingesta de datos.
- Compartir sin esfuerzo, sin nuevas licencias de usuario: AI/BI está integrado directamente en la plataforma IAM de Databricks, que se integra directamente con IDP como Entra AD u Okta para permitir el uso compartido seguro.
- Relación precio-rendimiento: AI/BI está estrechamente integrado con Databricks SQL almacenes de datos y el motor Photon, que contienen optimizaciones únicas para ofrecer interacciones de alto rendimiento.
- No se requiere extracción de datos: En consecuencia, la IA/BI no requiere extraer los conjuntos de datos de interés en un motor de BI independiente, lo que conduce a una mejor actualización de los datos, así como a una gobernanza más sencilla.
Disponibilidad
AI/BI se incluye para todos los clientes de Databricks SQL Pro y Serverless. Los paneles de IA/BI están disponibles de forma general; Genie está en versión preliminar pública a partir de hoy. No hay ninguna tarifa de licencia adicional más allá de los costos de proceso de almacén para ambos productos.
Franca Cavassa, CTOPerú