[15/11/2024] Snowflake ha anunciado Snowflake Intelligence (en versión preliminar privada pronto), una nueva plataforma que permitirá a las empresas hacer fácilmente preguntas empresariales en sus datos empresariales para desbloquear respuestas basadas en datos y, en solo unos pocos pasos, crear agentes de datos que actúen sobre la base de esos conocimientos.
"Snowflake Intelligence marca el comienzo de una nueva era en la forma en que los usuarios pueden interactuar con sus datos empresariales, basándose en los servicios de IA fáciles, eficientes y confiables de Snowflake. Snowflake Intelligence proporcionará a las empresas agentes de datos de nivel empresarial basados en la base de datos de Snowflake que realizan el trabajo organizativo de manera eficiente, al tiempo que protegen la propiedad intelectual de los clientes y brindan respuestas respaldadas por datos empresariales confiables y confiables. Snowflake Intelligence permite a todos acceder fácilmente a todos los datos y aprovechar todo el potencial de ellos, y conectarse sin problemas con herramientas de terceros, incluidas las transacciones de ventas en una base de datos, los documentos en bases de conocimientos como SharePoint, las herramientas de productividad como Slack, Salesforce y Google Workspace, junto con los datos de inteligencia empresarial en Snowflake, para que puedan hablar con sus datos utilizando el lenguaje natural. Snowflake Intelligence también admite llamadas a API para permitir acciones y modificaciones de datos para avanzar en el trabajo de los usuarios empresariales”, sostuvo Baris Gultekin, jefe de IA de Snowflake, en el comunicado de prensa.
El ejecutivo anotó que, hoy en día, muchas organizaciones tienen dificultades para tomar decisiones informadas debido a la gobernanza fragmentada en sus fuentes de datos, los silos de infraestructura entre formatos de datos estructurados y no estructurados, y el acceso limitado a analistas que pueden escribir código y conectar los puntos en toda la empresa. "Snowflake Intelligence abordará todos estos desafíos, ayudando primero a las organizaciones a integrar varios sistemas de datos con una sola capa de gobernanza. Con esa base, los equipos pueden procesar y recuperar datos con precisión de fuentes de datos estructuradas y no estructuradas utilizando el lenguaje natural, democratizando realmente el acceso a los datos y a la IA, al tiempo que permite a cualquier usuario realizar acciones basadas en datos”.
A su vez, agregó Gultekin, esto permite a los usuarios definir los conjuntos de datos a los que quieren hacer preguntas, que pueden incluir PDF o tablas en una base de datos, sin tener que escribir ningún código. "A medida que se hacen las preguntas, Snowflake Intelligence pone en acción a los agentes de datos para realizar tareas de análisis, resumen o generación. Los agentes de datos también pueden usar API o escribir en tablas de Snowflake para registrar las decisiones empresariales, lo que facilita el seguimiento de los resultados y la medición de los impactos”.
Snowflake Cortex AI y el catálogo de Snowflake Horizon
El ejecutivo comentó que Snowflake Intelligence utiliza Snowflake Cortex AI, el servicio de IA totalmente gestionado de Snowflake que proporciona un conjunto de funciones de IA generativa, como motor de IA que impulsa sus capacidades, y se creó utilizando Cortex Search (ahora disponible para el público en general) para ejecutar consultas en datos no estructurados, y Cortex Analyst (en versión preliminar pública) para ejecutar consultas en datos estructurados. "Las nuevas innovaciones de Cortex AI permiten que más usuarios aprovechen la inferencia, el ajuste, la generación aumentada de recuperación (RAG) y el texto a SQL del modelo de lenguaje grande sin servidor de Cortex AI, para que los equipos de datos puedan procesar datos no estructurados mientras los desarrolladores crean rápidamente aplicaciones empresariales de IA”.
Gultekin finalizó señalando que Snowflake Intelligence también se integra de forma nativa con Snowflake Horizon Catalog en el nivel básico, lo que lo hace compatible con formatos abiertos como Apache Iceberg y Apache Polaris (en incubación). "Esta combinación ofrece capacidades de cumplimiento, seguridad, privacidad, detección y colaboración de nivel empresarial. Esto se extiende a través de las nubes y las regiones, por lo que las organizaciones pueden dedicar menos tiempo a preocuparse por implementar la seguridad y la gobernanza para proteger sus datos, y más tiempo a impulsar el impacto. Snowflake está mejorando el catálogo de Horizon para que todos los usuarios obtengan capacidades más profundas para ofrecer una IA segura y gobernada a escala”.
Innovaciones en Snowflake Cortex AI y Snowflake ML
Snowflake también anunció nuevos avances que aceleran el camino para que las organizaciones entreguen una IA fácil, eficiente y fiable a la producción con sus datos empresariales. Según lo señalado en el comunicado de prensa, con las últimas innovaciones de Snowflake, los desarrolladores pueden crear sin esfuerzo aplicaciones conversacionales para datos estructurados y no estructurados con alta precisión, ejecutar de manera eficiente la inferencia de modelos de lenguaje grande (LLM) por lotes para canalizaciones de procesamiento de lenguaje natural (NLP) y entrenar modelos personalizados con contenedores impulsados por GPU, todo con gobernanza, controles de acceso, observabilidad y barreras de seguridad integradas para ayudar a garantizar que la seguridad y la confianza de la IA permanezcan a la vanguardia.
"Para las empresas, las alucinaciones de la IA son simplemente inaceptables. Las organizaciones de hoy en día requieren una IA precisa y confiable para impulsar una toma de decisiones efectiva, y esto comienza con el acceso a datos de alta calidad de diversas fuentes para impulsar los modelos de IA", anotó Baris Gultekin, jefe de IA de Snowflake. "Las últimas innovaciones de Snowflake Cortex AI y Snowflake ML permiten a los equipos de datos y a los desarrolladores acelerar el camino hacia la entrega de IA confiable con sus datos empresariales, para que puedan crear chatbots más rápido, mejorar el costo y el rendimiento de sus iniciativas de IA y acelerar el desarrollo de ML".
El ejecutivo anotó que las últimas innovaciones de Snowflake facilitan a las empresas la creación de aplicaciones de IA fiables con fuentes de datos más diversas, una orquestación simplificada y una evaluación y supervisión integradas, todo ello desde Snowflake Cortex AI, el servicio de IA gestionado de Snowflake que proporciona un conjunto de funciones de IA generativa. Señaló que los avances de Snowflake para el desarrollo de aplicaciones conversacionales de extremo a extremo permiten a los clientes:
- Crear respuestas más atractivas con soporte multimodal: Las organizaciones ahora pueden mejorar sus aplicaciones conversacionales con entradas multimodales como imágenes, a las que pronto seguirán audio y otros tipos de datos, utilizando LLM multimodales como los modelos Llama 3.2 de Meta con el nuevo soporte de entrada multimodal Cortex COMPLETE (pronto vista previa privada).
- Obtener acceso a respuestas más completas con los nuevos conectores de base de conocimientos: Los usuarios pueden integrar rápidamente bases de conocimientos internas mediante conectores administrados, como el nuevo conector Snowflake para Microsoft SharePoint (ahora en versión preliminar pública), para que puedan acceder a sus archivos y documentos de Microsoft 365 SharePoint, ingiriendo archivos automáticamente sin tener que preprocesar documentos manualmente. "Snowflake también está ayudando a las empresas a chatear con datos no estructurados de terceros, incluidos artículos de noticias, publicaciones de investigación, revistas científicas, libros de texto y más, utilizando las nuevas extensiones de conocimiento de Cortex en Snowflake Marketplace (ahora en versión preliminar privada). Se trata de una integración de datos de terceros para la IA generativa que respeta la propiedad intelectual de los editores mediante el aislamiento y la atribución clara. También crea una vía directa a la monetización para los proveedores de contenido”, anotó el ejecutivo.
- Lograr una preparación de datos más rápida con funciones de preprocesamiento de documentos: Los analistas de negocios y los ingenieros de datos ahora pueden preprocesar datos fácilmente utilizando funciones SQL cortas para hacer archivos PDF y otros documentos listos para IA a través de la nueva PARSE_DOCUMENT (ahora en versión preliminar pública) para la extracción de texto de documentos con reconocimiento de diseño y SPLIT_TEXT_RECURSIVE_CHARACTER (ahora en vista previa privada) para funciones de fragmentación de texto en Cortex Search (ya disponible para el público en general).
- Reducir el trabajo manual de integración y orquestación: Para facilitar la recepción y respuesta a las preguntas basadas en datos empresariales, los desarrolladores pueden utilizar la API de Cortex Chat (versión preliminar pública pronto) para agilizar la integración entre el front-end de la aplicación y Snowflake. "La API de chat de Cortex combina datos estructurados y no estructurados en una sola llamada a la API de REST, lo que ayuda a los desarrolladores a crear rápidamente aplicaciones analíticas de recuperación aumentada (RAG) y agentic con menos esfuerzo”, comentó Gultekin.
- Aumentar la confiabilidad de las aplicaciones y mejore los procesos de cumplimiento con evaluación y monitoreo integrados: Los usuarios ahora pueden evaluar y monitorear sus aplicaciones de IA generativa con más de 20 métricas de relevancia, fundamento, estereotipo y latencia, tanto durante el desarrollo como durante la producción utilizando AI Observability for LLM Apps (ahora en versión preliminar privada), con tecnología integrada de TruEra (adquirida por Snowflake en mayo de 2024).
- Desbloquear análisis de autoservicio más precisos: Para ayudar a las empresas a obtener fácilmente información de sus datos estructurados con alta precisión, Snowflake anuncia varias mejoras en Cortex Analyst (en versión preliminar pública), incluido el análisis de datos simplificado con uniones avanzadas (ahora en versión preliminar pública), una mayor facilidad de uso con conversaciones de varios turnos (ahora en versión preliminar pública) y una recuperación más dinámica con una integración de Cortex Search (ahora en versión preliminar pública).
Inferencias LLM por lotes para el procesamiento del lenguaje natural
La inferencia por lotes permite a las empresas procesar conjuntos de datos masivos con LLM simultáneamente, a diferencia del enfoque individual uno por uno que se usa para la mayoría de las aplicaciones conversacionales. A su vez, las canalizaciones de NLP para datos por lotes ofrecen un enfoque estructurado para procesar y analizar diversas formas de datos de lenguaje natural, incluidos texto, voz y más. Para ayudar a las empresas con ambos, el ejecutivo señaló que Snowflake presenta más opciones de personalización para el procesamiento de texto en lotes grandes, de modo que los equipos de datos puedan crear canalizaciones de NLP con altas velocidades de procesamiento a escala, al tiempo que optimizan tanto el costo como el rendimiento.
"Snowflake está agregando una selección más amplia de LLM previamente entrenados, incorporando tamaños de modelos, longitudes de ventana de contexto y lenguajes compatibles a Cortex AI, lo que brinda a las organizaciones una mayor elección y flexibilidad a la hora de seleccionar qué LLM usar, al tiempo que maximiza el rendimiento y reduce los costos. Esto incluye la adición del modelo de incrustación multilingüe de Voyage, los modelos multimodales 3.1 y 3.2 de Llama y los modelos de ventanas de contexto enormes de Jamba para la inferencia sin servidor. Para ayudar a las organizaciones a elegir el mejor LLM para su caso de uso específico, Snowflake presenta Cortex Playground (ahora en versión preliminar pública), una interfaz de chat integrada diseñada para generar y comparar respuestas de diferentes LLM para que los usuarios puedan encontrar fácilmente el mejor modelo para sus necesidades”, explicó Gultekin.
Cuando se utiliza un LLM para diversas tareas a escala, el ejecutivo afirmó que los resultados consistentes se vuelven aún más cruciales para comprender los resultados de manera efectiva. "Como resultado, Snowflake está presentando el nuevo Cortex Serverless Fine-Tuning (disponible para el público en general pronto), que permite a los desarrolladores personalizar modelos con datos patentados para generar resultados con resultados más precisos. Para las empresas que necesitan procesar grandes trabajos de inferencia con rendimiento garantizado, el nuevo rendimiento aprovisionado (versión preliminar pública pronto) les ayuda a hacerlo con éxito”.
Agregó que, las organizaciones también suelen requerir el cálculo de la GPU para la inferencia. "Como resultado, Snowflake ofrece a los clientes un nuevo modelo de servicio en contenedores (ahora versión preliminar pública en AWS). Esto permite a los equipos implementar modelos entrenados interna y externamente, incluidos los LLM de código abierto y los modelos de integración, desde el Registro de modelos en Snowpark Container Services (ahora disponible de forma general en AWS y Microsoft Azure) para la producción mediante CPU o GPU distribuidas, sin optimizaciones de recursos complejas”.
Además, añadió Gultekin, los usuarios pueden detectar rápidamente la degradación del modelo en producción con el monitoreo integrado con la nueva observabilidad para modelos de ML (ahora en versión preliminar pública), que integra la tecnología de TruEra para monitorear el rendimiento y varias métricas para cualquier modelo que ejecute inferencias en Snowflake. "A su vez, la nueva explicabilidad del modelo de Snowflake (ahora en versión preliminar pública) permite a los usuarios calcular fácilmente los valores de Shapley, un enfoque ampliamente utilizado que ayuda a explicar cómo cada característica está afectando la salida general del modelo, para los modelos registrados en el Registro de modelos. Los usuarios ahora pueden entender exactamente cómo un modelo está llegando a su conclusión final y detectar las debilidades del modelo al notar el comportamiento poco intuitivo en producción”.
Franca Cavassa, CTOPerú