[19/07/2023] DataStax ha anunciado la disponibilidad general (GA) de su capacidad de búsqueda vectorial en Astra DB -su base de datos como servicio (DBaaS) construida sobre la base de datos de código abierto Apache Cassandra- asegurando que ofrece órdenes de magnitud de más datos y menor latencia que otras bases de datos líderes para construir aplicaciones de IA generativa que cambian el juego.
[Reciba lo último de CTOPerú suscribiéndose a nuestro newsletter semanal]
"Una base de datos que admite la búsqueda vectorial puede almacenar datos como 'incrustaciones vectoriales', lo que resulta esencial para ofrecer aplicaciones de IA generativa como las creadas en GPT-4. Con la nueva disponibilidad en Microsoft Azure y Amazon Web Services (AWS), que se suma a la disponibilidad inicial en Google Cloud, las empresas ya pueden utilizar Astra DB como base de datos vectorial para impulsar sus iniciativas de IA en cualquier nube, con el mejor rendimiento de su clase que aprovecha la velocidad y la escala ilimitada de Cassandra. Además, la búsqueda vectorial estará disponible para los clientes que ejecuten DataStax Enterprise, la oferta autogestionada local, en el plazo de un mes”, señaló Ed Anuff, director de producto de DataStax, en una entrada de blog.
El ejecutivo anotó que los clientes que utilizan Astra DB para sus iniciativas de IA se benefician de la escala y disponibilidad global de la base de datos vectorial, así como de su compatibilidad con los requisitos más estrictos a nivel empresarial para la gestión de datos sensibles, incluyendo PHI, PCI y PII. "La reciente integración de Astra DB en el popular marco de código abierto LangChain continuará acelerando la adopción de la IA generativa para los clientes”.
McKinsey estima ahora que la IA generativa tiene un potencial de entre 2,4 y 4,2 mil millones de dólares de valor para la economía mundial. "Las empresas que buscan participar en el ecosistema de la IA necesitan una base de datos vectorial para potenciar las aplicaciones de IA con sus datos propios para ofrecer a sus clientes y partes interesadas una experiencia de usuario dinámica y convincente a través del impacto transformador de la IA generativa”, indicó el ejecutivo.
Anuff detalló algunas de las ventajas más importantes de la búsqueda vectorial en Astra DB:
Reducir las alucinaciones de la IA: Los grandes modelos lingüísticos, o LLM, a menudo tienen dificultades para reconocer los límites de su propio conocimiento, un déficit que a menudo le lleva a "alucinar" para rellenar los huecos. "En muchos casos de uso, como el de los agentes de chat de atención al cliente, en los que el cliente puede estar descontento, las alucinaciones pueden dañar la reputación de la empresa y sus ingresos. Retrieval Augmented Generation (RAG), que se incluye en esta versión de búsqueda vectorial, puede eliminar la mayoría de las alucinaciones al basar las respuestas en los datos de la empresa”, explicó el ejecutivo.
Garantizar la seguridad de los datos: Muchos casos de uso de la IA implican información personal identificable (PII), información de pago y datos médicos. Como parte del anuncio de la búsqueda vectorial GA, Anuff anotó que Astra DB está habilitada para PCI, SOC2 e HIPAA.
Baja latencia y alto rendimiento: En el mundo real, las cargas de trabajo de producción para la búsqueda vectorial, una base de datos tiene que soportar lecturas y escrituras de alto rendimiento por razones que no están necesariamente presentes en otros casos de uso de análisis predictivo:
Los datos empresariales, ya sean las notas médicas de un médico o la información de reservas de vuelos de una aerolínea, se actualizan constantemente. Esto significa que las lecturas y escrituras de baja latencia son críticas para la base de datos.
- El historial de los chats debe almacenarse y recuperarse en tiempo real; para ello se suelen utilizar almacenes vectoriales. "En el modelo RAG, cada consulta a la base de datos vectorial del historial de chat del usuario da lugar a una llamada LLM, que se vuelve a almacenar en el historial de chat. Esto significa que las empresas deben planificar para una proporción cercana a 1:1 entre consultas y escrituras en el almacén vectorial, lo que implica que son necesarias tanto lecturas y escrituras de baja latencia como un alto rendimiento de lecturas y escrituras. En cuanto a los objetivos de latencia, para satisfacer las necesidades de los clientes es necesario servir los resultados de las búsquedas vectoriales en menos de 10 milisegundos y escribir los datos en un almacén vectorial en menos de 10 milisegundos”, explicó el ejecutivo.
- Las técnicas RAG avanzadas requieren requisitos de latencia más estrictos; Chain-of-Thought, ReAct y FLARE requieren múltiples consultas tanto a los LLM como a la base de datos de vectores. "Cada invocación LLM también necesita ser almacenada en memoria para ser utilizada en posteriores LLM y llamadas de construcción de prompt. Esto aumenta la necesidad de lecturas y escrituras rápidas en un almacén de vectores”, anotó Anuff.
- Astra DB satisface estos estrictos requisitos de latencia y rendimiento a través de su arquitectura; está diseñada para que las consultas y escrituras se realicen aproximadamente con la misma latencia. "En condiciones de lectura y escritura realistas, nuestras pruebas mostraron un rendimiento entre uno y dos órdenes de magnitud superior, y una latencia inferior a la de otras bases de datos de búsqueda vectorial”, sostuvo el ejecutivo.
Autoescalado: Asta DB admite el autoescalado, lo que garantiza que los requisitos de baja latencia de una aplicación de IA para lecturas y escrituras se mantengan incluso con cargas de trabajo mayores.
Multi-nube, on-prem o código abierto: La mayoría de las empresas que desean implementar a escala ejecutan sistemas multicloud para reducir costos, aprovechar las ventajas técnicas de cada proveedor de cloud y utilizar su propio centro de datos. "DataStax permite que la búsqueda vectorial esté disponible de forma general en GCP, Azure y AWS para que las empresas puedan implementar IA generativa en todas sus aplicaciones. DataStax proporciona el mismo nivel de soporte empresarial para la búsqueda vectorial en las principales nubes”, indicó Anuff.
Agregó que, debido a los costos de infraestructura asociados a la ejecución de IA generativa en la nube y a la falta de disponibilidad de unidades de procesamiento gráfico (GPU) en la nube, algunas empresas están comprando flotas de GPU para desplegarlas en sus propios centros de datos. "Para estos clientes, DataStax planea lanzar pronto una vista previa para desarrolladores de la búsqueda vectorial en DataStax Enterprise (DSE), para empresas que quieran autogestionar sus propios clústeres Cassandra. La búsqueda vectorial también es un CEP aceptado (CEP-30) que se incluirá en el próximo Cassandra v5 de código abierto”.
Integración de datos: La búsqueda vectorial es tan buena como los datos que consulta. "Ya hay docenas de integraciones de búsqueda vectorial disponibles para Cassandra. Con la búsqueda vectorial GA, estamos lanzando una integración Azure PowerQuery e integraciones GCP BigQuery. Estas integraciones son bidireccionales: la información enviada desde lagos de datos como Azure Fabric y BigQuery a Astra DB puede utilizarse como contexto adicional para mejorar las respuestas de los LLM. Los datos de chat enviados desde Astra DB a un almacén de datos permiten a los desarrolladores crear sistemas de monitorización e informes de inteligencia empresarial sobre sus agentes de IA”, finalizo Anuff.