[02/05/2024] Teradata ha anunciado un enfoque único abierto y conectado para dar soporte a los formatos de tablas abierta (OTF, por sus siglas en inglés) Apache Iceberg y Linux Foundation Delta Lake, adoptando el giro de la industria hacia las tecnologías de código abierto y ofreciendo a los clientes una elección en la gestión de datos. Según lo señalado en el comunicado de prensa, este movimiento añade una dimensión de futuro a Teradata VantageCloud Lake, la plataforma de datos y análisis nativa de la nube de próxima generación de Teradata para IA, así como a Teradata AI Unlimited, un motor de IA/ML bajo demanda y nativo de la nube, que pasará a la versión preliminar pública en AWS y Azure Marketplaces a partir del segundo trimestre del 2024.
"Los OTF representan un cambio significativo del almacenamiento de datos propietario al almacenamiento más flexible que se puede utilizar en todas las plataformas. La visión es una mayor interoperabilidad, rentabilidad y opciones. Si bien algunas empresas afirman ofrecer la apertura que ofrecen los OTF, encierran a los usuarios en formatos preferidos que sofocan la creatividad y la innovación que los primeros usuarios desean y que los futuros usuarios esperarán. El soporte OTF agnóstico de Teradata y la integración de catálogos abiertos están diseñados para permitir que la plataforma lea varios catálogos con una ejecución predecible. Y con su implementación y enfoque únicos para el procesamiento paralelo, la gestión de la carga de trabajo y la optimización de consultas de datos compartidos, la plataforma está diseñada para ofrecer el mejor rendimiento del mercado. A través de sus ofertas nativas de la nube, multinube y bajo demanda, Teradata ofrece una amplia variedad para la gestión de datos, sin sacrificar el motor potente y escalable que diferencia a Teradata en su capacidad para optimizar el valor y los resultados empresariales”, sostuvo Hillary Ashton, directora de productos de Teradata.
La ejecutiva anotó que la plataforma de Teradata ofrece servicios de primera mano para OTF de Apache Iceberg y Linux Foundation Delta Lake con soporte completo para datos de lectura y escritura cruzada almacenados en múltiples OTF. "Esta interoperabilidad se extiende a los catálogos de AWS Glue, Unity y Apache Hive y funciona en entornos de múltiples nubes y lagos de datos, que están diseñados para ofrecer una experiencia de datos conectada y armonizada a los clientes de Teradata sin necesidad de mover o transformar datos”.
Ashton agregó que la adopción de la IA ha impulsado una rápida consolidación de los almacenes de datos, el análisis y las cargas de trabajo de ciencia de datos en lakehouses unificados. "La compatibilidad con OTF mejora aún más las capacidades de lakehouse de Teradata, proporcionando una capa de abstracción de almacenamiento diseñada para ser flexible, rentable y fácil de usar. Los usuarios pueden aprovechar AI Unlimited y otros motores analíticos en sus propios conjuntos de datos, en sus propios almacenes de objetos en la nube, lo que les permite adoptar un enfoque ágil y de primera clase sin el desafío y el gasto de mover datos. El acceso seguro y compartido a grandes conjuntos de datos permite a los clientes de Teradata crear canalizaciones de datos, puntuar y entrenar modelos, mejorar el análisis y la toma de decisiones, y mucho más”.
Teradata AI Unlimited
Los conjuntos de datos de IA son una de las formas más comunes en que las organizaciones utilizan OTF en la actualidad, por lo que es fundamental que las plataformas destinadas a acelerar los casos de uso de IA, como Teradata AI Unlimited, admitan este formato de datos, anotó la ejecutiva. "Teradata AI Unlimited es un motor de IA/ML bajo demanda y nativo de la nube que está totalmente abierto y conectado, ahora con soporte para OTF, que tiene como objetivo hacer que la innovación en IA sea más rápida, fácil y rentable. AI Unlimited, que pronto estará disponible en versión preliminar pública en AWS y Azure Marketplaces, permite a los científicos de datos, ingenieros de datos y desarrolladores explorar, experimentar y poner en marcha proyectos de IA a escala”.
Ashton añadió que Teradata AI Unlimited está diseñado para proporcionar computación de alto rendimiento, procesamiento paralelo masivo y el análisis avanzado en el motor necesario para ejecutar y poner en funcionamiento las cargas de trabajo de IA. "AWS SageMaker y Azure Machine Learning se pueden integrar en cargas de trabajo ilimitadas de IA, y Azure OpenAI Services proporciona modelos de lenguaje (LLM) de gran tamaño que se pueden usar para desarrollar aplicaciones de IA generativa. Lo mejor de todo es que el trabajo prototipado en AI Unlimited se puede promover sin problemas a la producción en VantageCloud, lo que Teradata cree que proporcionará un valor rápido y sustancial a las empresas.
Nuevas integraciones
Teradata también ha añadido nuevas integraciones con herramientas de terceros: Airbyte Cloud, Apache Airflow™ y dbt™ (herramienta de creación de datos), que forman parte de la pila de datos moderna. "Estas integraciones están destinadas a acelerar la creación de canalizaciones de datos, aumentar la productividad al liberar a los ingenieros de datos del trabajo repetitivo e impulsar un crecimiento rentable”, indicó Ashton.
Airbyte Cloud: Agiliza la ingesta de datos en VantageCloud con un servicio gestionado y alojado que elimina la necesidad de configurar y gestionar la infraestructura, lo que requiere mucho tiempo.
Apache Airflow: Cree, programe y supervise flujos de trabajo mediante programación.
dbt (herramienta de creación de datos): Administra la T en ELT (Extract Load Transform) y es una herramienta de uso común para la transformación de datos en bases de datos, lagos de datos y almacenes de datos.
Disponibilidad
La compatibilidad con OTF estará disponible para VantageCloud Lake y AI Unlimited en AWS y Azure en junio del 2024. AI Unlimited está disponible para su compra en el segundo trimestre, como versión preliminar pública, en AWS y Azure Marketplaces. Las integraciones con Airbyte Cloud, Apache Airflow y dbt ya están disponibles.
Franca Cavassa, CTOPerú