[03/10/2024] Cloudflare ha anunciado nuevas capacidades para Workers AI, la plataforma de IA sin servidor, y su conjunto de bloques de creación de aplicaciones de IA, para ayudar a los desarrolladores a crear aplicaciones de IA más rápidas, potentes y de mayor rendimiento. Según lo señalado en el comunicado de prensa, las aplicaciones basadas en Workers AI ahora pueden beneficiarse de inferencias más rápidas, modelos más grandes, análisis de rendimiento mejorados y más.
"A medida que los grandes modelos de lenguaje (LLM) se vuelven más pequeños y de mayor rendimiento, las velocidades de red se convertirán en el cuello de botella para la adopción por parte de los clientes y las interacciones fluidas de IA. La red distribuida globalmente de Cloudflare ayuda a minimizar la latencia de la red, diferenciándola de otras redes que suelen estar compuestas por recursos concentrados en centros de datos limitados. La plataforma de inferencia sin servidor de Cloudflare, Workers AI, ahora tiene GPU en más de 180 ciudades de todo el mundo, diseñadas para la accesibilidad global y proporcionar tiempos de latencia bajos para los usuarios finales de todo el mundo. Con esta red de GPU, Workers AI tiene una de las huellas globales más grandes de cualquier plataforma de IA, y ha sido diseñada para ejecutar inferencias de IA localmente lo más cerca posible del usuario y ayudar a mantener los datos de los clientes más cerca de casa”, sostuvo Matthew Prince, cofundador y director ejecutivo de Cloudflare.
Cloudflare también está introduciendo nuevas capacidades que, según el ejecutivo, la convierten en la plataforma más fácil para crear aplicaciones de IA con:
- Rendimiento y soporte mejorados para modelos más grandes: Ahora, Cloudflare está mejorando su red global con GPU más potentes para Workers AI con el fin de mejorar el rendimiento de la inferencia de IA y ejecutar inferencias en modelos significativamente más grandes como Llama 3.1 70B, así como la colección de modelos Llama 3.2 con 1B, 3B, 11B (y 90B pronto). "Al admitir modelos más grandes, tiempos de respuesta más rápidos y ventanas de contexto más grandes, las aplicaciones de IA basadas en Workers AI de Cloudflare pueden manejar tareas más complejas con mayor eficiencia, creando así experiencias naturales y fluidas para el usuario final”, comentó Prince.
- Supervisión y optimización mejoradas del uso de la IA con registros persistentes: Los nuevos registros persistentes de AI Gateway, disponibles en versión beta abierta, permiten a los desarrolladores almacenar las indicaciones de los usuarios y modelar las respuestas durante períodos prolongados para analizar y comprender mejor el rendimiento de su aplicación. "Con los registros persistentes, los desarrolladores pueden obtener información más detallada de las experiencias de los usuarios, incluido el costo y la duración de las solicitudes, para ayudar a perfeccionar su aplicación. Más de dos mil millones de solicitudes han viajado a través de AI Gateway desde su lanzamiento el año pasado”, indicó el ejecutivo.
- Consultas más rápidas y asequibles: Las bases de datos vectoriales facilitan que los modelos recuerden entradas anteriores, lo que permite que el aprendizaje automático se utilice para impulsar casos de uso de búsqueda, recomendaciones y generación de texto. "La base de datos de vectores de Cloudflare, Vectorize, ya está disponible de forma general y, a partir de agosto del 2024, admite índices de hasta cinco millones de vectores cada uno, frente a los 200 mil anteriores. "La latencia media de las consultas ahora se ha reducido a 31 milisegundos (ms), en comparación con los 549 ms. Estas mejoras permiten que las aplicaciones de IA encuentren información relevante rápidamente con menos procesamiento de datos, lo que también significa aplicaciones de IA más asequibles”, finalizó Prince.
Franca Cavassa, CTOPerú