[31/03/2025] Akamai anunció Akamai Cloud Inference, para marcar el comienzo de una ola de innovación más rápida y eficiente para las organizaciones que buscan convertir modelos predictivos y de gran lenguaje (LLMs) en acción en el mundo real. Akamai Cloud Inference se ejecuta en Akamai Cloud para hacer frente a las limitaciones de los modelos centralizados en la nube.
"Acercar los datos de IA a los usuarios y dispositivos es difícil, y es donde las nubes heredadas luchan”, sostuvo Adam Karon, director de Operaciones y director general del Grupo de Tecnología Cloud de Akamai, en el comunicado de prensa. "Mientras que el trabajo pesado de entrenar a los LLMs continuará teniendo lugar en los grandes centros de datos a hiperescala, el trabajo procesable de la inferencia tendrá lugar en el edge, donde la plataforma que Akamai ha construido durante las últimas dos décadas y media se convierte en vital para el futuro de la IA y nos diferencia de cualquier otro proveedor cloud del mercado”.
Según el ejecutivo, la nueva solución de Akamai proporciona herramientas para que los ingenieros y desarrolladores de plataformas construyan y ejecuten aplicaciones de IA y cargas de trabajo intensivas en datos más cerca de los usuarios finales. "Utilizando la solución de Akamai, las empresas pueden ahorrar hasta un 86% en inferencia de IA y cargas de trabajo de IA agéntica en comparación con la infraestructura hyperscaler tradicional”, afirmó Karon, señalando que Akamai Cloud Inference incluye:
- Computación: Akamai Cloud ofrece un arsenal de computación, desde CPUs clásicas para una inferencia ajustada, hasta potentes opciones de computación acelerada en GPUs, y VPUs ASIC a medida para proporcionar la potencia adecuada para un espectro de retos de inferencia de IA. "Akamai se integra con el ecosistema AI Enterprise de Nvidia, aprovechando Triton, TAO Toolkit, TensorRT y NVFlare para optimizar el rendimiento de la inferencia de IA en las GPU NVIDIA”, anotó el ejecutivo.
- Gestión de datos: Según Karon, Akamai permite a los clientes liberar todo el potencial de la inferencia de IA con una estructura de datos de vanguardia diseñada específicamente para las cargas de trabajo de IA modernas. "Akamai se ha asociado con VAST Data para proporcionar un acceso optimizado a los datos en tiempo real para acelerar las tareas relacionadas con la inferencia, esenciales para ofrecer resultados relevantes y una experiencia receptiva. Esto se complementa con un almacenamiento de objetos altamente escalable para gestionar el volumen y la variedad de conjuntos de datos críticos para las aplicaciones de IA, y la integración con proveedores líderes de bases de datos vectoriales, incluyendo Aiven y Milvus, para permitir la generación de recuperación aumentada (RAG). Con esta pila de gestión de datos, Akamai almacena de forma segura datos de modelos ajustados y artefactos de entrenamiento para ofrecer inferencia de IA de baja latencia a escala global”.
- Containerización: La contenedorización de las cargas de trabajo de IA permite el autoescalado basado en la demanda, la mejora de la resiliencia de la aplicación y la portabilidad híbrida/multicloud, al tiempo que optimiza tanto el rendimiento como el costo, aseguró el ejecutivo. "Con Kubernetes, Akamai ofrece una inferencia de IA más rápida, barata y segura con un rendimiento a escala de petabytes. Apuntalado por Linode Kubernetes Engine (LKE)-Enterprise, una nueva edición empresarial de la plataforma de orquestación Kubernetes de Akamai Cloud diseñada específicamente para cargas de trabajo empresariales a gran escala, y la recientemente anunciada Akamai App Platform, Akamai Cloud Inference es capaz de desplegar rápidamente una plataforma preparada para IA de proyectos Kubernetes de código abierto, incluyendo KServe, Kubeflow y SpinKube, perfectamente integrados para agilizar el despliegue de modelos de IA para inferencia”, comentó Karon.
- Computación Edge: Para simplificar la forma en que los desarrolladores crean aplicaciones impulsadas por IA, Akamai AI Inference incluye capacidades WebAssembly (Wasm). "Trabajando con proveedores de Wasm como Fermyon, Akamai permite a los desarrolladores ejecutar inferencias para LLMs directamente desde aplicaciones sin servidor, permitiendo a los clientes ejecutar código ligero en el edge para habilitar aplicaciones sensibles a la latencia”, sostuvo el ejecutivo.
Karon comento que, juntas, estas herramientas crean una potente plataforma para aplicaciones impulsadas por IA de baja latencia que permite a las empresas ofrecer la experiencia que demandan sus usuarios.
Akamai ofrece VPU en la nube
Akamai también ha lanzado Akamai Cloud Accelerated Compute Instances, una nueva categoría de computación basada en chips informáticos especializados diseñados para realizar tareas específicas de forma más eficiente que los procesadores de propósito general. Las nuevas instancias cuentan con la tecnología de las unidades de procesamiento de video (VPU) de NETINT, el hardware propietario de NETINT para la transcodificación de medios.
"Las VPU NETINT están diseñadas para cargas de trabajo en las que es esencial minimizar el costo de la entrega de transmisiones de video de alta calidad o en las que la reducción del consumo de energía es una prioridad. Las instancias aceleradas de Akamai cuentan con la tecnología de las VPU Quadra T1U, una solución de un solo chip que admite resoluciones de codificación de hasta 8Kp60 en formatos estándar del sector, como AV1, HEVC y H.264, con compatibilidad con 8/10 bits, incluido HDR. Como el codificador de hardware de mayor densidad disponible, el Quadra T1U puede codificar 32 transmisiones en vivo con una calidad de transmisión de 1080p30, con un escalado de capacidad lineal para resoluciones superiores o inferiores a HD”, sostuvo Jon Alexander, vicepresidente de gestión de productos de Akamai, en el comunicado de prensa.
El ejecutivo añadió que el aumento de la transmisión de video en vivo y bajo demanda, el contenido generado por el usuario y las redes sociales impulsadas por video ha llevado a las empresas a buscar hardware optimizado y soluciones en la nube para mejorar el rendimiento de las aplicaciones. "Sin embargo, los recursos de computación en la nube optimizados para la transcodificación son escasos. Anteriormente, la única forma de implementar el hardware de VPU de NETINT era comprarlo directamente y ejecutarlo en las instalaciones o en una instalación de colocación. Las instancias de computación acelerada de Akamai están diseñadas para empresas de medios de comunicación que ofrecen servicios de streaming y vídeo bajo demanda, proporcionando la escalabilidad necesaria sin inflar los presupuestos de TI”.
Alexander anotó que, al llevar la energía tradicionalmente confinada al hardware a la nube, están eliminando las barreras que han frenado a las empresas. "Las empresas ahora pueden reducir costos, escalar sin problemas y ofrecer mejores experiencias de transmisión, resolviendo un desafío importante de la industria que se ha pasado por alto durante demasiado tiempo”.
El ejecutivo añadió que las VPU de NETINT permiten a las empresas reasignar las CPU de sus aplicaciones mediante la descarga de tareas de procesamiento de vídeo de uso intensivo de cómputo a la VPU. "Una arquitectura de VPU ofrece un rendimiento hasta 20 veces mayor que las soluciones de solo CPU. Esto libera a la CPU para hacer otras cosas como el empaquetado dinámico, el desentrelazado, el subtitulado de voz a texto en tiempo real, la decodificación de software para estándares no compatibles con la VPU y la ejecución de aplicaciones populares como FFmpeg y GStreamer”.
Soporte a kernel.org
Por último, Akamai anunció que su servicio de computación en la nube y la red de entrega de contenido (CDN) soportará kernel.org, el principal sistema de distribución para el código fuente del kernel de Linux y el principal vehículo de coordinación para su red global de desarrolladores.
"Akamai firmó un acuerdo de varios años con la Linux Kernel Organization para proporcionar servicios de infraestructura al proyecto y a su cohorte global de desarrolladores. El trabajo de estos ingenieros, muchos de los cuales trabajan como voluntarios, es fundamental para mantener la seguridad y el rendimiento del sistema operativo de código abierto más implementado del mundo. Linux y sus derivados son utilizados por la mayoría de los gobiernos, laboratorios de investigación, organizaciones sin fines de lucro y corporaciones a nivel mundial. Alimenta teléfonos inteligentes, dispositivos industriales, productos de consumo y los centros de datos que permiten la computación en la nube. También gestiona la mayor parte de Internet, las 500 supercomputadoras más importantes del mundo y las bolsas de valores del mundo”, sostuvo Alex Chircop, arquitecto jefe de Akamai Cloud y miembro del Comité de Supervisión Técnica de la CNCF, en el comunicado de prensa.
El ejecutivo anotó que el kernel de Linux es enorme: aproximadamente 28 millones de líneas de código. "Desde el 2005, más de 13.500 desarrolladores de más de 1.300 empresas diferentes han contribuido al kernel de Linux. Además, hay muchas versiones del kernel, y los desarrolladores actualizan el código constantemente, distribuyendo ese código a los desarrolladores que están trabajando en varias distribuciones de Linux. Akamai ahora ofrece la infraestructura en la que confían estos desarrolladores y sus usuarios, sin coste alguno, dando soporte a los entornos Git que los desarrolladores utilizan para acceder rápidamente a las fuentes del kernel, independientemente de dónde se encuentren”.
Akamai también anunció que está proporcionando infraestructura y soporte de entrega para Alpine Linux, una de las distribuciones de Linux más populares.
Franca Cavassa, CTOPerú