[28/02/2024] Como parte de la iniciativa Innovative Optical and Wireless Network (IOWN), NTT Corporation y Red Hat, en colaboración con NVIDIA y Fujitsu, han desarrollado conjuntamente una solución para mejorar y ampliar el potencial del análisis de datos de inteligencia artificial (IA) en tiempo real en el edge. Utilizando tecnologías desarrolladas por el IOWN Global Forum y construidas sobre la base de Red Hat OpenShift, las empresas señalaron el el comunicado de prensa, que esta solución ha recibido una prueba de concepto (PoC) del IOWN Global Forum, reconociendo su viabilidad en el mundo real y casos de uso.
"A medida que la IA, la tecnología de detección y la innovación en redes continúan acelerándose, el uso del análisis de IA para evaluar y clasificar la entrada en el borde de la red será fundamental, especialmente a medida que las fuentes de datos se expandan casi a diario. Sin embargo, el uso del análisis de IA a gran escala puede ser lento y complejo, y puede asociarse con mayores costos de mantenimiento y mantenimiento de software para incorporar nuevos modelos de IA y hardware adicional. Con las capacidades de edge computing que surgen en ubicaciones más remotas, el análisis de IA se puede colocar más cerca de los sensores, lo que reduce la latencia y aumenta el ancho de banda”, sostuvo Chris Wright, director de Tecnología y vicepresidente senior de Ingeniería Global de Red Hat y consejero del IOWN Global Forum, en el comunicado de prensa.
El ejecutivo anotó que esta solución consta de la red fotónica IOWN (APN) y las tecnologías de aceleración de canalización de datos en IOWN Data-Centric Infrastructure (DCI). "La canalización de datos acelerada de NTT para IA adopta el acceso directo a memoria remota (RDMA) a través de APN para recopilar y procesar de manera eficiente grandes cantidades de datos de sensores en el borde. La tecnología de orquestación de contenedores de Red Hat OpenShift proporciona una mayor flexibilidad para operar cargas de trabajo dentro de la canalización de datos acelerada en centros de datos remotos y distribuidos geográficamente. NTT y Red Hat han demostrado con éxito que esta solución puede reducir eficazmente el consumo de energía al tiempo que mantiene una latencia más baja para el análisis de IA en tiempo real en el borde”.
Wright anotó que la prueba de concepto evaluó una plataforma de análisis de IA en tiempo real con la ciudad de Yokosuka como base de instalación de sensores y la ciudad de Musashino como centro de datos remoto, ambos conectados a través de APN. "Como resultado, incluso cuando se acomodó una gran cantidad de cámaras, la latencia requerida para agregar datos de sensores para el análisis de IA se redujo en un 60% en comparación con las cargas de trabajo de inferencia de IA convencionales. Además, las pruebas de PoC de IOWN demostraron que el consumo de energía necesario para el análisis de IA para cada cámara en el borde podría reducirse en un 40% con respecto a la tecnología convencional. Esta plataforma de análisis de IA en tiempo real permite ampliar la GPU para dar cabida a un mayor número de cámaras sin que la CPU se convierta en un cuello de botella. Según un cálculo de prueba, suponiendo que se puedan acomodar mil cámaras, se espera que el consumo de energía pueda reducirse aún más en un 60%”, explicó, por su parte, Katsuhiko Kawazoe, vicepresidente ejecutivo de NTT y presidente del IOWN Global Forum, añadiendo que, los aspectos más destacados de la prueba de concepto de esta solución son los siguientes:
- Canalización de datos acelerada para la inferencia de IA, proporcionada por NTT, que utiliza RDMA a través de APN para obtener directamente datos de sensores a gran escala desde sitios locales a la memoria en un acelerador en un centro de datos remoto, lo que reduce los gastos generales de manejo de protocolos en la red convencional. A continuación, completa el procesamiento de datos de la inferencia de IA dentro del acelerador con menos sobrecargas de control de la CPU, lo que mejora la eficiencia energética en la inferencia de IA.
- El análisis de datos de IA a gran escala en tiempo real, con tecnología de Red Hat OpenShift, puede ayudar a los operadores de Kubernetes para minimizar la complejidad de la implementación de aceleradores basados en hardware (GPU, DPU, etc.), lo que permite una mayor flexibilidad y una implementación más sencilla en sitios desagregados, incluidos los centros de datos remotos.
- Esta prueba de concepto utiliza las GPU NVIDIA A100 Tensor Core y las NIC NVIDIA ConnectX-6 para la inferencia de IA.
Los ejecutivos finalizaron indicando que esta solución ayuda a sentar las bases para las tecnologías inteligentes habilitadas por IA que ayudarán a las empresas a escalar de forma sostenible., añadiendo que, con esta solución, las organizaciones pueden beneficiarse de:
- Reducción de la sobrecarga asociada con la recopilación de grandes cantidades de datos.
- Recopilación de datos mejorada que se puede compartir entre áreas metropolitanas y centros de datos remotos para un análisis de IA más rápido.
- La capacidad de utilizar energía disponible localmente y potencialmente renovable, como la solar o la eólica.
- Aumento de la gestión de la zona de seguridad dcon cámaras de video que actúan como dispositivos sensores.
Franca Cavassa, CTOPerú