[21/07/2023] Qualcomm Technologies, Inc. y Meta anunciaron que están trabajando para optimizar la ejecución de los grandes modelos de lenguaje Llama 2 de Meta directamente en el dispositivo, sin depender únicamente del uso de servicios en la nube. Según lo señalado en el comunicado de prensa, la capacidad de ejecutar modelos generativos de IA como Llama 2 en dispositivos como smartphones, PC, audífonos VR/AR y vehículos permite a los desarrolladores ahorrar en costos de nube y ofrecer a los usuarios experiencias privadas, más fiables y personalizadas.
[Reciba lo último de CTOPerú suscribiéndose a nuestro newsletter semanal]
Como resultado, Qualcomm Technologies planea poner a disposición implementaciones de IA basadas en Llama 2 en los dispositivos para permitir la creación de nuevas e interesantes aplicaciones de IA. "Esto permitirá a clientes, socios y desarrolladores crear casos de uso, como asistentes virtuales inteligentes, aplicaciones de productividad, herramientas de creación de contenidos, entretenimiento y mucho más. Estas nuevas experiencias de IA en el dispositivo, impulsadas por Snapdragon, pueden funcionar en áreas sin conectividad o incluso en modo avión”, señaló Durga Malladi, vicepresidenta ejecutiva y directora general de los negocios de tecnología, planificación y soluciones edge de Qualcomm Technologies, Inc.
El ejecutivo indicó que la colaboración actual de las empresas para apoyar el ecosistema Llama abarca esfuerzos de investigación e ingeniería de productos. "Qualcomm Technologies tiene previsto ofrecer la implementación de IA basada en Llama 2 en dispositivos con Snapdragon a partir del 2024. Los desarrolladores pueden empezar hoy mismo a optimizar las aplicaciones para la IA en el dispositivo, utilizando Qualcomm AI Stack, un conjunto de herramientas específicas que permiten procesar la IA de forma más eficiente en Snapdragon, haciendo posible la IA en el dispositivo incluso en dispositivos pequeños, finos y ligeros”, indicó Malladi.