[14/02/2024] Nvidia anunció un chatbot de IA generativa (genAI) que puede ejecutarse en PC con Windows, lo que aseguran brinda a las empresas el potencial de aprovechar la IA en los entornos locales de los empleados. Según lo señalado en una entrada de blog, Chat with RTX -una aplicación de demostración ahora disponible para su descarga gratuita- permite a los usuarios personalizar un chatbot con su propio contenido, básicamente personalizando las fuentes de datos de los grandes modelos de lenguaje (LLM) del bot. La firma señaló que esto mantiene los datos privados de los usuarios en su PC, mientras los ayuda a buscar rápidamente respuestas a preguntas basadas en esos datos.
"Dado que Chat with RTX se ejecuta localmente en PC y estaciones de trabajo con Windows RTX, los resultados proporcionados son rápidos, y los datos del usuario permanecen en el dispositivo. En lugar de depender de los servicios LLM basados en la nube, Chat with RTX permite a los usuarios procesar datos confidenciales en una PC local sin la necesidad de compartirlos con un tercero o tener una conexión a Internet", indicó Jesse Clayton, gerente de producto de Nvidia.
El ejecutivo sostuvo que Chat con RTX permite a los usuarios elegir entre dos LLM de código abierto, Mistral o Llama 2, y requiere una GPU Nvidia GeForce RTX serie 30 o superior con al menos 8GB de RAM de video, que se ejecute en Windows 10 u 11 con los controladores de GPU NVIDIA más recientes. El chatbot se ejecuta en PC con Windows con tecnología GEForce mediante generación aumentada de recuperación (RAG), software NVIDIA TensorRT-LLM y aceleración Nvidia RTX.
"En lugar de buscar en notas o contenido guardado, los usuarios pueden simplemente escribir consultas. Por ejemplo, uno podría preguntar: '¿Cuál fue el restaurante que me recomendó mi pareja mientras estaba en Las Vegas?' y Chat with RTX escaneará los archivos locales a los que el usuario lo apunte y proporcionará la respuesta con contexto", escribió Clayton.
El chatbot admite varios formatos de archivo, incluidos texto, pdf, doc/docx y xml. Los usuarios pueden agregar datos a la biblioteca del chatbot apuntando la aplicación a una carpeta que contiene archivos; En segundos, se agregarán al bot, indicó el ejecutivo.
Agregó que los usuarios también pueden proporcionar la URL de una lista de reproducción de YouTube. y Chat with RTX cargará las transcripciones de los videos en la lista de reproducción, lo que permitirá a las personas consultar el contenido que cubren.
Además, debido a que Chat with RTX se crea a partir del proyecto de referencia para desarrolladores TensorRT-LLM RAG disponible en GitHub, los desarrolladores pueden crear sus propias aplicaciones basadas en RAG para la plataforma, según NVIDIA.
Franca Cavassa, CTOPerú