Noticias

Gartner Identifica seis riesgos de ChatGPT

Que los líderes legales y de cumplimiento deben evaluar

[19/05/2023] Según Gartner, los responsables legales y de cumplimiento deben evaluar la exposición de su organización a seis riesgos específicos de ChatGPT, y qué medidas deben establecer para garantizar un uso responsable de las herramientas de IA generativa por parte de la empresa.

[Reciba lo último de CTO Perú suscribiéndose a nuestro newsletter semanal]

"Los resultados generados por ChatGPT y otras grandes herramientas de modelos de lenguaje (LLM) son propensos a varios riesgos", sostuvo Ron Friedmann, director analista senior en la Práctica Legal y de Cumplimiento de Gartner, en una entrada de blog. "Los responsables jurídicos y de cumplimiento deben evaluar si estos problemas representan un riesgo material para su empresa y qué controles son necesarios, tanto dentro de la empresa como en su empresa extendida de terceros y enésimas partes. No hacerlo podría exponer a las empresas a consecuencias legales, de reputación y financieras".

Los seis riesgos ChatGPT que los líderes legales y de cumplimiento deben evaluar incluyen:

Riesgo 1 - Respuestas fabricadas e inexactas: Tal vez el problema más común con ChatGPT y otras herramientas LLM es la tendencia a proporcionar información incorrecta -aunque superficialmente plausible.

"ChatGPT también es propenso a las 'alucinaciones', incluyendo respuestas fabricadas que son erróneas, y citas legales o científicas inexistentes", anotó Friedmann. "Los líderes legales y de cumplimiento deben emitir directrices que exijan a los empleados revisar cualquier salida generada por ChatGPT para verificar su exactitud, adecuación y utilidad real antes de ser aceptada".

Riesgo 2 - Privacidad y confidencialidad de los datos: Los responsables legales y de cumplimiento deben ser conscientes de que cualquier información introducida en ChatGPT, si no se desactiva el historial de chat, puede pasar a formar parte de su conjunto de datos de formación.

"La información sensible, privada o confidencial utilizada en los mensajes puede incorporarse a las respuestas de usuarios ajenos a la empresa", afirmó Friedmann. "El área legal y de cumplimiento debe establecer un marco de cumplimiento para el uso de ChatGPT, y prohibir claramente la introducción de datos sensibles de la organización o personales en herramientas LLM públicas."

Riesgo 3 - Sesgo de modelo y de salida: A pesar de los esfuerzos de OpenAI para minimizar el sesgo y la discriminación en ChatGPT, ya se han producido casos conocidos de estos problemas, y es probable que persistan a pesar de los esfuerzos activos y en curso de OpenAI y otros para minimizar estos riesgos.

"La eliminación completa de los prejuicios es probablemente imposible, pero el departamento legal y de cumplimiento debe estar al tanto de las leyes que rigen los prejuicios de la IA y asegurarse de que sus directrices son conformes", indicó Friedmann. "Esto puede implicar trabajar con expertos en la materia para garantizar que la salida sea confiable y con funciones de auditoría y tecnología para establecer controles de calidad de datos".

Riesgo 4 - Propiedad intelectual (PI) y derechos de autor: ChatGPT, en particular, se basa en una gran cantidad de datos de Internet que probablemente incluyen material protegido por derechos de autor. Por lo tanto, sus resultados pueden violar los derechos de autor o la protección de la propiedad intelectual.

"ChatGPT no ofrece referencias de fuentes ni explicaciones sobre cómo se generan sus resultados", afirmó Friedmann. "Los líderes legales y de cumplimiento deben estar muy atentos a cualquier cambio en la ley de derechos de autor que se aplique a la salida de ChatGPT, y exigir a los usuarios que examinen cualquier salida que generen para asegurarse de que no infringe los derechos de autor o los derechos de propiedad intelectual".

Riesgo 5 - Riesgos de fraude cibernético: Los malos actores ya están haciendo un uso indebido de ChatGPT para generar información falsa a escala (por ejemplo, reseñas falsas). Además, las aplicaciones que utilizan modelos LLM, incluido ChatGPT, también son susceptibles a la inyección de prompt, una técnica de hacking en la que se utilizan prompts adversarios maliciosos para engañar al modelo para que realice tareas para las que no estaba destinado, como escribir códigos de malware o desarrollar sitios de phishing que se asemejan a sitios conocidos.

"Los responsables jurídicos y de cumplimiento deberían coordinarse con los propietarios de los riesgos cibernéticos para estudiar la conveniencia o el momento de enviar memorandos al personal de ciberseguridad de la empresa sobre esta cuestión", sostuvo Friedmann. "También deberían realizar una auditoría de las fuentes de diligencia debida para verificar la calidad de su información".

Riesgo 6 - Riesgos para la protección del consumidor: Las empresas que no revelan el uso de ChatGPT a los consumidores (por ejemplo, en forma de chatbot de atención al cliente) corren el riesgo de perder la confianza de sus clientes y ser acusadas de prácticas desleales en virtud de diversas leyes. Por ejemplo, la ley de chatbot de California exige que, en determinadas interacciones con los consumidores, las organizaciones deben revelar de forma clara y visible que un consumidor se está comunicando con un bot.

"Los responsables legales y de cumplimiento deben asegurarse de que el uso de ChatGPT por parte de sus organizaciones cumple todas las normativas y leyes pertinentes, y de que se ha informado adecuadamente a los clientes", finalizó Friedmann.

Llegamos a ustedes gracias a:


BrandPosts Qué es BrandPost

Más »
×
Los artículos publicados en esta sección -BrandPosts- son escritos y editados por los proveedores o miembros de la comunidad TI. BrandPosts crea una oportunidad para que un patrocinador proporcione información y comentarios desde su punto de vista, directamente a la audiencia de CTO Perú. El equipo editorial de CTO Perú no participa en la redacción o edición de estos BrandPosts.

Casos de éxito

Más »