[16/12/2024] CyberArk ha anunciado el lanzamiento de FuzzyAI, un marco de código abierto de última generación que ayuda a las organizaciones a identificar y abordar las vulnerabilidades de los modelos de IA, como la omisión de barreras y la generación de resultados perjudiciales, en modelos de IA internos y alojados en la nube.
"Los modelos de IA están transformando las industrias con aplicaciones innovadoras en las interacciones con los clientes, las mejoras de procesos internos y la automatización. El uso interno de estos modelos también presenta nuevos desafíos de seguridad para los que la mayoría de las organizaciones no están preparadas”, sostuvo Peretz Regev, director de productos de CyberArk, en el comunicado de prensa.
El ejecutivo anotó que FuzzyAI ayuda a resolver algunos de estos desafíos al ofrecer a las organizaciones un enfoque sistemático para probar modelos de IA frente a diversas entradas adversarias, descubriendo posibles puntos débiles en sus sistemas de seguridad y haciendo que el desarrollo y la implementación de IA sean más seguros. "En el corazón de FuzzyAI se encuentra un poderoso fuzzer, una herramienta que revela defectos y vulnerabilidades de software, capaz de exponer vulnerabilidades encontradas a través de más de diez técnicas de ataque distintas, desde eludir filtros éticos hasta exponer indicaciones ocultas del sistema”.
Regev señaló que las características clave de FuzzyAI incluyen:
- Fuzzing integral: FuzzyAI sondea modelos de IA con varias técnicas de ataque para exponer vulnerabilidades como eludir las barreras de protección, fuga de información, inyección rápida o generación de resultados dañinos.
- Un marco extensible: Las organizaciones y los investigadores pueden agregar sus propios métodos de ataque para adaptar las pruebas a las vulnerabilidades específicas del dominio.
- Colaboración comunitaria: Un ecosistema en crecimiento impulsado por la comunidad garantiza avances continuos en técnicas adversarias y mecanismos de defensa.
"Desarrollado por CyberArk Labs, FuzzyAI ha demostrado la capacidad de hacer jailbreak a todos los principales modelos de IA probados. FuzzyAI permite a las organizaciones y a los investigadores identificar debilidades y fortalecer activamente sus sistemas de IA contra las amenazas emergentes", aseguró Regev.
El marco totalmente extensible de FuzzyAI está disponible como software de código abierto en la página de GitHub de CyberArk Labs desde el 11 de diciembre pasado.
Franca Cavassa, CTOPerú