[19/06/2025] Para el 2030, las tecnologías de agentes guardianes representarán al menos entre el 10 y el 15% de los mercados de IA agentica, según Gartner, Inc.
"Los agentes guardianes son tecnologías basadas en IA diseñadas para respaldar interacciones confiables y seguras con IA. Funcionan como asistentes de IA, que apoyan a los usuarios con tareas como la revisión de contenido, la supervisión y el análisis, y como agentes semiautónomos o totalmente autónomos en evolución, capaces de formular y ejecutar planes de acción, así como de redirigir o bloquear acciones para alinearse con los objetivos predefinidos de los agentes”, sostuvo Avivah Litan, vicepresidente analista distinguido de Gartner, en el comunicado de prensa.
Se necesitan barreras de protección a medida que el uso de la IA agentica siga creciendo
Según una encuesta realizada por Gartner el 19 de mayo del 2025 a 147 CIO y líderes de TI, el 24% de los encuestados ya había desplegado algunos agentes de IA (menos de una docena) y otro 4% más de una docena.
La misma pregunta de la encuesta encontró que el 50% de los encuestados afirmó que estaba investigando y experimentando con la tecnología, mientras que otro 17% de los encuestados indicó que no lo había hecho, pero planeaba implementar la tecnología a más tardar a fines del 2026. Se necesitan controles automatizados de confianza, riesgo y seguridad para mantener a estos agentes alineados y seguros, lo que acelera la necesidad y el aumento de los agentes guardianes.
"La IA agéntica conducirá a resultados no deseados si no se controla con las medidas de seguridad adecuadas”, anotó Litan. "Los agentes guardianes aprovechan un amplio espectro de capacidades de la IA agéntica y las evaluaciones deterministas basadas en IA para supervisar y gestionar toda la gama de capacidades de los agentes, equilibrando la toma de decisiones en tiempo de ejecución con la gestión de riesgos”.
Los riesgos aumentan a medida que el poder de los agentes aumenta y se propaga
El 52% de los 125 encuestados en la misma encuesta del seminario web identificó que sus agentes de IA se centran o se centrarán principalmente en casos de uso relacionados con las funciones de administración interna, como TI, Recursos Humanos y Contabilidad, mientras que el 23% se centra en funciones de cara al cliente externo.
La analista comentó que, a medida que los casos de uso de los agentes de IA sigan creciendo, hay varias categorías de amenazas que les afectan, como la manipulación de entradas y el envenenamiento de los datos. Algunos ejemplos son:
- Secuestro y abuso de credenciales que conduce a control no autorizado y robo de datos.
- Agentes que interactúan con sitios web y fuentes falsas o criminales que pueden resultar en acciones envenenadas.
- Desviación de agentes y comportamiento no deseado debido a fallas internas o desencadenantes externos que pueden causar daños a la reputación e interrupciones operativas.
"La rápida aceleración y el aumento de la agencia (su capacidad de actuar de manera autónoma) de los agentes de IA requieren un cambio más allá de la supervisión humana tradicional”, manifestó Litan.
"A medida que las empresas avanzan hacia sistemas complejos multiagente que se comunican a una velocidad vertiginosa, los humanos no pueden mantenerse al día con el potencial de errores y actividades maliciosas. Este panorama de amenazas cada vez mayor subraya la necesidad urgente de agentes guardianes, que proporcionen supervisión, control y seguridad automatizados para las aplicaciones y los agentes de IA”, agregó Litan.
Gartner recomienda que los CIO y los líderes de seguridad e IA deben centrarse en tres tipos de uso principales de los agentes guardianes para contribuir a salvaguardar y proteger las interacciones de la IA:
- Revisores: Identificar y revisar los resultados y el contenido generados por la IA para verificar su precisión y uso aceptable.
- Monitores: Observación y seguimiento de la IA y las acciones de los agentes para el seguimiento humano o basado en IA.
- Protectores: Ajustar o bloquear la IA y las acciones y permisos de los agentes mediante acciones automatizadas durante las operaciones.
"Los agentes guardianes gestionarán las interacciones y las anomalías independientemente del tipo de uso. Este es un pilar clave de su integración, ya que predecimos que el 70% de las aplicaciones de IA utilizarán sistemas multiagente para el 2028”, finalizó Litan.
Franca Cavassa, CTOPerú