Seis medidas fundamentales que toda organización puede adoptar para proteger sus implementaciones de agentes de IA

Aamir Lakhani, Estratega Global de Seguridad e Investigador en FortiGuard Labs de Fortinet
Compartir nota:

Por: Aamir Lakhani, Estratega Global de Seguridad e Investigador en FortiGuard Labs de Fortinet

Los agentes de IA pueden recuperar información, utilizar herramientas y desencadenar acciones en múltiples sistemas antes de que un equipo de seguridad pueda evaluar sus decisiones. Si un agente comienza a operar fuera de su propósito autorizado, la organización debe contener el riesgo de inmediato y determinar qué partes del proceso empresarial pueden continuar de forma segura. Sin embargo, las acciones perjudiciales se desarrollan con mayor rapidez de lo que los defensores humanos pueden responder.

Cerrar esta brecha es uno de los objetivos de las recientes contribuciones de Fortinet a la iniciativa Cyber Frontiers: AI and Cybersecurity del Foro Económico Mundial. A través de esta colaboración, la empresa aporta la perspectiva profesional sobre cómo transformar la gobernanza de los agentes en controles aplicables.

Una contención eficaz requiere seguridad basada en IA que detecte señales de uso indebido y active automáticamente controles para restringir las acciones de un agente. La aplicación de estas medidas debe ir más allá de los prompts y abarcar las herramientas, las credenciales, el contexto activo y la memoria almacenada del agente. Asimismo, estos controles deben proporcionar a los equipos de seguridad el tiempo necesario para evaluar un incidente y determinar la respuesta adecuada.

A continuación, se presentan medidas fundamentales que toda organización puede adoptar para asegurar sus implementaciones de agentes de IA:

1.Establecer qué tiene permitido hacer un agente

La detección de un uso indebido comienza con una comprensión clara del papel legítimo de un agente de IA. Antes de su implementación, las organizaciones deben definir la identidad, el propósito, el responsable y el alcance autorizado del agente. Una vez establecidos estos límites, la supervisión mediante IA permite evaluar si la actividad del agente se mantiene alineada con la tarea asignada.

Cuando la supervisión detecta una desviación, la prioridad inmediata es limitar los posibles daños. Ya sea que la causa sea una vulneración de seguridad, instrucciones erróneas o un fallo rutinario, es necesario aplicar medidas de contención antes incluso de esclarecer la situación. Los criterios de intervención predefinidos deben especificar qué acciones bloquear, qué permisos restringir y en qué casos es necesaria una revisión humana.

2.Utilizar el engaño para reforzar la detección

Las técnicas de engaño (deception) pueden generar señales de detección útiles. Los flujos de trabajo basados ​​en agentes pueden aprovechar este enfoque: por ejemplo, una credencial trampa o una herramienta señuelo, ajenas a las tareas autorizadas de un agente, podrían revelar un intento de este por exceder su ámbito de actuación. Dicha señal podría activar una restricción específica o una pausa en la ejecución, permitiendo que una persona evalúe la situación.

Para los investigadores de amenazas, la cuestión clave es determinar con qué fiabilidad estas técnicas se traducen en el comportamiento de los agentes. Las pruebas deben establecer cómo interpretar la señal dentro de su contexto y qué tipo de respuesta resulta adecuada. Asimismo, las aplicaciones diseñadas específicamente para agentes deben ser validadas antes de que las organizaciones confíen en ellas para tareas de contención.

3.Contener el riesgo preservando al mismo tiempo el trabajo verificado

Las respuestas deben abordar tanto los posibles daños como aquellos elementos que siguen siendo fiables. Imaginemos a un agente de operaciones de seguridad que investiga una actividad sospechosa: si este recomienda aislar un sistema de producción sin verificar sus dependencias operativas, llevar a cabo dicha recomendación podría causar tanto daño como la propia amenaza que se pretende contener.

A menos que una política de contención preaprobada autorice una acción determinada, debe existir un mecanismo de aprobación que detenga la solicitud de aislamiento antes de su ejecución. Esto permite que un analista evalúe las posibles consecuencias operativas. Si la identidad del agente o el contexto en el que trabaja pudieran estar comprometidos, el trabajo en curso debe trasladarse a un proceso o analista de confianza, utilizando herramientas fiables, y las pruebas obtenidas deben tratarse como datos no fiables.

4.Establecer límites en el ámbito de actuación de los agentes

Un modelo de puerta de enlace (gateway) ofrece una forma práctica de aplicar estas restricciones. Las solicitudes que realizan los agentes a modelos, herramientas, API y servicios deben pasar por puntos de control que las evalúen antes de su ejecución. Posteriormente, una decisión basada en políticas determina si la solicitud está permitida, si requiere aprobación o si debe ser denegada. Tanto el mecanismo de decisión como el de aplicación deben operar fuera del ámbito de autoridad del agente que realiza la acción.

Los mecanismos de protección de la IA pueden examinar los prompts, el contenido recuperado, las respuestas y las llamadas a herramientas propuestas, en busca de indicios de inyección, filtración de datos u otras infracciones de las políticas. La autorización para el uso de herramientas debe verificar, de forma independiente, qué acciones están permitidas. La afirmación de un agente de que una acción es segura, o de que se ha obtenido la aprobación necesaria, no constituye una autorización válida. Si no se obtiene la aprobación requerida o si no se superan las comprobaciones de las políticas, la acción de alto riesgo en cuestión debe permanecer bloqueada.

5.Definir las decisiones humanas antes de que ocurra un incidente

La aplicación automatizada de normas permite una intervención oportuna; sin embargo, son los seres humanos quienes deben definir las políticas que la rigen. Antes de la implementación, los equipos deben acordar qué señales activan las restricciones, quién tiene la facultad de intervenir y en qué casos un incidente requiere una escalación o una detención completa. Las acciones de mayor riesgo que exigen aprobación deben permanecer bloqueadas hasta que se tome una decisión. 

Asimismo, las organizaciones deben evaluar si su capacidad de personal y sus procesos de escalación pueden gestionar el volumen de decisiones generadas por los agentes. Los revisores también necesitan pruebas que respalden su toma de decisiones: qué intentó realizar el agente, qué acciones completó, qué restricciones están vigentes y qué sistemas o datos podrían verse afectados.

6.Diseñe un mecanismo de interrupción para garantizar la continuidad del negocio

Una interrupción de emergencia debe revocar la autoridad del agente sospechoso, preservando al mismo tiempo el proceso de negocio subyacente siempre que sea seguro hacerlo. Esto implica detener la ejecución afectada a través de la capa de orquestación, revocar sus credenciales y sesiones, y extender las restricciones a los agentes subordinados y a las tareas delegadas. La continuidad depende de contar, de antemano, con un mecanismo de respaldo previamente probado. 

Por ejemplo, un centro de operaciones de seguridad (SOC) puede seguir recibiendo y gestionando alertas, al tiempo que suspende los privilegios de respuesta del agente sospechoso. El mecanismo de respaldo no debe heredar automáticamente el mismo contexto, memoria o credenciales que se encuentran comprometidos.

Antes de que un agente retome sus funciones, los equipos de respuesta deben verificar los sistemas afectados, abordar la causa raíz del incidente y validar que la configuración, el contexto y el estado de la memoria sean seguros y confiables. Una persona designada debe autorizar la restauración, y los permisos deben restablecerse de manera gradual, según corresponda. Se deben realizar ejercicios que pongan a prueba todo el flujo de trabajo, incluyendo la revocación de permisos, la gestión de tareas delegadas, las operaciones de respaldo y la reanudación segura de las actividades.

La implementación de tales controles requiere cooperación en todo el ecosistema. Las empresas dependen de los desarrolladores de modelos y de los proveedores de herramientas para obtener visibilidad y establecer límites que puedan hacerse cumplir. Los investigadores de seguridad necesitan retroalimentación operativa para evaluar los métodos de detección. Por su parte, los responsables de formular políticas deben comprender en qué aspectos los controles técnicos pueden favorecer la rendición de cuentas y dónde persisten las brechas.

La iniciativa Cyber ​​Frontiers del Foro Económico Mundial reúne perspectivas tanto del sector público como del privado en torno a la seguridad de la IA basada en agentes. A través de la participación de Fortinet, compartimos la experiencia operativa al tiempo que aprendemos de organizaciones cuyos sistemas, limitaciones y consecuencias ante un posible fallo difieren de los nuestros. Comparar enfoques ayuda a clarificar responsabilidades y a evaluar si las salvaguardas propuestas son eficaces cuando los agentes interactúan más allá de los límites organizativos.

El valor práctico reside en compartir lo que las organizaciones aprenden al poner a prueba dichas salvaguardas: qué observaciones justificaron una intervención, con qué rapidez surtieron efecto las restricciones, si se detuvieron las tareas delegadas y qué factores permitieron que las operaciones seguras continuaran. Las organizaciones pueden aplicar estas lecciones para evaluar sus propios flujos de trabajo antes de ampliar la autonomía de sus agentes. 

Compartir nota:

Publicaciones Relacionadas

Scroll to Top