Existe un nuevo repositorio de Conocimiento Crítico que debemos proteger con Ciberseguidad. La adopción de asistentes corporativos basados en grandes modelos de lenguaje (LLM) ha transformado la manera en que las organizaciones acceden a su conocimiento institucional. Documentación técnica, contratos, código fuente y políticas internas, confluyen ahora en un único punto de consulta conversacional. Esta convergencia, que promete eficiencia como toda aplicación de IA, redefinió el perímetro de seguridad corporativo.
El verdadero riesgo no reside en el modelo en la adopción de un modelo interno de IA, sino en la arquitectura que conecta ese modelo con los repositorios empresariales.
La IA está consolidando décadas de información distribuida en un único punto de acceso, transformándose en el repositorio de conocimiento más sensible de la empresa y, simultáneamente, en una superficie de ataque completamente nueva. Un usuario puede recuperar información a la que nunca tuvo acceso en los sistemas originales, simplemente formulando las preguntas adecuadas.
La arquitectura RAG: un puente hacia la exposición
Los sistemas de Retrieval-Augmented Generation (RAG) se han convertido en el estándar para los asistentes corporativos. RAG permite introducir información de documentos internos que no formó parte del entrenamiento del modelo fundacional. Esta capacidad, sin embargo, introduce un vector de ataque fundamental: la cadena de recuperación se convierte en el eslabón débil.
En una arquitectura RAG típica, la consulta del usuario se transforma en un embedding, se busca en una base de datos vectorial que contiene fragmentos (chunks) de documentos empresariales, y los fragmentos recuperados se inyectan en el contexto del modelo para generar una respuesta. La seguridad de todo el sistema depende de que cada eslabón de esta cadena respete los controles de autorización. En la práctica, rara vez es así.
Ausencia de controles de autorización: el talón de Aquiles
El problema fundamental es que la mayoría de los despliegues RAG carecen de controles de autorización a nivel de documento, fragmento o embedding. Los sistemas de permisos heredados de repositorios como SharePoint, Confluence o sistemas documentales no se trasladan automáticamente a la capa de recuperación semántica de la IA.
El riesgo de oversharing en Microsoft 365 Copilot ilustra esta falla con claridad. El problema más crítico en el despliegue de Copilot es el oversharing: sitios de SharePoint con permisos acumulados durante 5 a 15 años hacen que Copilot surface contenido que el usuario está técnicamente autorizado a ver, pero que en la práctica no debería ver. Copilot se basa en el contenido de SharePoint y OneDrive al que el usuario ya puede acceder, incluyendo contenido sobreexpuesto a nivel de sitio. El resultado es que el oversharing silencioso se convierte en exposición rápida y buscable en el momento en que se habilita Copilot.
Este patrón se repite en Google Gemini Enterprise. Investigadores de Noma Labs descubrieron GeminiJack (https://noma.security/noma-labs/geminijack/), una vulnerabilidad crítica en Gemini Enterprise y Vertex AI Search que colapsa el límite de confianza entre los datos empresariales y las instrucciones de la IA. La vulnerabilidad permitía la exfiltración de datos de Gmail, Calendar y Docs mediante ataques de cero clics.
Indirect prompt injection: el vector invisible
La inyección indirecta de prompts (Indirect Prompt Injection, IPI) es quizás el vector de ataque más complejo. La inyección de prompts se mantiene en el puesto número uno de riesgos en el OWASP Top 10 para LLM Applications 2025 (https://owasp.org/www-project-top-10-for-large-language-model-applications/; también disponible en https://genai.owasp.org/llm-top-10/)[reference:4][reference:5]. La IPI ocurre cuando instrucciones hostiles se ocultan en contenido de terceros que el sistema recupera, analiza o recibe de herramientas, y luego reingresan al contexto del modelo.
En un contexto empresarial RAG, esto significa que un atacante puede incrustar instrucciones maliciosas en un documento que la organización indexa, como una nota de soporte, un PDF subido o un correo electrónico, y cuando el asistente lo recupera, ejecuta las instrucciones del atacante en lugar de las del sistema.
El caso de GeminiJack es paradigmático: el atacante solo necesita incrustar instrucciones ocultas en un documento compartido o contribuido externamente. Un empleado realiza una búsqueda rutinaria, el asistente procesa el contenido envenenado, malinterpreta las instrucciones como válidas, y exfiltra datos sensibles a través de una etiqueta de imagen maliciosa en la respuesta. La vulnerabilidad explota el límite de confianza entre el contenido controlado por el usuario y el procesamiento de instrucciones del modelo. Los investigadores de Noma Security advierten que los controles de perímetro tradicionales, las soluciones de protección de endpoints y las herramientas de prevención de pérdida de datos “no fueron diseñadas para detectar cuándo tu asistente de IA se convierte en un motor de exfiltración”.
La memoria del modelo: Fine-Tuning y Model Inversion
Los procesos de fine-tuning con datos corporativos sensibles crean otro vector de fuga. Los LLM pueden memorizar involuntariamente datos de fine-tuning, que típicamente son específicos de dominio y sensibles, lo que potencialmente conduce a graves riesgos de privacidad.
El ataque RLMI (Reinforcement Learning-based Model Inversion) (https://arxiv.org/abs/2304.04625) propone extraer datos de texto utilizados en el fine-tuning de LLM para tareas de clasificación de texto. Incluso sin acceso al modelo operando en un escenario de caja negra a través del cual los atacantes pueden reconstruir información de entrenamiento mediante técnicas de inversión. El método formula la inversión de datos de texto como un proceso de generación de secuencias token por token, optimizado mediante algoritmos de aprendizaje por refuerzo.
En el contexto empresarial, esto significa que un modelo con fine-tuning con contratos, código fuente o comunicaciones internas puede ser explotado para extraer esa información mediante consultas cuidadosamente diseñadas, incluso si el atacante no tiene acceso directo a los datos de entrenamiento.
Logs de inferencia y observabilidad: el registro de la exposición
Los sistemas de logs de inferencia y observabilidad, diseñados para monitorear y depurar los asistentes, se convierten en depósitos de información sensible. Cada consulta, cada fragmento recuperado, cada respuesta generada queda registrada en algún lugar del pipeline de observabilidad.
El NIST AI Risk Management Framework (https://www.nist.gov/itl/ai-risk-management-framework) aborda este problema explícitamente. El marco, que NIST publicó en enero de 2023 (https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf) y complementó con un perfil específico para IA generativa en julio de 2024, enfatiza la necesidad de gestionar los riesgos a lo largo de todo el ciclo de vida del sistema. El perfil de IA generativa de NIST (NIST AI 600-1) se centra en 13 riesgos y más de 400 acciones que los desarrolladores pueden tomar para gestionarlos. Los logs de inferencia, si no se gestionan con controles de acceso y retención adecuados, se convierten en un repositorio paralelo de información sensible, a menudo con menos protecciones que los sistemas originales.
Shadow AI: el frente descontrolado
El fenómeno de Shadow AI, que consiste en el despliegue no autorizado, no aprobado y no documentado de herramientas de IA dentro de una organización sin la supervisión de seguridad, agrega una capa adicional de riesgo. Según el informe AI in Identity Security Demands a New Playbook de Delinea (2025) (https://delinea.com/resources/2025-ai-in-identity-security), el 44% de las organizaciones con al menos algún uso de IA enfrentan problemas con unidades de negocio que despliegan soluciones de IA sin involucrar a los equipos de TI y seguridad. Un porcentaje igual (44%) lucha contra el uso no autorizado de IA generativa por parte de empleados. En empresas de tamaño medio (ingresos de U$S 10M – U$S 50M), el 81% enfrenta brechas de datos o problemas de cumplimiento debido al uso no autorizado de IA.
Estas herramientas procesan y almacenan datos empresariales sensibles fuera del alcance de los protocolos de seguridad y políticas de gobernanza de datos existentes. Cada una de estas implementaciones no autorizadas representa un vector de fuga potencial, sin controles de autorización, sin monitoreo, sin registro.
El panorama de vulnerabilidades 2026
El primer semestre de 2026 ha sido particularmente revelador. Entre mediados de 2025 y abril de 2026, se conocieron múltiples vulnerabilidades críticas en sistemas de IA empresarial. El caso de GeminiJack, descubierto en junio de 2025 por Noma Security y parcheado por Google, ejemplifica la gravedad del problema.
Microsoft anunció en marzo de 2026 la implementación de restricciones para impedir que Copilot procese documentos confidenciales independientemente de su ubicación de almacenamiento ya sea local, SharePoint o OneDrive. Esta medida reconoce implícitamente la gravedad del problema de permisos heredados.
El OWASP Top 10 para LLM Applications 2025, ahora promovido a proyecto insignia de OWASP como GenAI Security Project (https://genai.owasp.org) que se centra en la IA agentica compuesta por agentes autónomos con acceso a herramientas, memoria persistente y razonamiento multi-paso. La lista de 2025 introduce nuevas categorías como “System Prompt Leakage” (fuga de prompt del sistema) y “Vector and Embedding Weaknesses” (debilidades de vectores y embeddings), respondiendo directamente a las preocupaciones de la comunidad sobre la seguridad en arquitecturas RAG.
El NIST AI Risk Management Framework, con su perfil de IA generativa (NIST AI 600-1), ofrece un enfoque complementario. El marco, desarrollado con la participación de más de 2500 voluntarios públicos, consta de cuatro funciones centrales: Gobernar, Mapear, Medir y Gestionar, las proporcionan una forma estructurada de identificar riesgos, cuantificar impactos y tomar decisiones informadas.
Recomendaciones para el CISO
- Auditoría de permisos heredados: Antes de desplegar cualquier asistente RAG, realice una auditoría exhaustiva de los permisos en SharePoint, Confluence y otros repositorios. El oversharing acumulado durante años se convierte en exposición inmediata.
- Controles de autorización en la capa de recuperación: Implemente controles de autorización a nivel de documento y fragmento. La recuperación semántica debe respetar los mismos permisos que el acceso directo. La asignación de permisos a nivel de fragmento permite un control de acceso granular, aunque aumenta la complejidad de los metadatos.
- Sanitización de entrada y salida: Para mitigar la inyección indirecta de prompts, implemente capas de sanitización y aislamiento de políticas.
- Gobernanza de logs: Los logs de inferencia deben tratarse con el mismo nivel de sensibilidad que los documentos originales, con controles de acceso, cifrado y retención adecuados.
- Programa de Shadow AI: Establezca un programa de descubrimiento y gobernanza de implementaciones no autorizadas de IA. La visibilidad es el primer paso hacia el control.
- Adopción de marcos: Utilice el OWASP Top 10 para LLM Applications (https://owasp.org/www-project-top-10-for-large-language-model-applications/) y el NIST AI RMF (https://www.nist.gov/itl/ai-risk-management-framework) como guías para la evaluación de riesgos y el diseño de controles.
Conclusión
El perímetro de la IA corporativa es una construcción frágil. La convergencia de décadas de información distribuida en un único punto de consulta conversacional crea una superficie de ataque sin precedentes. Los vectores son múltiples, desde la inyección indirecta de prompts hasta la inversión de modelos, desde los logs de observabilidad hasta el shadow AI.
La lección para el CISO es clara: la IA no es solo una herramienta de productividad; es un nuevo repositorio de conocimiento crítico que exige un replanteamiento fundamental de los controles de acceso, la gobernanza de datos y la postura de seguridad. El marco de control existe y OWASP y NIST han proporcionado las guías. La pregunta es si las organizaciones actuarán antes de que el este vector de fuga de datos a través de IA no se pueda controlar.
Leer más
- Día Mundial del Backup: el 76% de las empresas no resistiría tres días sin información
- Nueva campaña del malware Horabot roba información y credenciales bancarias a usuarios en América Latina
- Meta integra noticias de medios globales en su IA para responder con información en tiempo real
