OWASP Top 10 para las aplicaciones LLM

Resumen

El OWASP Top 10 para Aplicaciones LLM representa el primer marco de seguridad integral diseñado específicamente para vulnerabilidades de modelos de lenguaje extensos. A diferencia de los marcos de seguridad tradicionales para aplicaciones web, esta guía aborda los vectores de ataque únicos que emergen cuando los modelos de IA interactúan con usuarios, datos y sistemas. Desde ataques de inyección de prompts que manipulan el comportamiento del modelo hasta riesgos de filtración de datos que exponen información de entrenamiento, este marco cataloga las preocupaciones de seguridad más apremiantes que enfrentan hoy las organizaciones que implementan LLMs.

Las diez vulnerabilidades críticas

LLM01: Inyección de Prompt

Entradas maliciosas que manipulan al LLM para ejecutar comandos no intencionados, eludir medidas de seguridad o revelar prompts del sistema. Esto incluye tanto entradas directas de usuarios como ataques indirectos a través de fuentes de contenido externas.

LLM02: Manejo Inseguro de Salidas

Validación insuficiente de las salidas del LLM antes de pasarlas a sistemas posteriores, lo que potencialmente conduce a XSS, CSRF, SSRF, escalada de privilegios o ejecución remota de código.

LLM03: Envenenamiento de Datos de Entrenamiento

Manipulación de datos de entrenamiento o procesos de ajuste fino para introducir puertas traseras, sesgos o vulnerabilidades que comprometen la integridad y seguridad del modelo.

LLM04: Denegación de Servicio del Modelo

Consultas intensivas en recursos que causan degradación del servicio, aumento de costos o indisponibilidad del sistema mediante uso excesivo de computación o memoria.

LLM05: Vulnerabilidades de la Cadena de Suministro

Riesgos provenientes de conjuntos de datos de terceros, modelos preentrenados, plugins u otros componentes externos que pueden contener fallas de seguridad o contenido malicioso.

LLM06: Divulgación de Información Sensible

Revelación no intencionada de datos confidenciales a través de las salidas del modelo, incluyendo información personal, datos propietarios o detalles del sistema provenientes de los datos de entrenamiento.

LLM07: Diseño Inseguro de Plugins

Validación de entrada y controles de acceso inadecuados en plugins de LLM, habilitando ataques como ejecución remota de código o escalada de privilegios.

LLM08: Autonomía Excesiva

Otorgar a los sistemas basados en LLM demasiada autonomía o permisos, lo que conduce a acciones o decisiones no intencionadas con consecuencias significativas.

LLM09: Dependencia Excesiva

Falta de supervisión humana y validación de las salidas del LLM, particularmente en procesos de toma de decisiones críticas donde los errores podrían causar daño.

LLM10: Robo de Modelo

Acceso no autorizado a modelos propietarios mediante abuso de API, ataques de canal lateral u otras técnicas de extracción.

A quién está dirigido este recurso

• Ingenieros y arquitectos de seguridad que implementan aplicaciones basadas en LLM y necesitan identificar y mitigar vulnerabilidades específicas de IA que las herramientas de seguridad tradicionales pasan por alto.
• Equipos de DevSecOps que integran LLMs en aplicaciones existentes y requieren puntos de control de seguridad a lo largo del ciclo de vida del desarrollo.
• Gerentes de producto y CTOs que supervisan iniciativas de IA y necesitan comprender el panorama de riesgos único y comunicar los requisitos de seguridad a los equipos técnicos.
• Oficiales de cumplimiento en industrias reguladas que deben asegurar que las implementaciones de LLM cumplan con los estándares de seguridad y requisitos regulatorios.
• Pentesters y profesionales de red team que expanden su experiencia para incluir vectores de ataque específicos de IA y metodologías de prueba.

Qué hace diferente a este marco de los marcos de seguridad tradicionales

La seguridad de aplicaciones tradicional se enfoca en vulnerabilidades de código, autenticación y protección de datos. La seguridad de LLM introduce superficies de ataque completamente nuevas: el modelo mismo se convierte tanto en un activo a proteger como en un vector de ataque potencial. La inyección de prompt, por ejemplo, no tiene equivalente en aplicaciones web convencionales. Es una forma de "ingeniería social" contra sistemas de IA.

El marco también aborda la naturaleza probabilística de los sistemas de IA, donde la misma entrada puede producir diferentes salidas, haciendo que los enfoques tradicionales de pruebas de seguridad sean insuficientes. Reconoce que los LLMs pueden ser simultáneamente víctimas y cómplices en ataques, siendo manipulados para realizar acciones maliciosas mientras aparentan funcionar normalmente.

Hoja de ruta de implementación

Fase 1: Evaluación (Semanas 1-2)

Fase 2: Victorias Rápidas (Semanas 3-4)

Fase 3: Revisión de Arquitectura (Semanas 5-8)

Fase 4: Seguridad Continua (En curso)

Errores comunes de implementación

• Tratar la seguridad de LLM como algo secundario: A diferencia de las aplicaciones tradicionales donde la seguridad a veces puede añadirse posteriormente, la seguridad de LLM requiere decisiones arquitectónicas tomadas temprano en el proceso de desarrollo.
• Filtrar excesivamente entradas y salidas: El filtrado agresivo de contenido puede romper casos de uso legítimos. La clave es encontrar el equilibrio entre seguridad y funcionalidad mediante ajustes y pruebas cuidadosas.
• Ignorar los riesgos de la cadena de suministro: Muchos equipos se enfocan en su propio código mientras pasan por alto vulnerabilidades en modelos, conjuntos de datos o plugins de terceros que forman la base de sus aplicaciones.
• Subestimar la creatividad de los atacantes: Las técnicas de inyección de prompt evolucionan rápidamente, y las defensas simples basadas en palabras clave rápidamente se vuelven obsoletas. Las defensas sólidas requieren comprender los mecanismos subyacentes, no solo bloquear patrones de ataque conocidos.