AI Exchange

Resumen

OWASP AI Exchange es un marco impulsado por la comunidad que mapea sistemáticamente las superficies de ataque de IA y codifica metodologías de pruebas de seguridad específicamente para sistemas de IA. A diferencia de los marcos tradicionales de ciberseguridad que tratan la IA como algo secundario, este recurso fue construido desde cero para abordar las vulnerabilidades únicas y vectores de ataque que surgen en los pipelines de aprendizaje automático, el despliegue de modelos y las operaciones de sistemas de IA. Como publicación de 2024 del Open Web Application Security Project, representa el conocimiento consolidado de la comunidad de ciberseguridad sobre amenazas específicas de IA y proporciona orientación accionable para implementar controles de seguridad a escala empresarial.

Qué lo hace diferente

Los marcos de seguridad tradicionales tienen dificultades con los sistemas de IA porque no contemplan el envenenamiento de modelos, las entradas adversariales, la deriva de datos o los ataques en tiempo de inferencia. OWASP AI Exchange llena este vacío creando una taxonomía diseñada específicamente para el panorama de amenazas de IA. En lugar de adaptar principios de seguridad de aplicaciones web a la IA (lo cual frecuentemente no funciona), este marco identifica vectores de ataque únicos de los sistemas de aprendizaje automático, como la manipulación de datos de entrenamiento, ataques de extracción de modelos y vulnerabilidades de inyección de prompts.

El enfoque impulsado por la comunidad significa que está en constante evolución basándose en incidentes reales de seguridad de IA e investigación emergente, haciéndolo más actual que los marcos estáticos desarrollados por organizaciones individuales.

Mapeo de superficie de ataque principal

El marco organiza las vulnerabilidades de IA a lo largo de todo el ciclo de vida de ML:

• Amenazas en la Fase de Entrenamiento: Envenenamiento de datos, inserción de puertas traseras, ataques a la cadena de suministro de conjuntos de datos de entrenamiento y etiquetado malicioso de datos que pueden comprometer la integridad del modelo desde el inicio.
• Riesgos en el Desarrollo del Modelo: Robo de modelos, robo de propiedad intelectual, generación de ejemplos adversariales y ataques dirigidos a la arquitectura o parámetros del modelo durante el desarrollo.
• Vulnerabilidades de Despliegue: Ataques a la infraestructura dirigidos a sistemas de servicio de IA, ataques al versionado de modelos y manipulación en tiempo de ejecución de los procesos de inferencia.
• Vectores de Ataque Operacionales: Ataques basados en deriva que explotan la degradación del rendimiento del modelo, manipulación de bucles de retroalimentación y ataques a sistemas de monitoreo de modelos.

Metodologías de pruebas de seguridad

Más allá de solo identificar amenazas, el marco proporciona enfoques de prueba concretos:

• Protocolos de pruebas adversariales para evaluar la robustez del modelo contra entradas maliciosas
• Métodos de validación de integridad de datos para detectar datos de entrenamiento envenenados o corruptos
• Técnicas de análisis de comportamiento del modelo para identificar puertas traseras o respuestas inesperadas del modelo
• Evaluaciones de seguridad de infraestructura adaptadas a arquitecturas de sistemas de IA
• Pipelines de pruebas automatizadas que pueden integrarse en flujos de trabajo de MLOps

Para quién es este recurso

• Equipos de seguridad en organizaciones que adoptan IA que necesitan extender sus programas de seguridad existentes para cubrir sistemas de IA y quieren orientación concreta sobre vulnerabilidades específicas de IA.
• Ingenieros de IA/ML y científicos de datos responsables de implementar controles de seguridad en sus modelos y que necesitan un enfoque estructurado para el modelado de amenazas en sistemas de IA.
• Profesionales de riesgo y cumplimiento que deben evaluar y documentar riesgos relacionados con IA para reportes regulatorios o procesos internos de gestión de riesgos.
• Pentesters e investigadores de seguridad que quieren desarrollar capacidades de pruebas de seguridad de IA y necesitan un marco para la evaluación sistemática de vulnerabilidades de IA.
• Arquitectos empresariales que diseñan marcos de gobernanza de IA y necesitan una base técnica para requisitos y controles de seguridad.

Comenzando con AI Exchange

Comience utilizando las plantillas de modelado de amenazas del marco para mapear la arquitectura específica de su sistema de IA e identificar los vectores de ataque relevantes. El marco proporciona hojas de trabajo y listas de verificación que lo guían a través de la evaluación de cada componente de su pipeline de IA.

A continuación, implemente las metodologías de pruebas de seguridad base que se alineen con el perfil de riesgo de su sistema de IA. Comience con pruebas automatizadas que puedan integrarse en sus pipelines de CI/CD existentes, luego agregue gradualmente capacidades de pruebas adversariales más sofisticadas.

El marco también incluye manuales de mitigación de riesgos que mapean controles específicos a amenazas identificadas, ayudándole a priorizar las inversiones en seguridad basándose en la superficie de ataque de IA de su organización.