Riesgos de usar sistemas de terceros para la gobernanza de la IA

Según la EU AI Act, los proveedores de IA de alto riesgo tienen numerosos requisitos de documentación. Al usar un sistema de gestión de documentos SaaS de terceros para almacenar estos documentos, surgen varias preocupaciones de privacidad y seguridad.

Como desarrolladores de la plataforma de gobernanza de IA de código abierto VerifyWise, y a través de nuestro trabajo con plataformas locales en la empresa, conocemos bien estos riesgos.

En esta publicación discutiremos cómo compartir esta información con un sistema de terceros podría exponer propiedad intelectual sensible y secretos comerciales.

Divulgación de documentación técnica sensible

Según la EU AI Act, los proveedores de IA de alto riesgo deben crear y mantener documentación técnica detallada. Esto incluye:

• Arquitectura del sistema y especificaciones de diseño
• Requisitos de datos y procedimientos de gobernanza
• Metodologías y técnicas de desarrollo
• Métricas de rendimiento y resultados de pruebas

La mayoría de las empresas de IA de alto riesgo con requisitos estrictos de privacidad no divulgan públicamente dicha información. Las instituciones financieras, compañías de seguros, proveedores de salud y empresas de telecomunicaciones típicamente usan plataformas autoalojadas e instaladas localmente para almacenar datos relevantes.

Divulgación del registro de riesgos

Según la EU AI Act, los proveedores deben establecer un sistema de gestión de riesgos, documentando:

• Identificación y análisis de riesgos
• Estimación y evaluación de riesgos
• Medidas de control de riesgos

Esta documentación también puede contener información sensible sobre las vulnerabilidades del sistema de la empresa y las estrategias de mitigación.

Documentación sobre datos de entrenamiento

Según la EU AI Act, se deben mantener registros detallados de los conjuntos de datos de entrenamiento, validación y prueba, incluyendo:

• Fuentes y características de los datos
• Técnicas de preprocesamiento
• Procedimientos de etiquetado

Subir documentos con esta información podría arriesgar la exposición de conjuntos de datos propietarios o métodos de manejo de datos a plataformas SaaS de terceros.

Capacidades de registro

Los sistemas de IA de alto riesgo deben tener capacidades de registro para registrar eventos y decisiones. La documentación de estas capacidades puede incluir:

• Tipos de datos registrados
• Políticas de almacenamiento y retención
• Medidas de control de acceso

Esta información podría revelar operaciones del sistema y prácticas de manejo de datos, lo que plantea riesgos al compartir documentos con un proveedor de gobernanza de IA de terceros. El riesgo se multiplica cuando los empleados adoptan herramientas de IA sin aprobación de TI, un problema que la detección de shadow AI está diseñada para abordar al revelar el uso no autorizado desde sus registros de red existentes.

Para todas las áreas anteriores, subir documentación detallada a una plataforma SaaS de gobernanza de IA de terceros podría potencialmente exponer información operativa sensible. Esto puede comprometer la ventaja competitiva del proveedor de IA.

Además, si esta información cae en las manos equivocadas, podría ser explotada para atacar debilidades en el sistema de IA o las capacidades de respuesta ante incidentes de la organización.

Para mitigar estos riesgos, los proveedores de IA de alto riesgo deben evaluar cuidadosamente las medidas de seguridad del proveedor SaaS, implementar controles de acceso fuertes y considerar cifrar las porciones particularmente sensibles de la documentación.

También pueden querer explorar soluciones híbridas que mantengan la información más crítica en las instalaciones locales mientras usan la plataforma SaaS para documentación menos sensible.

VerifyWise: democratizando la gobernanza de la IA

La plataforma de gobernanza de IA de código abierto de VerifyWise puede instalarse en las instalaciones locales y ofrece varias ventajas en términos de privacidad y seguridad para los proveedores de IA de alto riesgo:

• Control de datos: Tiene la propiedad y el control total sobre la documentación y los datos sensibles. No hay necesidad de subir información crítica a sistemas de terceros, lo que reduce el riesgo de acceso no autorizado o violaciones de datos.

• Personalización e integración: Como tiene el código fuente completo, puede adaptar la plataforma a las necesidades organizacionales específicas y requisitos de seguridad, e integrarla con la infraestructura de seguridad local existente.

• Reducción de la exposición de secretos comerciales: Los detalles sensibles de su sistema de IA y algoritmos permanecen dentro de la organización, reduciendo el riesgo de fuga de propiedad intelectual.

Al ofrecer una plataforma de gobernanza de IA de código abierto e instalable localmente, VerifyWise proporciona a los proveedores de IA de alto riesgo una solución que aborda muchas de las preocupaciones de privacidad y seguridad asociadas con el uso de sistemas SaaS de terceros. Este enfoque permite a las organizaciones mantener un control más estricto sobre sus datos e infraestructura mientras se benefician de un marco estructurado de gobernanza de IA.

Contáctenos ahora para ver una demostración de VerifyWise.