Riesgo sistémico en la IA

El riesgo sistémico en la IA es un concepto que introduce la Ley de IA de la UE para describir los peligros que plantean los modelos de IA de propósito general (GPAI) más capaces, esos cuyo alcance e impacto se extienden por muchos sectores a la vez.

La idea es que un solo modelo fundacional puede situarse debajo de miles de aplicaciones aguas abajo. Si ese modelo tiene una falla seria, una capacidad peligrosa o una debilidad de seguridad, el daño no queda contenido. Se propaga a través de cada producto construido sobre él.

La Ley de IA trata estos modelos de forma distinta a los modelos GPAI ordinarios. Un modelo de propósito general común carga deberes de transparencia y documentación. Un modelo con riesgo sistémico carga esos más un conjunto más pesado de obligaciones enfocadas en seguridad, evaluación y respuesta a incidentes.

Para los equipos de gobernanza, riesgo y cumplimiento, el término importa porque traza una línea regulatoria clara. Una vez que un modelo la cruza, el proveedor asume responsabilidades que no pueden delegarse a las empresas que ajustan o despliegan el modelo aguas abajo.

Cómo se clasifica un modelo como de riesgo sistémico

La Ley de IA usa una presunción basada en el cómputo de entrenamiento. Se presume que un modelo de IA de propósito general carga riesgo sistémico cuando la cantidad acumulada de cómputo usada para su entrenamiento supera las 10^25 operaciones de punto flotante (FLOPs).

Este umbral es un indicador indirecto, no una medida perfecta. El cómputo correlaciona con la capacidad, así que un entrenamiento muy grande se trata como una señal de que el modelo resultante es lo bastante potente como para crear efectos amplios. La cifra puede ajustarse con el tiempo a medida que la tecnología y la comprensión de la capacidad evolucionan.

El cómputo no es la única vía. La Comisión Europea y la Oficina de IA también pueden designar un modelo como portador de riesgo sistémico con base en otros criterios: el número de parámetros, la calidad y el tamaño del conjunto de datos, el número de usuarios registrados, el alcance del modelo en el mercado interior o capacidades específicas de alto impacto. A un proveedor también se le puede informar que es probable que su modelo cumpla el umbral, dándole la oportunidad de responder.

Los proveedores que entrenan un modelo que cumple el umbral de cómputo deben notificar a la Comisión. Pueden argumentar que, a pesar del cómputo usado, su modelo no presenta riesgo sistémico, pero la carga recae en ellos para sostener ese caso.

Qué obligaciones extra siguen

Los proveedores de modelos GPAI con riesgo sistémico asumen deberes que van mucho más allá de la documentación estándar. Los centrales son:

• Evaluación del modelo. Ejecutar evaluaciones de vanguardia usando protocolos estandarizados, incluidas pruebas dirigidas a identificar y mitigar riesgos sistémicos.

• Pruebas adversarias. Realizar y documentar pruebas adversarias (red teaming) para encontrar y atender capacidades peligrosas y modos de falla antes y después del lanzamiento.

• Evaluación y mitigación de riesgos. Evaluar y mitigar posibles riesgos sistémicos a nivel de la UE, incluidas sus fuentes, a lo largo del ciclo de vida del modelo.

• Reporte de incidentes. Rastrear, documentar y reportar incidentes graves y posibles medidas correctivas a la Oficina de IA y, cuando corresponda, a las autoridades nacionales sin demora indebida.

• Ciberseguridad. Garantizar un nivel adecuado de protección de ciberseguridad para el modelo y su infraestructura física, ya que un modelo de frontera comprometido es en sí mismo una amenaza sistémica.

Los proveedores pueden demostrar el cumplimiento adhiriéndose a códigos de buenas prácticas desarrollados con la Oficina de IA hasta que haya estándares armonizados disponibles. Seguir un código aprobado es una forma de mostrar buena fe y reducir la incertidumbre regulatoria.

Por qué importa el concepto

El riesgo sistémico desplaza una parte significativa de la responsabilidad aguas arriba, hacia el número reducido de organizaciones que entrenan modelos de frontera. Esto refleja una realidad práctica: las empresas que despliegan un modelo rara vez tienen el acceso, los recursos o la visibilidad para evaluar sus comportamientos más profundos.

También le da al resto del ecosistema algo en lo que apoyarse. Un hospital que construye una herramienta clínica sobre un modelo grande no puede por sí mismo ejecutar evaluaciones a escala de frontera. Saber que el proveedor del modelo base está obligado por ley a evaluar, hacer red teaming y reportar incidentes les da a los actores aguas abajo una base sobre la cual construir.

Para quien sigue la regulación de la IA, el umbral es un marcador útil. Es la línea donde un modelo deja de ser un producto ordinario y empieza a tratarse como infraestructura con el potencial de afectar a todo el mercado.

Cómo se preparan los equipos

Los proveedores con probabilidad de acercarse al umbral deberían llevar registro cuidadoso del cómputo de entrenamiento e integrar la evaluación y el red teaming en el proceso de desarrollo, en lugar de añadirlos al final. La contabilidad del cómputo tiene que ser defendible, porque el deber de notificación depende de ella.

Quienes despliegan aguas abajo deberían preguntar directamente a sus proveedores de modelos si un modelo está clasificado como portador de riesgo sistémico, y solicitar la evaluación y el reporte de incidentes que exige la Ley de IA. Esa información alimenta la propia evaluación de riesgos de quien despliega.

Los equipos de gobernanza deberían vigilar los códigos de buenas prácticas y cualquier actualización del umbral de cómputo, ya que ambos pueden cambiar qué cuenta como riesgo sistémico y cómo se ve el cumplimiento.

Preguntas frecuentes

¿Cuál es el umbral exacto de cómputo para el riesgo sistémico?

La Ley de IA de la UE presume que un modelo de IA de propósito general carga riesgo sistémico cuando el cómputo acumulado usado para su entrenamiento es mayor que 10^25 FLOPs (operaciones de punto flotante). Esto es una presunción, así que un proveedor puede intentar refutarla, y la Comisión también puede designar modelos por debajo del umbral con base en otros factores como el conteo de parámetros, el tamaño del conjunto de datos, el número de usuarios o capacidades específicas.

¿El umbral aplica a quien despliega o al proveedor del modelo?

Las obligaciones recaen en el proveedor del modelo de IA de propósito general, la organización que lo entrena y lo coloca en el mercado. Las empresas que despliegan o ajustan el modelo tienen sus propios deberes, pero las obligaciones de riesgo sistémico, como la evaluación de frontera y el reporte de incidentes, recaen en el proveedor aguas arriba.

¿La cifra de 10^25 FLOPs es permanente?

No. El umbral puede ser modificado por la Comisión mediante actos delegados a medida que la tecnología avanza y la relación entre cómputo y capacidad se vuelve más clara. Los equipos deberían tratarlo como una cifra actual y no como una constante fija.

¿Qué cuenta como un incidente grave que debe reportarse?

Un incidente grave por lo general implica un mal funcionamiento o falla del modelo que conduce, directa o indirectamente, a daños como la muerte, un daño serio a la salud, una interrupción seria de infraestructura crítica o vulneraciones de derechos fundamentales. Los proveedores de modelos de riesgo sistémico deben documentar y reportar estos incidentes a la Oficina de IA sin demora indebida.

¿En qué se diferencia el riesgo sistémico de los sistemas de IA de alto riesgo?

El alto riesgo se refiere a sistemas de IA específicos usados en contextos sensibles como contratación, crédito o dispositivos médicos, clasificados bajo los niveles de riesgo de la Ley. El riesgo sistémico es una categoría aparte que aplica solo a los modelos de propósito general más capaces. Un modelo puede cargar riesgo sistémico sin desplegarse en ningún caso de uso de alto riesgo concreto, porque la preocupación es su amplio alcance aguas abajo.

¿Puede un proveedor evitar las obligaciones argumentando que su modelo no es riesgoso?

Un proveedor cuyo modelo cruza el umbral de cómputo puede presentar argumentos de que el modelo no presenta riesgo sistémico a pesar de su tamaño. La presunción puede refutarse, pero el proveedor carga con la prueba y la Comisión evalúa el caso. Estar por debajo del umbral tampoco garantiza la exención, ya que la designación puede ocurrir por otros motivos.

Resumen

El riesgo sistémico en la IA es la forma que tiene la Ley de IA de la UE de señalar a los modelos de propósito general más capaces para una supervisión más fuerte. La presunción se activa por encima de 10^25 FLOPs de cómputo de entrenamiento, y una vez que un modelo califica, su proveedor debe evaluarlo con rigor, ejecutar pruebas adversarias, mitigar riesgos a nivel de la UE, reportar incidentes graves y protegerlo con ciberseguridad fuerte. El concepto empuja la rendición de cuentas aguas arriba, hacia el puñado de organizaciones capaces de entrenar modelos de frontera, y le da al ecosistema más amplio una base confiable sobre la cual construir.