Herramienta de evaluación de impacto algorítmico de Canadá

Resumen

La herramienta de Evaluación de Impacto Algorítmico (AIA) del gobierno canadiense es un cuestionario obligatorio que los departamentos federales deben completar antes de implementar sistemas de decisión automatizados. Lo que distingue a esta herramienta es su enfoque práctico basado en riesgos, que produce niveles de impacto concretos (del I al IV) con requisitos correspondientes de documentación, consulta y supervisión. En lugar de ofrecer lineamientos vagos, la AIA proporciona un marco claro que determina desde si se necesita una evaluación de impacto en privacidad hasta con qué frecuencia se debe revisar el desempeño del sistema.

A quién está dirigido este recurso

• Empleados del gobierno federal en Canadá que están adquiriendo, desarrollando o implementando sistemas de decisión automatizados
• Contratistas y proveedores gubernamentales que trabajan con departamentos federales canadienses en sistemas de IA
• Gobiernos provinciales y municipales que buscan adaptar el marco a sus propias jurisdicciones
• Funcionarios gubernamentales internacionales que estudian ejemplos concretos de rendición de cuentas algorítmica en la práctica
• Investigadores de políticas públicas que analizan cómo los gobiernos operacionalizan la gobernanza de IA más allá de principios de alto nivel

El sistema de cuatro niveles de impacto explicado

La innovación central de la AIA es su sistema de puntuación que traduce riesgos abstractos en requisitos accionables:

• Nivel de Impacto I (Impacto mínimo): Automatización simple con consecuencias limitadas. Requiere documentación básica y revisiones anuales. Ejemplo: sistemas automatizados de clasificación de correo electrónico.
• Nivel de Impacto II (Impacto moderado): Sistemas que afectan resultados individuales pero con recursos de apelación disponibles. Exige registros de consultas, revisiones trimestrales y pruebas básicas de sesgo.
• Nivel de Impacto III (Impacto alto): Decisiones significativas que afectan a individuos o grupos. Activa requisitos de evaluaciones de privacidad, auditorías externas y especificaciones algorítmicas detalladas.
• Nivel de Impacto IV (Impacto muy alto): Sistemas con potencial de daño grave o implicaciones para derechos de la Charter. Exige aprobación del viceministro, monitoreo continuo y medidas integrales de transparencia pública.

Cómo funciona realmente la evaluación

La herramienta formula 48 preguntas en cuatro dominios, cada uno ponderado de manera diferente según el daño potencial:

• Detalles del proyecto (15% de ponderación): Qué tipo de decisión se está automatizando, quién se ve afectado y qué datos se utilizan.
• Impacto algorítmico (25% de ponderación): Cómo el sistema toma decisiones, si involucra aprendizaje automático y si afecta a poblaciones vulnerables.
• Fuentes de datos (25% de ponderación): Calidad, representatividad y sensibilidad de los datos de entrada, además de los métodos de recopilación de datos.
• Consulta y supervisión (35% de ponderación): Qué consultas se realizaron, qué mecanismos de apelación existen y cómo se monitoreará el desempeño.

La puntuación total determina no solo el nivel de impacto, sino que activa requisitos obligatorios específicos como auditorías algorítmicas, consultas públicas o aprobación de ejecutivos de alto nivel.

Qué sucede después de completarla

A diferencia de muchas herramientas de evaluación que terminan con recomendaciones, la AIA canadiense crea obligaciones vinculantes:

• Requisitos de documentación: Los niveles de impacto más altos deben publicar descripciones detalladas del sistema, incluyendo la lógica algorítmica y las fuentes de datos de entrenamiento
• Puntos de aprobación: Los sistemas de Nivel III y IV requieren la firma del viceministro antes de la implementación
• Calendarios de revisión: Plazos obligatorios de reevaluación que van desde anual (Nivel I) hasta monitoreo continuo (Nivel IV)
• Obligaciones de transparencia: Publicación pública de evaluaciones de impacto y métricas de desempeño del sistema
• Mecanismos de recurso: Procesos de apelación requeridos y capacidades de revisión humana para sistemas de mayor riesgo

Lecciones de cinco años de implementación

Desde 2019, los departamentos federales han completado cientos de AIAs, revelando tanto fortalezas como desafíos:

• Lo que funciona bien: La herramienta identifica exitosamente sistemas de alto riesgo y crea mecanismos de rendición de cuentas. Los departamentos reportan que el enfoque estructurado les ayuda a considerar riesgos que de otro modo podrían pasar por alto.
• Obstáculos comunes: Los equipos frecuentemente tienen dificultades con las preguntas de puntuación sobre interpretabilidad algorítmica y la definición de "poblaciones vulnerables". Los requisitos de consulta pueden extender significativamente los cronogramas de los proyectos.
• Adaptaciones prácticas: Algunos departamentos ahora completan AIAs preliminares durante el diseño del sistema en lugar de hacerlo justo antes de la implementación, permitiendo correcciones de rumbo más tempranas.

La herramienta ha influido en marcos similares en otros países y provincias, demostrando cómo los mecanismos de evaluación concretos pueden hacer que los principios de gobernanza de IA sean operacionales en lugar de aspiracionales.