Gouverner l'IA a haut risque dans le cadre de l'EU AI Act

Si vous exploitez une IA pouvant affecter la securite des personnes, la loi traite la gouvernance comme une discipline de cycle de vie continue, et non comme une case a cocher ponctuelle. Dans cet article, nous detaillerons ce que la loi attend, a quoi ressemble une « bonne » pratique, comment les audits s'integrent, et combien de temps vous devez conserver vos documents. Nous ferons reference aux articles de l'EU AI Act afin que vous puissiez egalement vous reporter au texte juridique. Lorsque la loi delegue des details a de futurs actes d'execution ou a des normes harmonisees, nous signalerons les points en suspens.

Rappel rapide : qu'est-ce qu'un systeme d'IA a haut risque ?

Les systemes a haut risque se repartissent en deux grandes categories :

• Les produits deja soumis aux regimes de securite des produits de l'UE (par exemple les dispositifs medicaux, les machines, les jouets ayant des fonctions de securite, les ascenseurs, les systemes ferroviaires, etc.). Lorsque la fonctionnalite d'IA est pertinente pour la securite au sein d'un produit couvert par la legislation existante de l'UE avec evaluation de conformite par un tiers (Annexe II, Section A), le composant IA devient a haut risque une fois que cette loi sur la securite des produits renvoie a l'EU AI Act.
• Les cas d'utilisation autonomes d'IA listes a l'Annexe III (par ex. identification biometrique, exploitation d'infrastructures critiques, education/evaluation impactant l'acces, decisions d'emploi y compris le filtrage de CV et les promotions, notation de credit, analyses pour les forces de l'ordre, triage en matiere de migration/asile, etc.). La liste est actualisable par la Commission.

Si votre systeme releve de l'une ou l'autre categorie, les obligations de gouvernance ci-dessous s'appliquent a vous (avec quelques differences selon les roles de fournisseur et de deploiement).

Les piliers de gouvernance essentiels a construire

Voici une traduction operationnelle du texte juridique en flux de travail que vous pouvez reellement executer. Nous avons indique les references d'articles principaux entre parentheses.

1. Systeme de gestion des risques (Art. 9)

Continu, documente et iteratif. Couvrez la conception, le developpement, la validation, le deploiement et les phases post-commercialisation. Identifiez les risques connus et raisonnablement previsibles pour la sante, la securite et les droits fondamentaux. Evaluez la gravite et la probabilite. Definissez les mesures d'attenuation. Integrez les donnees du monde reel et les enseignements tires des incidents. Mettez a jour lorsque le contexte, les donnees ou le comportement du modele changent.

Conseils pratiques

• Construisez un registre des risques dynamique organise par scenarios de dommages, droits impactes, populations concernees, controles en place, risque residuel et responsable de validation.
• Utilisez l'analyse des dangers avant deploiement (de type AMDEC), le red teaming, les tests adversariaux, les tests de biais et de robustesse, et les tests de stress specifiques au domaine.
• Relancez l'analyse des risques chaque fois que vous modifiez substantiellement les poids du modele, les classes de donnees d'entrainement, l'environnement d'exploitation ou l'utilisation prevue.

2. Controles des donnees et de la gouvernance des donnees (Art. 10)

Les donnees d'entrainement, de validation et de test doivent etre pertinentes, representatives, exemptes d'erreurs dans la mesure du possible et completes pour l'utilisation prevue. Vous devez comprendre la provenance des donnees, les conditions de collecte et les biais connus.

Conseils pratiques

• Maintenez un ensemble fiche de donnees / carte de modele qui enregistre les sources, les conditions de consentement/legalite, les couvertures geographiques, les lacunes demographiques, les etapes de pretraitement et les metriques de qualite. Vous pouvez utiliser VerifyWise a cet effet.
• Suivez la lignee des donnees pour pouvoir repondre rapidement aux questions des regulateurs et des clients.

3. Documentation technique (Art. 11)

Vous devez preparer et maintenir une documentation suffisante pour que les regulateurs et les organismes notifies puissent evaluer la conformite. Considerez cela comme le « dossier d'historique de conception » pour l'IA.

Que faut-il inclure

• Description du systeme, utilisation prevue, groupes d'utilisateurs et environnement d'exploitation. Encore une fois, VerifyWise est une excellente option ici.
• Architecture du modele, approche d'entrainement, historique des versions.
• Resume de la gouvernance des donnees (voir ci-dessus).
• Metriques de performance (exactitude, taux d'erreur, metriques de biais, resultats des tests de robustesse). VerifyWise dispose d'une fonctionnalite de verification des biais et de l'equite pour les ML et les LLM.
• Documents de gestion des risques et decisions d'attenuation.
• Conception de la supervision humaine et instructions.
• Plan de surveillance post-commercialisation.

Assurez-vous de tout versionner et de geler un ensemble de reference pour chaque evaluation de conformite, puis enregistrez les deltas.

4. Tenue des registres / journalisation automatique (Art. 12 + references a la journalisation dans la loi)

Les systemes a haut risque doivent etre capables d'enregistrer automatiquement les evenements. L'objectif est la tracabilite : quelles donnees sont entrees, quelle version du modele les a traitees, quel resultat a ete produit, ainsi que les evenements systeme cles et les signaux de performance.

Conseils pratiques

• Stockage de journaux centralise et inviolable avec une retention alignee sur les minimums legaux (voir la section retention ci-dessous).
• Etiquetez les journaux avec les identifiants de version du modele et les identifiants de tranche de donnees.
• Capturez les evenements de derogation lorsque des humains interviennent.

5. Transparence et instructions d'utilisation (Art. 13)

Les utilisateurs doivent recevoir des instructions claires, incluant les capacites du systeme, ses limites, les exigences en matiere de donnees, les actions de supervision humaine, les caracteristiques de performance et les conditions de risque connues. Si une qualite minimale de donnees est necessaire, indiquez-le. Si les performances se degradent hors specifications, prevenez-les.

6. Supervision humaine (Art. 14)

Concevez votre systeme de sorte que des personnes correctement formees puissent comprendre quand une intervention est necessaire et puissent reellement intervenir. La supervision peut signifier un examen en temps reel, des seuils de confiance qui redirigent vers des humains, la capacite d'arreter le fonctionnement automatise, ou des processus de recours / second examen.

Conseils pratiques

• Definissez les roles de supervision : operateur, relecteur, autorite d'escalade.
• Fournissez des tableaux de bord avec des bandes de confiance, des alertes de derive et des signaux d'anomalie.
• Formez le personnel. Documentez l'achevement de la formation. Renouvelez la formation lorsque le systeme change.

7. Exactitude, robustesse et cybersecurite (Art. 15)

Vous devez atteindre des seuils correspondant a l'etat de l'art adaptes au cas d'utilisation, resister aux usages abusifs raisonnablement previsibles et proteger contre les attaques sur l'integrite des donnees et du modele. Surveillez la derive du modele, l'empoisonnement des donnees, l'injection de prompts (pour les modeles interactifs) et les exemples adversariaux le cas echeant.

8. Systeme de management de la qualite (SMQ) (Art. 17)

Pensez de type ISO. Le SMQ englobe vos politiques, procedures, roles, controles, audits internes, gestion des fournisseurs, actions correctives et pratiques de documentation a travers l'ensemble du cycle de vie de l'IA.

Elements a couvrir :

• Structure organisationnelle et responsabilites.
• Procedures operationnelles standard pour le developpement de modeles.
• Controles des fournisseurs / composants tiers (modeles, jeux de donnees, outils, etc.).
• Controle de la documentation et versionnage.
• Actions correctives et preventives.
• Audit interne et revue de direction.

9. Declaration de conformite UE et marquage CE (Art. 48-51 ; Annexe V exemple)

Avant de mettre un systeme d'IA a haut risque sur le marche de l'UE ou de le mettre en service, vous declarez qu'il est conforme a la loi. Vous conservez la declaration et le dossier technique a la disposition des autorites de l'UE pendant toute la duree de conservation.

Evaluation de conformite : quand les audits interviennent

Vous ne pouvez pas deployer un systeme d'IA a haut risque dans l'UE sans avoir reussi une voie d'evaluation de conformite definie aux articles 43-47 (et liee aux Annexes). La voie depend de l'existence de normes couvrant votre systeme et de votre appartenance a des regimes de securite des produits existants.

Voies d'evaluation

• Controle interne (le fournisseur effectue l'auto-evaluation) lorsque vous appliquez pleinement les normes harmonisees pertinentes et qu'il n'y a pas de signaux d'alerte necessitant un organisme notifie.
• Evaluation par un tiers par un organisme notifie lorsque les normes harmonisees ne sont pas (encore) disponibles, lorsque vous vous en ecartez ou lorsque cela est requis par la legislation sur la securite des produits liee.
• Hybrides systeme d'assurance qualite + examen de documentation technique pour certaines categories liees a la legislation sur les produits.

Quand avez-vous besoin d'une nouvelle evaluation ?

• Premiere mise sur le marche ou premiere mise en service dans l'UE.
• Toute modification substantielle qui change l'utilisation prevue, l'architecture, l'approche d'apprentissage ou les performances d'une maniere affectant la conformite.
• Un deploiement reutilise le systeme en dehors de l'utilisation prevue declaree par le fournisseur. Dans ce cas, le deployeur peut devenir un « fournisseur » aux yeux de la loi et declencher une nouvelle obligation d'evaluation.

Combien de temps dure un audit ?

Le reglement ne fixe pas un nombre de jours determine. La duree peut dependre des elements suivants :

• Complexite du systeme.
• Exhaustivite de votre dossier de documentation technique.
• Si des normes harmonisees s'appliquent (plus rapide) ou si l'evaluateur doit examiner des preuves specifiques (plus lent).
• Necessite d'inspections sur site, d'echantillonnage de la gouvernance des donnees d'entrainement ou de tests en direct du systeme.

Dans les domaines de produits reglementes (medical, machines), les examens par les organismes notifies prennent aujourd'hui generalement de quelques jours (examen documentaire uniquement) a plusieurs semaines ou mois (systemes complexes, cycles d'actions correctives).

Surveillance post-commercialisation et reponse aux incidents (Art. 72-74)

Reussir l'evaluation n'est pas la fin. Les fournisseurs doivent exploiter un systeme de surveillance post-commercialisation pour collecter, analyser et agir sur les donnees de performance et de securite issues de l'utilisation reelle. Les incidents graves et les tendances de dysfonctionnement doivent etre signales aux autorites nationales.

Boucle de surveillance

1. Recueillir la telemetrie, les metriques d'exactitude, les schemas d'erreurs, les signaux de derive.
2. Correler avec les changements d'environnement (changements de donnees, comportement des utilisateurs, tentatives adversariales).
3. Reinjecter les conclusions dans la gestion des risques et les actions correctives du SMQ.
4. Mettre a jour la documentation technique et les instructions d'utilisation.

Conservation : combien de temps garder vos documents

Les regles de conservation apparaissent a plusieurs endroits ; voici la vue consolidee :

Durees minimales de conservation

• Declaration UE et documentation technique : Conserver pendant 10 ans apres la mise sur le marche ou la mise en service du systeme d'IA. (Mentionne a l'Art. 18 croise avec les articles sur la conformite ; verifiez la legislation sectorielle sur les produits si elle est plus longue.)
• Documents du SMQ et historique des modifications : Alignez-vous sur la fenetre de 10 ans, mais si la norme de votre secteur est plus longue (les dossiers medicaux sont souvent plus longs), vous devrez suivre la regle la plus longue.
• Journaux automatiques : La loi ne fixe pas un chiffre unique dans le texte de base, mais les orientations emergentes des discussions politiques et des projets de commentaires suggerent au moins 6 mois de conservation de base pour soutenir la tracabilite et les enquetes. De nombreux fournisseurs visent 12 a 24 mois par precaution, plus longtemps si le systeme est critique pour la securite.
• Rapports d'incidents et actions correctives : Conservez pendant 10 ans dans le dossier technique pour pouvoir demontrer votre historique.

A quoi devrait ressembler votre calendrier de gouvernance de l'IA ?

Si vous lancez un programme de conformite, associez les actions recurrentes a un calendrier pour que le travail ne derive jamais. Voici une cadence de depart que vous pouvez ajuster selon le niveau de risque.

Avant la mise en production du systeme d'IA :

• Effectuer un atelier d'analyse des risques.
• Executer des tests de biais, de robustesse et de securite.
• Finaliser le dossier de documentation technique.
• Auto-verification interne de conformite ou sollicitation d'un organisme notifie.

A faire trimestriellement :

• Examiner les metriques de derive par rapport aux seuils d'acceptation.
• Auditer un echantillon des journaux pour detecter les anomalies et la qualite des donnees.
• Mettre a jour le registre des risques avec les enseignements des incidents.
• Confirmer l'effectif de supervision humaine et l'actualite des formations.

A faire semestriellement :

• Exercice de simulation de reponse aux incidents.
• Revalidation de la gouvernance des donnees : representativite, statut des licences et demandes de suppression.

A faire annuellement

• Audit interne complet couvrant les articles 9-15, 17.
• Reevaluation des contrats et fournisseurs (modeles, API, sources de donnees).
• Reeditez les instructions d'utilisation mises a jour si les capacites ont change.

Declenchez des revues non planifiees lorsque :

• Vous reentraine ou affinez substantiellement le modele.
• Vous vous etendez a une nouvelle population d'utilisateurs ou une nouvelle zone geographique.
• Vous observez une degradation des performances au-dela des tolerances documentees.
• Les regulateurs publient de nouvelles normes harmonisees.

Plan de mise en oeuvre : mettre en place un programme de gouvernance de l'IA a haut risque en 90 jours

Vous ne terminerez pas tout en 90 jours, mais vous pouvez mettre en place de nombreuses choses.

Jours 0-15 : Perimetre et inventaire

• Inventoriez les systemes d'IA. Faites correspondre aux categories de l'Annexe III et aux liens avec la legislation sur les produits. Si les outils non approuves representent un angle mort, la detection de shadow AI peut faire emerger l'utilisation de l'IA a partir des journaux reseau existants.
• Identifiez les fournisseurs, deployeurs, importateurs et distributeurs tout au long de la chaine d'approvisionnement.
• Signalez les systemes candidats a haut risque.

Jours 15-30 : Conception de la gouvernance

• Constituez un groupe de travail transversal (juridique, risques, ingenierie, donnees, produit, operations, ethique).
• Elaborez une taxonomie des risques et une grille de notation alignee sur les droits fondamentaux.
• Selectionnez les outils (registre des risques, repertoire de cartes de modeles, pipeline de journalisation, portail de documentation).

Jours 30-60 : Construction des controles

• Creez des modeles de registre des risques et une liste de verification avant deploiement.
• Implementez le suivi de la provenance des donnees et la documentation des jeux de donnees.
• Configurez la journalisation automatisee avec l'etiquetage des versions de modeles.
• Redigez les procedures operationnelles standard de supervision humaine et le guide d'escalade.

Jours 60-90 : Preuves et preparation a l'audit

• Remplissez le squelette de documentation technique pour chaque candidat a haut risque.
• Effectuez un exercice pilote d'evaluation de conformite interne.
• Comblez les principales lacunes correctives.
• Etablissez les politiques de conservation et les classes de stockage.

Questions frequemment posees

a. La loi me dit-elle exactement combien de temps durera un audit externe ?

Non. Elle definit quand vous devez passer une evaluation de conformite et quelles preuves vous devez fournir. La duree depend de la complexite du systeme et de la charge de travail de l'evaluateur.

b. Six mois de journaux suffisent-ils ?

C'est un plancher issu des commentaires politiques, pas un plafond. Les industries reglementees et les applications critiques pour la securite devraient conserver beaucoup plus longtemps, surtout si des incidents peuvent se reveler lentement.

c. Si j'affine un modele de fondation pour la notation de credit, suis-je le fournisseur ?

Si vous mettez ce systeme affine sur le marche de l'UE ou le mettez en service pour ce cas d'utilisation de l'Annexe III, les regulateurs vous traiteront probablement comme un fournisseur pour ce deploiement. Cela signifie des obligations completes, y compris l'evaluation de conformite et la conservation de la documentation pendant 10 ans.

d. Que se passe-t-il si ma startup fait faillite ?

Les Etats membres definiront des mecanismes pour preserver la documentation technique afin que les regulateurs puissent poursuivre la supervision. Prevoyez des clauses de sequestre ou de transfert dans vos contrats des maintenant.

Conclusion

La gouvernance de l'IA a haut risque dans le cadre de l'EU AI Act est un systeme vivant. La loi lie la securite a une gestion disciplinee du cycle de vie. Si vous construisez ces pratiques tot, les evaluations de conformite deviennent plus fluides et les clients vous font davantage confiance. Si vous souhaitez un espace de travail pret a l'emploi qui associe ces exigences a des modeles configurables, explorez les plateformes de gouvernance de l'IA open source comme VerifyWise ou integrez des flux de travail similaires dans votre pile GRC existante.