Risque systémique en IA

Le risque systémique en IA est un concept introduit par le règlement européen sur l'IA (EU AI Act) pour décrire les dangers que posent les modèles d'IA à usage général (GPAI) les plus capables, ceux dont la portée et l'impact s'étendent à de nombreux secteurs à la fois.

L'idée est qu'un seul modèle de fondation peut se trouver sous des milliers d'applications en aval. Si ce modèle présente un défaut grave, une capacité dangereuse ou une faiblesse de sécurité, le préjudice ne reste pas contenu. Il se propage à travers chaque produit construit dessus.

Le règlement traite ces modèles différemment des modèles GPAI ordinaires. Un modèle à usage général ordinaire porte des devoirs de transparence et de documentation. Un modèle à risque systémique porte ceux-ci, plus un ensemble plus lourd d'obligations axées sur la sûreté, l'évaluation et la réponse aux incidents.

Pour les équipes de gouvernance, de risque et de conformité, le terme importe parce qu'il pose une ligne réglementaire claire. Une fois qu'un modèle la franchit, le fournisseur assume des responsabilités qui ne peuvent être déléguées aux entreprises qui affinent ou déploient le modèle en aval.

Comment un modèle est classé à risque systémique

Le règlement utilise une présomption fondée sur la puissance de calcul d'entraînement. Un modèle d'IA à usage général est présumé porter un risque systémique lorsque la quantité cumulée de calcul utilisée pour son entraînement dépasse 10^25 opérations en virgule flottante (FLOPs).

Ce seuil est un indicateur indirect, non une mesure parfaite. Le calcul corrèle avec la capacité, donc un entraînement de très grande ampleur est traité comme un signal que le modèle qui en résulte est assez puissant pour produire des effets larges. Le chiffre peut être ajusté au fil du temps à mesure que la technologie et la compréhension de la capacité évoluent.

Le calcul n'est pas la seule voie. La Commission européenne et le Bureau de l'IA (AI Office) peuvent aussi désigner un modèle comme portant un risque systémique sur la base d'autres critères : le nombre de paramètres, la qualité et la taille du jeu de données, le nombre d'utilisateurs enregistrés, la portée du modèle sur le marché intérieur, ou des capacités spécifiques à fort impact. Un fournisseur peut également être informé que son modèle est susceptible d'atteindre le seuil et se voir offrir la possibilité de répondre.

Les fournisseurs qui entraînent un modèle atteignant le seuil de calcul doivent en informer la Commission. Ils peuvent faire valoir que, malgré le calcul employé, leur modèle ne présente pas de risque systémique, mais la charge leur incombe d'en faire la démonstration.

Quelles obligations supplémentaires en découlent

Les fournisseurs de modèles GPAI à risque systémique assument des devoirs qui vont bien au-delà de la documentation standard. Les principaux sont :

• L'évaluation du modèle. Mener des évaluations à l'état de l'art à l'aide de protocoles normalisés, y compris des tests visant à identifier et à atténuer les risques systémiques.

• Les tests contradictoires. Conduire et documenter des tests contradictoires (exercices d'équipe rouge) pour repérer et traiter les capacités dangereuses et les modes de défaillance avant et après la mise sur le marché.

• L'évaluation et l'atténuation des risques. Évaluer et atténuer les éventuels risques systémiques à l'échelle de l'UE, y compris leurs sources, sur l'ensemble du cycle de vie du modèle.

• Le signalement des incidents. Suivre, documenter et signaler les incidents graves et les mesures correctives possibles au Bureau de l'IA et, le cas échéant, aux autorités nationales sans retard injustifié.

• La cybersécurité. Assurer un niveau adéquat de cybersécurité pour le modèle et son infrastructure physique, car un modèle de pointe compromis est lui-même une menace systémique.

Les fournisseurs peuvent démontrer leur conformité en adhérant à des codes de bonnes pratiques élaborés avec le Bureau de l'IA jusqu'à ce que des normes harmonisées soient disponibles. Suivre un code approuvé est une façon de faire preuve de bonne foi et de réduire l'incertitude réglementaire.

Pourquoi le concept importe

Le risque systémique déplace une part significative de la responsabilité vers l'amont, vers le petit nombre d'organisations qui entraînent des modèles de pointe. Cela reflète une réalité pratique : les entreprises qui déploient un modèle ont rarement l'accès, les ressources ou la visibilité nécessaires pour évaluer ses comportements les plus profonds.

Cela donne aussi au reste de l'écosystème quelque chose sur quoi s'appuyer. Un hôpital qui construit un outil clinique sur un grand modèle ne peut pas mener lui-même des évaluations à l'échelle de la pointe. Savoir que le fournisseur du modèle de base est légalement tenu d'évaluer, de pratiquer des exercices d'équipe rouge et de signaler les incidents donne aux acteurs en aval une fondation sur laquelle bâtir.

Pour quiconque suit la réglementation de l'IA, le seuil est un repère utile. C'est la ligne où un modèle cesse d'être un produit ordinaire pour être traité comme une infrastructure susceptible d'affecter tout le marché.

Comment les équipes se préparent

Les fournisseurs susceptibles d'approcher le seuil devraient suivre soigneusement la puissance de calcul d'entraînement et intégrer l'évaluation et les exercices d'équipe rouge au processus de développement plutôt que de les greffer à la fin. La comptabilité du calcul doit être défendable, car le devoir de notification en dépend.

Les déployeurs en aval devraient demander directement à leurs fournisseurs de modèles si un modèle est classé comme portant un risque systémique, et réclamer l'évaluation et le signalement des incidents que le règlement exige. Ces informations alimentent leur propre évaluation des risques.

Les équipes de gouvernance devraient surveiller les codes de bonnes pratiques et toute mise à jour du seuil de calcul, car l'un comme l'autre peuvent changer ce qui compte comme risque systémique et ce à quoi ressemble la conformité.

FAQ

Quel est le seuil de calcul exact pour le risque systémique ?

Le règlement européen sur l'IA présume qu'un modèle d'IA à usage général porte un risque systémique lorsque la puissance de calcul cumulée utilisée pour son entraînement dépasse 10^25 FLOPs (opérations en virgule flottante). C'est une présomption, donc un fournisseur peut tenter de la réfuter, et la Commission peut aussi désigner des modèles sous le seuil sur la base d'autres facteurs comme le nombre de paramètres, la taille du jeu de données, le nombre d'utilisateurs ou des capacités spécifiques.

Le seuil s'applique-t-il au déployeur ou au fournisseur du modèle ?

Les obligations incombent au fournisseur du modèle d'IA à usage général, l'organisation qui l'entraîne et le met sur le marché. Les entreprises qui déploient ou affinent le modèle ont leurs propres devoirs, mais les obligations de risque systémique telles que l'évaluation de pointe et le signalement des incidents reviennent au fournisseur en amont.

Le chiffre de 10^25 FLOPs est-il permanent ?

Non. Le seuil peut être modifié par la Commission au moyen d'actes délégués à mesure que la technologie progresse et que la relation entre calcul et capacité se clarifie. Les équipes devraient le traiter comme un chiffre actuel plutôt que comme une constante figée.

Qu'est-ce qui constitue un incident grave devant être signalé ?

Un incident grave implique généralement un dysfonctionnement ou une défaillance du modèle qui conduit, directement ou indirectement, à un préjudice tel qu'un décès, une atteinte grave à la santé, une perturbation grave d'une infrastructure critique, ou des atteintes aux droits fondamentaux. Les fournisseurs de modèles à risque systémique doivent documenter et signaler ces incidents au Bureau de l'IA sans retard injustifié.

En quoi le risque systémique diffère-t-il des systèmes d'IA à haut risque ?

Le haut risque désigne des systèmes d'IA spécifiques utilisés dans des contextes sensibles comme le recrutement, le crédit ou les dispositifs médicaux, classés selon les paliers de risque du règlement. Le risque systémique est une catégorie distincte qui ne s'applique qu'aux modèles à usage général les plus capables. Un modèle peut porter un risque systémique sans être déployé dans aucun cas d'usage à haut risque particulier, car la préoccupation est sa large portée en aval.

Un fournisseur peut-il échapper aux obligations en arguant que son modèle n'est pas risqué ?

Un fournisseur dont le modèle franchit le seuil de calcul peut présenter des arguments selon lesquels le modèle ne présente pas de risque systémique malgré sa taille. La présomption peut être réfutée, mais le fournisseur porte la charge de la preuve et la Commission apprécie le dossier. Se situer sous le seuil ne garantit pas non plus l'exemption, puisque la désignation peut survenir pour d'autres motifs.

Résumé

Le risque systémique en IA est la façon dont le règlement européen sur l'IA distingue les modèles à usage général les plus capables pour une surveillance renforcée. La présomption s'enclenche au-dessus de 10^25 FLOPs de calcul d'entraînement, et une fois qu'un modèle s'y qualifie, son fournisseur doit l'évaluer rigoureusement, mener des tests contradictoires, atténuer les risques à l'échelle de l'UE, signaler les incidents graves et le protéger par une cybersécurité solide. Le concept pousse la responsabilité vers l'amont, vers la poignée d'organisations capables d'entraîner des modèles de pointe, et il donne à l'écosystème plus large une fondation fiable sur laquelle bâtir.