IA digne de confiance

L'IA digne de confiance est une IA qui mérite une confiance justifiée : elle se comporte comme elle le devrait, respecte la loi et les valeurs humaines, et tient en conditions réelles plutôt qu'en laboratoire seulement.

Le mot « digne de confiance » fait un vrai travail ici. Il ne s'agit pas de savoir si les gens font effectivement confiance à un système, mais si cette confiance est fondée. Un système peut être populaire et indigne de confiance, ou techniquement solide mais mal expliqué. L'IA digne de confiance porte sur les caractéristiques sous-jacentes qui justifient la confiance.

Cela importe parce que la confiance est le goulot d'étranglement de l'adoption dans les contextes sérieux. Un hôpital, une banque ou une administration publique ne peut pas déployer une IA sur laquelle il ne peut compter. Définir concrètement ce que veut dire « digne de confiance » transforme un ressenti en un ensemble de propriétés vers lesquelles on peut bâtir et que l'on peut vérifier.

Deux cadres influents définissent ces propriétés, et il vaut la peine de les connaître précisément, car organisations et régulateurs y font directement référence.

La définition du HLEG de l'UE : licite, éthique, robuste

Le groupe d'experts de haut niveau sur l'IA de la Commission européenne (HLEG) a cadré l'IA digne de confiance autour de trois composantes qui devraient toutes être présentes tout au long du cycle de vie du système.

Licite. Le système respecte l'ensemble des lois et règlements applicables, de la protection des données à la non-discrimination en passant par les règles sectorielles.

Éthique. Le système respecte les principes et les valeurs éthiques, allant au-delà de la lettre de la loi pour honorer l'équité, l'autonomie et la prévention du préjudice.

Robuste. Le système est techniquement robuste et fiable, car même des systèmes bien intentionnés et licites peuvent causer un préjudice s'ils défaillent, se comportent de façon imprévisible ou sont facilement manipulés.

Le HLEG a ensuite développé ces composantes en sept exigences, incluant l'agentivité et la supervision humaines, la robustesse technique et la sûreté, la vie privée et la gouvernance des données, la transparence, la diversité et la non-discrimination, le bien-être sociétal et environnemental, et la responsabilité. Le cadrage en trois parties, licite, éthique, robuste, en est le résumé mémorable.

Les caractéristiques du NIST AI RMF

L'Institut national des normes et de la technologie des États-Unis (NIST), dans son cadre de gestion des risques de l'IA, définit l'IA digne de confiance par un ensemble de caractéristiques qu'un système devrait présenter. Ce sont :

• Valide et fiable. Le système fait ce qu'il est censé faire, de façon exacte et constante, dans les conditions qu'il rencontrera réellement.

• Sûr. Il ne conduit pas, dans des conditions définies, à des états qui mettent en danger la vie humaine, la santé, les biens ou l'environnement.

• Sécurisé et résilient. Il résiste aux attaques contradictoires et aux conditions inattendues, et se rétablit avec grâce lorsqu'un problème survient.

• Responsable et transparent. L'information sur le système est disponible pour les personnes qui en ont besoin, et la responsabilité de son comportement est claire.

• Explicable et interprétable. Ses sorties peuvent être expliquées, et les mécanismes qui les sous-tendent peuvent être compris à un niveau approprié.

• Respectueux de la vie privée. Il préserve l'autonomie, l'identité et la dignité humaines grâce à des pratiques de données saines.

• Équitable, avec gestion du biais nuisible. Il aborde l'égalité et l'équité, et gère activement le biais susceptible de causer un préjudice.

Le NIST prend soin de noter que ces caractéristiques impliquent des arbitrages. Pousser fort sur l'interprétabilité peut affecter l'exactitude ; resserrer la sécurité peut réduire la commodité. La fiabilité consiste à les équilibrer dans le contexte, et non à maximiser chacune isolément.

Comment l'IA digne de confiance est évaluée

Une définition n'aide que si l'on peut comparer un système à elle. L'évaluation de l'IA digne de confiance tend à combiner plusieurs types de preuves plutôt qu'un test unique.

Elle commence par la mise en correspondance des caractéristiques avec le système spécifique et son contexte. Un agent conversationnel digne de confiance et un modèle d'imagerie médicale digne de confiance ont besoin de preuves différentes, même si tous deux s'appuient sur les mêmes propriétés sous-jacentes.

Pour la validité et la fiabilité, les évaluateurs examinent les tests de performance dans des conditions réalistes, et pas seulement sur un jeu de test propre. Pour la sûreté et la sécurité, ils examinent les exercices d'équipe rouge, les tests contradictoires et l'analyse des défaillances. Pour l'équité, ils examinent les évaluations de biais par rapport à des groupes définis. Pour la transparence et l'explicabilité, ils examinent la documentation et la capacité du système à produire des explications compréhensibles.

Une grande partie de cela est consignée dans la documentation : fiches de modèle, documentation des données, évaluations des risques et relevés des décisions prises pendant le développement. Une revue ou un audit indépendant ajoute de la crédibilité, car l'auto-évaluation peut comporter des angles morts.

Enfin, la fiabilité n'est pas un tampon ponctuel. Les systèmes sont réévalués après des changements notables et surveillés en production, car la fiabilité, l'équité et la sécurité peuvent toutes s'éroder dans le temps à mesure que les conditions évoluent.

FAQ

Quelle est la différence entre les définitions du HLEG de l'UE et du NIST ?

Le HLEG de l'UE résume l'IA digne de confiance comme licite, éthique et robuste, développée en sept exigences. Le NIST AI RMF énumère sept caractéristiques : valide et fiable, sûre, sécurisée et résiliente, responsable et transparente, explicable et interprétable, respectueuse de la vie privée, et équitable avec gestion du biais nuisible. Elles se recoupent largement ; le cadrage de l'UE part de l'ancrage juridique et éthique, tandis que le NIST s'organise autour de caractéristiques système mesurables et d'arbitrages explicites.

L'IA digne de confiance est-elle la même chose que l'IA responsable ?

Elles sont étroitement liées et parfois employées de façon interchangeable. L'IA responsable met habituellement l'accent sur la pratique et les personnes : construire et exploiter l'IA de manière éthique et responsable. L'IA digne de confiance met l'accent sur les propriétés du système lui-même, les caractéristiques qui justifient la confiance. En pratique, les pratiques responsables sont la façon de produire des systèmes dignes de confiance.

Un système peut-il être digne de confiance sans être explicable ?

Cela dépend du contexte. Le NIST traite l'explicabilité et l'interprétabilité comme une caractéristique parmi plusieurs, et note des arbitrages. Pour des usages à faible enjeu, un système très exact mais moins interprétable peut être acceptable. Pour des décisions à fort enjeu touchant les droits ou la sécurité des personnes, l'absence d'explication mine généralement la fiabilité, quelle que soit l'exactitude.

Qui décide si une IA est digne de confiance ?

Il n'y a pas d'arbitre unique. Les développeurs évaluent leurs propres systèmes au regard de cadres comme le NIST ou les exigences du HLEG de l'UE, mais l'audit indépendant, la revue réglementaire et le jugement des déployeurs et des utilisateurs concernés contribuent tous. Pour les usages réglementés, la conformité aux exigences légales fait partie de la réponse.

Pourquoi le NIST met-il l'accent sur les arbitrages entre caractéristiques ?

Parce que les caractéristiques peuvent entrer en conflit. Maximiser l'interprétabilité peut réduire l'exactitude ; resserrer la sécurité peut réduire l'utilisabilité ; une minimisation agressive des données peut limiter la performance d'un modèle. Le NIST souligne que la fiabilité s'obtient en équilibrant les caractéristiques de façon appropriée au contexte, et non en cherchant à toutes les maximiser à la fois.

À quelle fréquence la fiabilité devrait-elle être réévaluée ?

Chaque fois que le système change de façon notable, comme un réentraînement, une nouvelle source de données ou un nouveau contexte de déploiement, et de manière continue par la surveillance. La fiabilité, l'équité et la sécurité peuvent se dégrader dans le temps à mesure que le monde s'éloigne des conditions pour lesquelles le système a été construit, donc une évaluation ponctuelle ne suffit pas.

Résumé

L'IA digne de confiance est une IA qui mérite la confiance, définie par les caractéristiques qui rendent justifié le fait de s'y fier, et non par le fait que les gens lui font ou non confiance. Le HLEG de l'UE la cadre comme licite, éthique et robuste, développée en sept exigences. Le NIST AI RMF la définit par sept caractéristiques : valide et fiable, sûre, sécurisée et résiliente, responsable et transparente, explicable et interprétable, respectueuse de la vie privée, et équitable avec gestion du biais nuisible. Les deux cadres soulignent que ces propriétés impliquent des arbitrages et doivent être équilibrées dans le contexte. Évaluer la fiabilité combine tests de performance, évaluation contradictoire et de biais, documentation, revue indépendante et surveillance continue, car la fiabilité est une propriété à maintenir, et non un tampon ponctuel.