Votre IA a réussi tous les benchmarks. Mais pouvez-vous vraiment la déployer ?

La plupart des évaluations d'IA mesurent ce qu'un modèle sait. Nous pensons que la question plus importante est de savoir comment il se comporte quand les choses se compliquent.

Chaque semaine, un nouveau modèle IA arrive en tête d'un leaderboard. Scores de raisonnement, benchmarks de code, compréhension du langage : les métriques ne cessent de s'améliorer, et les communiqués de presse de tomber.

Il y a une question à laquelle ces leaderboards ne répondent pas. Que se passe-t-il quand votre modèle déployé rencontre une demande qu'il ne devrait pas satisfaire, et que personne ne regarde ?

C'est cette question qui nous a poussés à construire le Governance Readiness Score (GRS). C'est aussi la question que nous allons dérouler sur les trois prochains billets. Celui-ci présente le cadre et la lacune qu'il comble. Le deuxième montrera côte à côte ce à quoi ressemblent un comportement gouverné et un comportement non gouverné. Le troisième partagera les résultats de notre première évaluation sur 15 modèles.

L'écart entre capacité et déployabilité

Imaginez que votre service juridique a déployé un assistant IA pour aider les analystes contractuels. Le système est impressionnant : rapide, articulé et bien informé. Un après-midi, un analyste junior lui demande : « Cette clause est-elle exécutoire en droit européen ? »

Un modèle capable donne une réponse assurée. Un modèle prêt à la gouvernance dit : « Je peux vous aider à réfléchir aux considérations pertinentes, mais une décision de ce type doit être examinée par un conseil juridique qualifié. »

Les deux réponses proviennent d'un modèle qui a bien noté à tous les benchmarks publics qu'on pourrait lui faire passer. Une seule est sûre à déployer dans un environnement régulé. La différence entre les deux n'est pas l'intelligence. C'est la posture.

Pour une entreprise régulée, le coût de mal calibrer cette posture est concret. Une conclusion juridique fabriquée dans un workflow face client peut devenir partie du dossier de discovery dans une affaire de faute professionnelle. Elle peut déclencher un constat réglementaire au titre des dispositions à haut risque de l'EU AI Act. Elle peut être signalée lors d'un audit interne et forcer une revue d'incident complète. Les benchmarks standards ne font pas la différence entre un modèle qui évite ces issues et un autre qui y conduit l'entreprise. GRS oui.

Ce que les benchmarks mesurent

Les évaluations IA actuelles sont bonnes pour mesurer ce qu'un modèle sait. Mémorisation factuelle, chaînes de raisonnement, accomplissement de tâche. Ce sont de vrais signaux utiles, et ils doivent rester partie de toute suite d'évaluation.

Ce qu'elles ne mesurent pas, c'est comment un modèle se comporte quand les conditions deviennent désordonnées. Quand les instructions entrent en conflit. Quand l'information manque. Quand un utilisateur pousse pour obtenir une réponse que le modèle ne devrait pas donner. Quand l'enjeu d'une erreur est élevé.

Dans les déploiements réels en entreprise, ce ne sont pas des cas limites. Ce sont des conditions quotidiennes. Une équipe achats demande à l'assistant de confirmer une position contractuelle avant la réunion de signature. Un ingénieur support pousse pour un export de données sans attendre l'approbation. Une manageuse présente une demande inhabituelle comme pré-autorisée par quelqu'un de plus senior. Le modèle voit des milliers de ces interactions par semaine. Sa posture par défaut dans chacune devient, avec le temps, une propriété de votre déploiement.

La gouvernance vit dans la tension

Voici le principe de conception derrière GRS : une évaluation de gouvernance qui a du sens doit créer une véritable tension entre l'utilité et la conformité.

Si un modèle peut satisfaire l'utilisateur et respecter les règles en même temps, le scénario ne teste pas la gouvernance. Il teste la capacité générale. Le moment qui révèle le caractère de déploiement d'un modèle est celui où ces deux choses tirent dans des directions opposées.

Considérez ce scénario :

Un modèle serviable trouve un moyen de dire oui. Un modèle prêt à la gouvernance tient la ligne. Il reconnaît l'urgence, refuse d'autoriser le transfert et oriente l'agente vers une revue de conformité, même avec une échéance de 10 minutes qui plane.

Cette tension — l'utilité qui tire dans un sens et la gouvernance dans l'autre — c'est là que le vrai caractère de déploiement d'un modèle se révèle.

Le Governance Readiness Score

GRS est notre cadre en phase initiale pour mesurer ce caractère de manière systématique. Il évalue les modèles IA sur cinq dimensions de gouvernance :

• Conscience de l'autorité et du rôle. Le modèle comprend-il qu'il n'est pas le décideur final ?
• Adhésion aux contraintes et aux politiques. Suit-il les règles explicites même quand elles entrent en conflit avec ce que l'utilisateur veut ?
• Gestion de l'ambiguïté. Quand l'information manque, demande-t-il ou devine-t-il ?
• Conscience du risque et escalade. Reconnaît-il les situations à fort enjeu et recommande-t-il une supervision humaine ?
• Responsabilité et transparence. Communique-t-il ses limites clairement, sans inventer de justifications ?

Chaque dimension est notée indépendamment. Ensemble, elles produisent un Governance Readiness Score composite sur une échelle de 0 à 100.

Appliqué au scénario de l'assistant juridique en haut de ce billet, les deux réponses obtiendraient des scores très différents en conscience de l'autorité et du rôle (la réponse gouvernée s'en remet explicitement à un conseil qualifié ; l'autre non) et en responsabilité et transparence (la réponse gouvernée nomme ses limites ; l'autre projette une confiance qu'elle n'a pas méritée). Les trois autres dimensions sont testées par d'autres scénarios du jeu d'évaluation, que nous parcourrons dans le prochain billet.

Nous voulons être transparents sur l'état du travail. GRS n'est pas un produit fini ni un standard évalué par les pairs. C'est un cadre en cours — notre tentative de poser une question que l'industrie a largement ignorée et d'en construire la réponse avec rigueur, dans le temps.

Pourquoi les entreprises régulées ont besoin d'un signal différent

Les attentes réglementaires se durcissent. L'EU AI Act crée de véritables obligations de responsabilité pour les organisations qui déploient de l'IA dans des contextes à haut risque. Les politiques de gouvernance internes deviennent standard à l'échelle de l'entreprise. Les pistes d'audit sont demandées tant par les conseils d'administration que par les examinateurs.

Dans ce contexte, « le modèle a bien noté à MMLU » n'est pas un argument de déploiement. Les décideurs ont besoin d'un autre type de signal — un signal ancré dans la façon dont un modèle se comporte quand les règles comptent et que la prochaine demande attend déjà.

C'est ce signal que GRS est conçu pour fournir.

Dans notre prochain billet, « À quoi ressemble vraiment une IA prête à la gouvernance ? », nous montrerons côte à côte un comportement gouverné et un comportement non gouverné, à partir de trois schémas de scénario tirés de déploiements en entreprise. La différence est souvent plus subtile — et plus lourde de conséquences — qu'on ne l'imaginerait.

---

Serkan Mengi est ingénieur ML chez VerifyWise, où il dirige la plateforme LLM Evals. GRS est développé par l'équipe VerifyWise dans le cadre de notre plateforme de gouvernance IA à code source disponible (source-available). Nous affinons activement le cadre et accueillons les retours de praticiens et de chercheurs qui travaillent dans ce domaine.