Richtlinie zur Marktüberwachung nach Inverkehrbringen

1. Zweck

Diese Richtlinie legt fest, wie [Name der Organisation] KI-Systeme nach ihrer Bereitstellung in der Produktion überwacht. Die Marktüberwachung nach Inverkehrbringen erkennt Leistungsverschlechterungen, aufkommende Risiken und Compliance-Lücken, die bei Tests vor der Bereitstellung nicht erkennbar waren. Für Hochrisiko-KI-Systeme ist diese Überwachung eine gesetzliche Pflicht gemäß dem EU AI Act.

2. Geltungsbereich

Diese Richtlinie gilt für:

Die Überwachungstiefe ist proportional zur Risikoklassifizierung: Hochrisiko-Systeme haben die häufigsten und detailliertesten Überwachungsanforderungen.

• Alle in der Produktion bereitgestellten KI-Systeme, unabhängig von der Risikoklassifizierung.
• Sowohl intern entwickelte als auch Drittanbieter-KI-Systeme.
• Der Überwachungszeitraum beginnt mit der Bereitstellung und dauert bis zur Stilllegung des Systems.

3. Überwachungsplan

Jedes KI-System muss einen dokumentierten Überwachungsplan haben, der festlegt:

Für Hochrisiko-Systeme ist der Überwachungsplan Teil der technischen Dokumentation, die gemäß EU AI Act Anhang IV erforderlich ist.

• Welche Metriken verfolgt werden und deren akzeptable Schwellenwerte.
• Wie Daten erhoben werden (automatisiertes Monitoring, Nutzerfeedback, Betreiberberichte).
• Wie häufig Metriken überprüft werden (kontinuierlich, täglich, wöchentlich, monatlich, vierteljährlich).
• Wer für die Überprüfung der Ergebnisse und das Ergreifen von Maßnahmen verantwortlich ist.
• Was eine Revalidierung oder Vorfall-Eskalation auslöst.

4. Was überwacht werden soll

Platzhaltertext. Füllen Sie mit der Sprache Ihrer Organisation für 4. Was überwacht werden soll aus.

4.1 Leistungskennzahlen

• Genauigkeit, Präzision, Recall oder gleichwertige Metriken, verfolgt gegen Bereitstellungs-Baselines.
• Fehlerraten, Ausfallraten und Verfügbarkeit.
• Latenz und Durchsatz unter tatsächlicher Produktionslast.
• Bewertung der Ausgabequalität (bei generativer KI: Halluzinationsrate, Relevanzwerte).

4.2 Drift-Erkennung

• Eingabedatenverteilung verglichen mit Trainingsdatenverteilung (Feature-Drift).
• Ausgabeverteilungsänderungen, die auf eine Modellverhaltensänderung hindeuten können (Concept-Drift).
• Änderungen in Nutzerinteraktionsmustern, die darauf hindeuten können, dass sich der Betriebskontext geändert hat.

4.3 Bias und Fairness

• Fairness-Metriken, die im Zeitverlauf über geschützte Gruppen verfolgt werden.
• Neue Bias-Muster, die aus Produktionsdaten entstehen, aber in Testdaten nicht vorhanden waren.
• Feedback von Nutzern oder betroffenen Personen, das auf diskriminierende Ergebnisse hinweist.

4.4 Sicherheit

• Auslöseraten von Leitplanken (blockierte Anfragen, maskierte Inhalte, Injektionsversuche).
• Anomale Nutzungsmuster, die auf adversariale Aktivitäten hindeuten können.
• Schwachstellenbekanntmachungen, die Modellabhängigkeiten oder Infrastruktur betreffen.

4.5 Regulatorische und kontextuelle Änderungen

• Neue Vorschriften oder Leitlinien, die den Betriebsbereich des Systems betreffen.
• Änderungen des Betriebskontexts des Systems, die dessen Risikoprofil verändern können.
• Anbieteränderungen (Modellaktualisierungen, Unterauftragsverarbeiter-Änderungen, Änderungen der Nutzungsbedingungen).

5. Überwachungsfrequenz

6. Eskalationsauslöser

Die folgenden Bedingungen lösen eine Eskalation von routinemäßiger Überwachung zu aktiver Reaktion aus:

Eskalierte Probleme folgen der KI-Vorfallreaktionsrichtlinie für Triage und Lösung.

• Leistungskennzahl fällt unter den definierten Schwellenwert.
• Drift über die im Überwachungsplan definierte Toleranz hinaus erkannt.
• Bias-Metrik überschreitet die akzeptable Grenze.
• Auslöserate der Leitplanken steigt um mehr als 50 % gegenüber der Baseline.
• Nutzerbeschwerde oder Feedback, das auf Schaden oder Diskriminierung hinweist.
• Anbieterbenachrichtigung über wesentliche Modelländerung.
• Regulatorische Änderung, die den Compliance-Status des Systems betrifft.

7. Überwachungszyklen

Für Hochrisiko-Systeme ist die Überwachung in wiederkehrende Zyklen strukturiert:

• Jeder Zyklus beinhaltet eine strukturierte Überprüfung aller Überwachungsdimensionen.
• Der zugewiesene Stakeholder beantwortet eine Reihe von Überwachungsfragen und erfasst Feststellungen.
• Feststellungen werden in einem Überwachungsbericht dokumentiert.
• Markierte Bedenken lösen eine sofortige Eskalation an den KI-Governance-Verantwortlichen aus.
• Abgeschlossene Zyklen erstellen einen PDF-Bericht für den Audit-Trail.

8. Betreiber-Feedback

EU AI Act Artikel 72 verlangt, dass das Überwachungssystem Daten "von Betreibern bereitgestellt oder aus anderen Quellen erhoben" sammelt. Die Organisation muss:

• Einen Kanal einrichten, über den Betreiber Probleme, Feedback und beobachtete Schwierigkeiten melden können.
• Betreiber-Feedback als Teil des Überwachungszyklus überprüfen.
• Auf von Betreibern gemeldete Probleme innerhalb der im Überwachungsplan definierten Reaktionszeiten reagieren.

9. Rollen und Verantwortlichkeiten

10. Regulatorische Ausrichtung

• EU AI Act: Artikel 72 (Marktüberwachungssystem und -plan nach Inverkehrbringen), Artikel 73 (Meldung schwerwiegender Vorfälle), Anhang IV (Überwachungsplan in der technischen Dokumentation).
• ISO/IEC 42001: Abschnitt 9.1 (Überwachung, Messung, Analyse und Bewertung).
• NIST AI RMF: MANAGE-Funktion (MG-1: Risikomaßnahmen umgesetzt, MG-2: Bereitstellungsentscheidungen überprüft).

11. Überprüfung

Diese Richtlinie wird jährlich überprüft. Einzelne Überwachungspläne werden überprüft, wenn sich Systeme ändern, wenn Überwachungsergebnisse auf Unzulänglichkeiten des Plans hinweisen oder wenn die EU-Kommission die offizielle Überwachungsplanvorlage veröffentlicht (erwartet bis 2. Februar 2026).

Dokumentenlenkung