Richtlinie zur Marktüberwachung nach Inverkehrbringen

1. Zweck

Diese Richtlinie legt fest, wie [Name der Organisation] KI-Systeme nach ihrer Bereitstellung in der Produktion überwacht. Die Marktüberwachung nach Inverkehrbringen erkennt Leistungsverschlechterungen, aufkommende Risiken und Compliance-Lücken, die bei Tests vor der Bereitstellung nicht erkennbar waren. Für Hochrisiko-KI-Systeme ist diese Überwachung eine gesetzliche Pflicht gemäß dem EU AI Act.

2. Geltungsbereich

Diese Richtlinie gilt für:

Die Überwachungstiefe ist proportional zur Risikoklassifizierung: Hochrisiko-Systeme haben die häufigsten und detailliertesten Überwachungsanforderungen.

Alle in der Produktion bereitgestellten KI-Systeme, unabhängig von der Risikoklassifizierung.
Sowohl intern entwickelte als auch Drittanbieter-KI-Systeme.
Der Überwachungszeitraum beginnt mit der Bereitstellung und dauert bis zur Stilllegung des Systems.

3. Überwachungsplan

Jedes KI-System muss einen dokumentierten Überwachungsplan haben, der festlegt:

Für Hochrisiko-Systeme ist der Überwachungsplan Teil der technischen Dokumentation, die gemäß EU AI Act Anhang IV erforderlich ist.

Welche Metriken verfolgt werden und deren akzeptable Schwellenwerte.
Wie Daten erhoben werden (automatisiertes Monitoring, Nutzerfeedback, Betreiberberichte).
Wie häufig Metriken überprüft werden (kontinuierlich, täglich, wöchentlich, monatlich, vierteljährlich).
Wer für die Überprüfung der Ergebnisse und das Ergreifen von Maßnahmen verantwortlich ist.
Was eine Revalidierung oder Vorfall-Eskalation auslöst.

4. Was überwacht werden soll

Platzhaltertext. Füllen Sie mit der Sprache Ihrer Organisation für 4. Was überwacht werden soll aus.

4.1 Leistungskennzahlen

Genauigkeit, Präzision, Recall oder gleichwertige Metriken, verfolgt gegen Bereitstellungs-Baselines.
Fehlerraten, Ausfallraten und Verfügbarkeit.
Latenz und Durchsatz unter tatsächlicher Produktionslast.
Bewertung der Ausgabequalität (bei generativer KI: Halluzinationsrate, Relevanzwerte).

4.2 Drift-Erkennung

Eingabedatenverteilung verglichen mit Trainingsdatenverteilung (Feature-Drift).
Ausgabeverteilungsänderungen, die auf eine Modellverhaltensänderung hindeuten können (Concept-Drift).
Änderungen in Nutzerinteraktionsmustern, die darauf hindeuten können, dass sich der Betriebskontext geändert hat.

4.3 Bias und Fairness

Fairness-Metriken, die im Zeitverlauf über geschützte Gruppen verfolgt werden.
Neue Bias-Muster, die aus Produktionsdaten entstehen, aber in Testdaten nicht vorhanden waren.
Feedback von Nutzern oder betroffenen Personen, das auf diskriminierende Ergebnisse hinweist.

4.4 Sicherheit

Auslöseraten von Leitplanken (blockierte Anfragen, maskierte Inhalte, Injektionsversuche).
Anomale Nutzungsmuster, die auf adversariale Aktivitäten hindeuten können.
Schwachstellenbekanntmachungen, die Modellabhängigkeiten oder Infrastruktur betreffen.

4.5 Regulatorische und kontextuelle Änderungen

Neue Vorschriften oder Leitlinien, die den Betriebsbereich des Systems betreffen.
Änderungen des Betriebskontexts des Systems, die dessen Risikoprofil verändern können.
Anbieteränderungen (Modellaktualisierungen, Unterauftragsverarbeiter-Änderungen, Änderungen der Nutzungsbedingungen).

5. Überwachungsfrequenz

6. Eskalationsauslöser

Die folgenden Bedingungen lösen eine Eskalation von routinemäßiger Überwachung zu aktiver Reaktion aus:

Eskalierte Probleme folgen der KI-Vorfallreaktionsrichtlinie für Triage und Lösung.

Leistungskennzahl fällt unter den definierten Schwellenwert.
Drift über die im Überwachungsplan definierte Toleranz hinaus erkannt.
Bias-Metrik überschreitet die akzeptable Grenze.
Auslöserate der Leitplanken steigt um mehr als 50 % gegenüber der Baseline.
Nutzerbeschwerde oder Feedback, das auf Schaden oder Diskriminierung hinweist.
Anbieterbenachrichtigung über wesentliche Modelländerung.
Regulatorische Änderung, die den Compliance-Status des Systems betrifft.

7. Überwachungszyklen

Für Hochrisiko-Systeme ist die Überwachung in wiederkehrende Zyklen strukturiert:

Jeder Zyklus beinhaltet eine strukturierte Überprüfung aller Überwachungsdimensionen.
Der zugewiesene Stakeholder beantwortet eine Reihe von Überwachungsfragen und erfasst Feststellungen.
Feststellungen werden in einem Überwachungsbericht dokumentiert.
Markierte Bedenken lösen eine sofortige Eskalation an den KI-Governance-Verantwortlichen aus.
Abgeschlossene Zyklen erstellen einen PDF-Bericht für den Audit-Trail.

8. Betreiber-Feedback

EU AI Act Artikel 72 verlangt, dass das Überwachungssystem Daten "von Betreibern bereitgestellt oder aus anderen Quellen erhoben" sammelt. Die Organisation muss:

Einen Kanal einrichten, über den Betreiber Probleme, Feedback und beobachtete Schwierigkeiten melden können.
Betreiber-Feedback als Teil des Überwachungszyklus überprüfen.
Auf von Betreibern gemeldete Probleme innerhalb der im Überwachungsplan definierten Reaktionszeiten reagieren.

9. Rollen und Verantwortlichkeiten

| Rolle | Überwachungs-Verantwortlichkeiten |

| Modellverantwortlicher | Pflegt den Überwachungsplan, überprüft Metriken, reagiert auf Warnungen, leitet Revalidierung ein. |

| KI-Governance-Verantwortlicher | Verfolgt Überwachungs-Compliance über das Portfolio, überprüft Eskalationen, koordiniert Berichterstattung. |

| Sicherheit | Überwacht auf adversariale Aktivitäten, überprüft Leitplanken-Auslösemuster. |

| KI-Governance-Ausschuss | Überprüft vierteljährliche Überwachungszusammenfassung für Hochrisiko-Systeme, genehmigt Änderungen an Überwachungsplänen. |

10. Regulatorische Ausrichtung

EU AI Act: Artikel 72 (Marktüberwachungssystem und -plan nach Inverkehrbringen), Artikel 73 (Meldung schwerwiegender Vorfälle), Anhang IV (Überwachungsplan in der technischen Dokumentation).
ISO/IEC 42001: Abschnitt 9.1 (Überwachung, Messung, Analyse und Bewertung).
NIST AI RMF: MANAGE-Funktion (MG-1: Risikomaßnahmen umgesetzt, MG-2: Bereitstellungsentscheidungen überprüft).

11. Überprüfung

Diese Richtlinie wird jährlich überprüft. Einzelne Überwachungspläne werden überprüft, wenn sich Systeme ändern, wenn Überwachungsergebnisse auf Unzulänglichkeiten des Plans hinweisen oder wenn die EU-Kommission die offizielle Überwachungsplanvorlage veröffentlicht (erwartet bis 2. Februar 2026).

Dokumentenlenkung

| Feld | Wert |

| Richtlinienverantwortlicher | [KI-Governance-Verantwortlicher] |

| Genehmigt durch | [KI-Governance-Ausschuss] |

| Inkrafttreten | [Datum] |

| Nächste Überprüfung | [Datum + 12 Monate] |

| Version | 1.0 |

| Klassifizierung | Intern |