1. Zweck
Diese Richtlinie etabliert ein systematisches Framework für das Management von Risiken im Zusammenhang mit KI-Systemen über deren gesamten Lebenszyklus. Sie bestätigt, dass KI-Initiativen mit dem Risikoappetit der Organisation übereinstimmen und regulatorische Anforderungen einschließlich des EU AI Act, ISO/IEC 42001 und des NIST AI Risk Management Framework erfüllen.
2. Geltungsbereich
Diese Richtlinie gilt für:
- Alle KI- und Machine-Learning-Systeme in Entwicklung, Testing oder Produktion.
- Alle Drittanbieter-KI-Dienste und Anbieterlösungen.
- Alle generativen KI-Anwendungen und großen Sprachmodelle.
- Alle KI-gestützten Automatisierungs- und Entscheidungsunterstützungssysteme.
- Alle Personen, die an der Konzeption, Entwicklung, Bereitstellung oder Aufsicht von KI beteiligt sind.
3. Risikotaxonomie
KI-Risiken werden in sechs Dimensionen kategorisiert. Jedes identifizierte Risiko muss mit seiner primären Dimension versehen werden:
| Dimension | Beschreibung | Beispiele |
|---|---|---|
| Technisch | Risiken aus Modellverhalten und -leistung | Halluzinationen, Leistungsverschlechterung, adversariale Angriffe, Data Poisoning, Modelldrift |
| Operativ | Risiken aus Bereitstellung und Betrieb | Integrationsfehler, unzureichende Überwachung, Bereitstellungsfehler, Kapazitätsplanung |
| Ethisch | Risiken aus gesellschaftlichen und individuellen Auswirkungen | Bias und Diskriminierung, Fairness-Verletzungen, mangelnde Transparenz, unbeabsichtigter sozialer Schaden |
| Compliance | Risiken aus regulatorischen und rechtlichen Verpflichtungen | Regulatorische Nichteinhaltung, Datenschutzverletzungen, unzureichende Dokumentation, versäumte Meldefristen |
| Sicherheit | Risiken aus adversarialen und unautorisierten Aktivitäten | Prompt Injection, Modelldiebstahl, Datenexfiltration, Lieferkettenkompromittierung, unbefugter Zugriff |
| Reputation | Risiken aus der Wahrnehmung durch Stakeholder | Vertrauensverlust in der Öffentlichkeit, negative Medienberichterstattung, Kundenrückschlag, Partnerbedenken |
4. Risikoklassifizierung
Alle KI-Systeme müssen gemäß den Risikostufen des EU AI Act vor der Entwicklung oder Beschaffung klassifiziert werden:
| Risikostufe | Kriterien | Governance-Anforderungen |
|---|---|---|
| Inakzeptabel | Verboten gemäß EU AI Act Art. 5 (Social Scoring, unterschwellige Manipulation, Ausnutzung von Vulnerabilitäten, biometrische Echtzeit-Identifikation in öffentlichen Räumen ohne Genehmigung) | Verboten. Darf weder entwickelt noch bereitgestellt werden. |
| Hoch | EU AI Act Anhang III Kategorien: Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, wesentliche Dienstleistungen, Strafverfolgung, Migration, Justiz. Auch: Systeme, die Gesundheit, Sicherheit oder Grundrechte betreffen. | Vollständige Risikobewertung, Konformitätsbewertung, GFFA, Post-Market-Monitoring, Vorfallreaktionsplan, CE-Kennzeichnung. |
| Begrenzt | Systeme mit Transparenzpflichten: Chatbots, Deepfakes, Emotionserkennung, biometrische Kategorisierung. | Transparenzangaben, Nutzerbenachrichtigung. |
| Minimal | Anwendungen mit geringer Auswirkung und vernachlässigbarem Risiko. | Registrierung im KI-Inventar, Basisdokumentation. |
5. Risikobewertungsprozess
Risikobewertungen folgen einem fünfphasigen Prozess, der am NIST AI RMF ausgerichtet ist:
Phase 1: Systemidentifikation (MAP)
- Zweck, vorgesehene Nutzer und Betriebskontext des KI-Systems dokumentieren.
- System gemäß Abschnitt 4 klassifizieren.
- Stakeholder identifizieren, die vom System betroffen sein könnten.
- System im KI-Inventar registrieren.
Phase 2: Risikoidentifikation (MAP)
- Risiken über alle sechs Dimensionen anhand der Taxonomie in Abschnitt 3 identifizieren.
- Risikoidentifikationsfragebögen, Bedrohungsmodellierung und Expertenüberprüfung nutzen.
- Risiken in jeder Lebenszyklusphase berücksichtigen (Design, Daten, Training, Bereitstellung, Betrieb, Stilllegung).
- Jedes Risiko im Risikoregister mit Beschreibung, Dimension und betroffenen Stakeholdern dokumentieren.
Phase 3: Risikobewertung und -bewertung (MEASURE)
Jedes Risiko wird anhand einer 5x5-Wahrscheinlichkeits-Auswirkungs-Matrix bewertet:
| Punktzahl | Wahrscheinlichkeit | Auswirkung |
|---|---|---|
| 1 | Selten (weniger als 5 % Wahrscheinlichkeit) | Vernachlässigbar (kein messbarer Effekt) |
| 2 | Unwahrscheinlich (5-20 %) | Gering (begrenzt, behebbar) |
| 3 | Möglich (20-50 %) | Mäßig (spürbarer Effekt, handhabbar) |
| 4 | Wahrscheinlich (50-80 %) | Erheblich (signifikanter Schaden, schwer zu beheben) |
| 5 | Fast sicher (mehr als 80 %) | Schwerwiegend (katastrophaler Schaden, regulatorische Maßnahmen, Grundrechtsverletzung) |
Risikobewertung = Wahrscheinlichkeit x Auswirkung (Bereich 1-25)
| Punktebereich | Risikostufe | Erforderliche Maßnahme |
|---|---|---|
| 1-4 | Niedrig | Mit Dokumentation akzeptieren. Im Rahmen routinemäßiger Überprüfungen überwachen. |
| 5-9 | Mittel | Mindern. Kontrollen implementieren und Behebung verfolgen. Genehmigung des Modellverantwortlichen. |
| 10-15 | Hoch | Dringend mindern. Überprüfung durch KI-Governance-Verantwortlichen. Bereitstellung ohne genehmigten Minderungsplan nicht möglich. |
| 16-25 | Kritisch | An KI-Governance-Ausschuss eskalieren. System darf ohne Ausschussgenehmigung und verifizierte Minderungsmaßnahmen nicht fortfahren. |
Phase 4: Minderungsplanung (MANAGE)
Für jedes Risiko, das als Mittel oder höher bewertet wird, ist eine Behandlungsstrategie zu wählen:
| Strategie | Anwendung | Beispiel |
|---|---|---|
| Vermeiden | Risiko ist inakzeptabel und keine Minderung kann es ausreichend reduzieren | System in diesem Kontext nicht bereitstellen |
| Mindern | Risiko kann durch Kontrollen auf ein akzeptables Niveau reduziert werden | Bias-Tests hinzufügen, Leitplanken implementieren, menschliche Überprüfung ergänzen |
| Übertragen | Risiko kann mit einem Dritten geteilt werden | Versicherung, vertragliche Haftungszuweisung mit Anbieter |
| Akzeptieren | Restrisiko liegt nach Minderung innerhalb des Appetits | Akzeptanz mit Begründung und Überprüfungsdatum dokumentieren |
Jede Minderungsmaßnahme muss einen Verantwortlichen, eine Frist und eine definierte Restrisikobewertung nach Umsetzung haben.
Phase 5: Kontinuierliche Überwachung (MANAGE)
- Risikoindikatoren in der Produktion überwachen (Leistungskennzahlen, Drift-Warnungen, Vorfallberichte).
- Hochrisiko-Systeme vierteljährlich, mittleres Risiko halbjährlich, niedriges Risiko jährlich überprüfen.
- Bei wesentlichen Änderungen neu bewerten (Modellupdate, Datenänderung, Kontextänderung, regulatorische Änderung).
- Risikotrends über das Portfolio verfolgen, um systemische Probleme zu identifizieren.
6. Bewertungsauslöser
Risikobewertungen sind zu folgenden Zeitpunkten erforderlich:
- Initial: Während der Projektaufnahme vor Beginn der Entwicklung.
- Vor Bereitstellung: Nach Entwicklung und Testing, vor der Produktivfreigabe.
- Änderungsbedingt: Bei signifikanten Änderungen an Modell, Daten oder Kontext.
- Vorfallbedingt: Nach jedem KI-bezogenen Vorfall oder Beinahe-Vorfall.
- Periodisch: Vierteljährlich für Hochrisiko, halbjährlich für Mittel, jährlich für Niedrig.
7. Risikoregister
Alle identifizierten Risiken werden im KI-Risikoregister mit folgenden Feldern erfasst:
- Risiko-ID und Beschreibung.
- Risikodimension (aus der Taxonomie).
- Zugehöriges KI-System und Modellverantwortlicher.
- Wahrscheinlichkeitsbewertung, Auswirkungsbewertung und Risikobewertung.
- Behandlungsstrategie und spezifische Minderungsmaßnahmen.
- Minderungsverantwortlicher und Frist.
- Restrisikobewertung nach Minderung.
- Status (offen, in Behandlung, akzeptiert, geschlossen).
- Letztes Überprüfungsdatum und nächstes Überprüfungsdatum.
8. Drittanbieter-KI-Risiko
Drittanbieter-KI-Systeme tragen zusätzliche Risiken, die bewertet werden müssen:
Drittanbieter-Risikobewertungen müssen vor Anbieteraktivierung abgeschlossen und jährlich oder bei wesentlichen Änderungen des Anbieters aktualisiert werden.
- Sicherheitslage und Zertifizierungen des Anbieters (SOC 2, ISO 27001).
- Trainingsdaten-Governance-Praktiken und Transparenz.
- Häufigkeit von Modellaktualisierungen und Änderungsbenachrichtigungsprozess.
- Datenstandort und Unterauftragsverarbeiter-Inventar.
- SLAs für Vorfallmeldungen und Eskalationswege.
- Auditrecht und vertragliche Haftungszuweisung.
- Anbieter-Lock-in-Risiko und Datenportabilität.
9. Eskalation
- Kritische Risiken (16-25): Sofort an KI-Governance-Ausschuss eskalieren. Systembereitstellung wird bis zur Ausschussentscheidung blockiert.
- Hohe Risiken (10-15): Innerhalb von 48 Stunden an KI-Governance-Verantwortlichen eskalieren. Bereitstellung erfordert genehmigten Minderungsplan.
- Überfällige Minderungsmaßnahmen: Wenn eine Minderungsmaßnahme ihre Frist ohne Abschluss überschreitet, an KI-Governance-Verantwortlichen eskalieren.
- Systemische Risiken: Wenn mehrere Systeme dasselbe Risikomuster aufweisen, für eine Portfolio-Level-Reaktion an den Ausschuss eskalieren.
10. Rollen und Verantwortlichkeiten
| Rolle | Risikomanagement-Verantwortlichkeiten |
|---|---|
| Modellverantwortlicher | Führt Risikobewertungen durch, pflegt Risikoregistereinträge, implementiert Minderungsmaßnahmen, überwacht Restrisiken. |
| KI-Governance-Verantwortlicher | Überprüft Bewertungen, verfolgt Portfolio-Risikolage, eskaliert an Ausschuss, koordiniert Risikoberichterstattung. |
| KI-Governance-Ausschuss | Legt Risikoappetit fest, genehmigt kritische Risikoakzeptanz, löst Eskalationen, überprüft vierteljährlichen Risikobericht. |
| Sicherheit | Bewertet Risiken der Sicherheitsdimension, führt Bedrohungsmodellierung durch, überprüft Sicherheitslage von Anbietern. |
| Recht / Compliance | Bewertet Risiken der Compliance-Dimension, berät zu regulatorischen Verpflichtungen, überprüft Drittanbieterverträge. |
11. Regulatorische Ausrichtung
- EU AI Act: Artikel 9 (Risikomanagementsystem für Hochrisiko-KI), Artikel 5 (verbotene Praktiken), Artikel 6/Anhang III (Hochrisiko-Klassifizierung).
- ISO/IEC 42001: Abschnitt 6.1 (Maßnahmen zum Umgang mit Risiken und Chancen), Anhang B (KI-Risikoquellen).
- NIST AI RMF: MAP (Kontext und Risikoidentifikation), MEASURE (Risikoanalyse), MANAGE (Risikoreaktion und -überwachung).
- ISO 31000: Risikomanagement-Grundsätze und -Prozess.
12. Überprüfung
Diese Richtlinie wird jährlich überprüft. Das Risikoregister wird vierteljährlich vom KI-Governance-Verantwortlichen überprüft und dem KI-Governance-Ausschuss vorgelegt. Wesentliche Änderungen der Risikomethodik erfordern die Genehmigung des Ausschusses.
Dokumentenlenkung
| Feld | Wert |
|---|---|
| Richtlinienverantwortlicher | [KI-Governance-Verantwortlicher] |
| Genehmigt durch | [KI-Governance-Ausschuss] |
| Inkrafttreten | [Datum] |
| Nächste Überprüfung | [Datum + 12 Monate] |
| Version | 1.0 |
| Klassifizierung | Intern |