Zurück zu Richtlinienvorlagen
Richtlinie 06 von 15

KI-Risikomanagement-Richtlinie

Definiert, wie KI-Risiken in der gesamten Organisation identifiziert, bewertet, bewertet, gemindert, überwacht und eskaliert werden.

1. Zweck

Diese Richtlinie etabliert ein systematisches Framework für das Management von Risiken im Zusammenhang mit KI-Systemen über deren gesamten Lebenszyklus. Sie bestätigt, dass KI-Initiativen mit dem Risikoappetit der Organisation übereinstimmen und regulatorische Anforderungen einschließlich des EU AI Act, ISO/IEC 42001 und des NIST AI Risk Management Framework erfüllen.

2. Geltungsbereich

Diese Richtlinie gilt für:

  • Alle KI- und Machine-Learning-Systeme in Entwicklung, Testing oder Produktion.
  • Alle Drittanbieter-KI-Dienste und Anbieterlösungen.
  • Alle generativen KI-Anwendungen und großen Sprachmodelle.
  • Alle KI-gestützten Automatisierungs- und Entscheidungsunterstützungssysteme.
  • Alle Personen, die an der Konzeption, Entwicklung, Bereitstellung oder Aufsicht von KI beteiligt sind.

3. Risikotaxonomie

KI-Risiken werden in sechs Dimensionen kategorisiert. Jedes identifizierte Risiko muss mit seiner primären Dimension versehen werden:

DimensionBeschreibungBeispiele
TechnischRisiken aus Modellverhalten und -leistungHalluzinationen, Leistungsverschlechterung, adversariale Angriffe, Data Poisoning, Modelldrift
OperativRisiken aus Bereitstellung und BetriebIntegrationsfehler, unzureichende Überwachung, Bereitstellungsfehler, Kapazitätsplanung
EthischRisiken aus gesellschaftlichen und individuellen AuswirkungenBias und Diskriminierung, Fairness-Verletzungen, mangelnde Transparenz, unbeabsichtigter sozialer Schaden
ComplianceRisiken aus regulatorischen und rechtlichen VerpflichtungenRegulatorische Nichteinhaltung, Datenschutzverletzungen, unzureichende Dokumentation, versäumte Meldefristen
SicherheitRisiken aus adversarialen und unautorisierten AktivitätenPrompt Injection, Modelldiebstahl, Datenexfiltration, Lieferkettenkompromittierung, unbefugter Zugriff
ReputationRisiken aus der Wahrnehmung durch StakeholderVertrauensverlust in der Öffentlichkeit, negative Medienberichterstattung, Kundenrückschlag, Partnerbedenken

4. Risikoklassifizierung

Alle KI-Systeme müssen gemäß den Risikostufen des EU AI Act vor der Entwicklung oder Beschaffung klassifiziert werden:

RisikostufeKriterienGovernance-Anforderungen
InakzeptabelVerboten gemäß EU AI Act Art. 5 (Social Scoring, unterschwellige Manipulation, Ausnutzung von Vulnerabilitäten, biometrische Echtzeit-Identifikation in öffentlichen Räumen ohne Genehmigung)Verboten. Darf weder entwickelt noch bereitgestellt werden.
HochEU AI Act Anhang III Kategorien: Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, wesentliche Dienstleistungen, Strafverfolgung, Migration, Justiz. Auch: Systeme, die Gesundheit, Sicherheit oder Grundrechte betreffen.Vollständige Risikobewertung, Konformitätsbewertung, GFFA, Post-Market-Monitoring, Vorfallreaktionsplan, CE-Kennzeichnung.
BegrenztSysteme mit Transparenzpflichten: Chatbots, Deepfakes, Emotionserkennung, biometrische Kategorisierung.Transparenzangaben, Nutzerbenachrichtigung.
MinimalAnwendungen mit geringer Auswirkung und vernachlässigbarem Risiko.Registrierung im KI-Inventar, Basisdokumentation.

5. Risikobewertungsprozess

Risikobewertungen folgen einem fünfphasigen Prozess, der am NIST AI RMF ausgerichtet ist:

Phase 1: Systemidentifikation (MAP)

  • Zweck, vorgesehene Nutzer und Betriebskontext des KI-Systems dokumentieren.
  • System gemäß Abschnitt 4 klassifizieren.
  • Stakeholder identifizieren, die vom System betroffen sein könnten.
  • System im KI-Inventar registrieren.

Phase 2: Risikoidentifikation (MAP)

  • Risiken über alle sechs Dimensionen anhand der Taxonomie in Abschnitt 3 identifizieren.
  • Risikoidentifikationsfragebögen, Bedrohungsmodellierung und Expertenüberprüfung nutzen.
  • Risiken in jeder Lebenszyklusphase berücksichtigen (Design, Daten, Training, Bereitstellung, Betrieb, Stilllegung).
  • Jedes Risiko im Risikoregister mit Beschreibung, Dimension und betroffenen Stakeholdern dokumentieren.

Phase 3: Risikobewertung und -bewertung (MEASURE)

Jedes Risiko wird anhand einer 5x5-Wahrscheinlichkeits-Auswirkungs-Matrix bewertet:

PunktzahlWahrscheinlichkeitAuswirkung
1Selten (weniger als 5 % Wahrscheinlichkeit)Vernachlässigbar (kein messbarer Effekt)
2Unwahrscheinlich (5-20 %)Gering (begrenzt, behebbar)
3Möglich (20-50 %)Mäßig (spürbarer Effekt, handhabbar)
4Wahrscheinlich (50-80 %)Erheblich (signifikanter Schaden, schwer zu beheben)
5Fast sicher (mehr als 80 %)Schwerwiegend (katastrophaler Schaden, regulatorische Maßnahmen, Grundrechtsverletzung)

Risikobewertung = Wahrscheinlichkeit x Auswirkung (Bereich 1-25)

PunktebereichRisikostufeErforderliche Maßnahme
1-4NiedrigMit Dokumentation akzeptieren. Im Rahmen routinemäßiger Überprüfungen überwachen.
5-9MittelMindern. Kontrollen implementieren und Behebung verfolgen. Genehmigung des Modellverantwortlichen.
10-15HochDringend mindern. Überprüfung durch KI-Governance-Verantwortlichen. Bereitstellung ohne genehmigten Minderungsplan nicht möglich.
16-25KritischAn KI-Governance-Ausschuss eskalieren. System darf ohne Ausschussgenehmigung und verifizierte Minderungsmaßnahmen nicht fortfahren.

Phase 4: Minderungsplanung (MANAGE)

Für jedes Risiko, das als Mittel oder höher bewertet wird, ist eine Behandlungsstrategie zu wählen:

StrategieAnwendungBeispiel
VermeidenRisiko ist inakzeptabel und keine Minderung kann es ausreichend reduzierenSystem in diesem Kontext nicht bereitstellen
MindernRisiko kann durch Kontrollen auf ein akzeptables Niveau reduziert werdenBias-Tests hinzufügen, Leitplanken implementieren, menschliche Überprüfung ergänzen
ÜbertragenRisiko kann mit einem Dritten geteilt werdenVersicherung, vertragliche Haftungszuweisung mit Anbieter
AkzeptierenRestrisiko liegt nach Minderung innerhalb des AppetitsAkzeptanz mit Begründung und Überprüfungsdatum dokumentieren

Jede Minderungsmaßnahme muss einen Verantwortlichen, eine Frist und eine definierte Restrisikobewertung nach Umsetzung haben.

Phase 5: Kontinuierliche Überwachung (MANAGE)

  • Risikoindikatoren in der Produktion überwachen (Leistungskennzahlen, Drift-Warnungen, Vorfallberichte).
  • Hochrisiko-Systeme vierteljährlich, mittleres Risiko halbjährlich, niedriges Risiko jährlich überprüfen.
  • Bei wesentlichen Änderungen neu bewerten (Modellupdate, Datenänderung, Kontextänderung, regulatorische Änderung).
  • Risikotrends über das Portfolio verfolgen, um systemische Probleme zu identifizieren.

6. Bewertungsauslöser

Risikobewertungen sind zu folgenden Zeitpunkten erforderlich:

  • Initial: Während der Projektaufnahme vor Beginn der Entwicklung.
  • Vor Bereitstellung: Nach Entwicklung und Testing, vor der Produktivfreigabe.
  • Änderungsbedingt: Bei signifikanten Änderungen an Modell, Daten oder Kontext.
  • Vorfallbedingt: Nach jedem KI-bezogenen Vorfall oder Beinahe-Vorfall.
  • Periodisch: Vierteljährlich für Hochrisiko, halbjährlich für Mittel, jährlich für Niedrig.

7. Risikoregister

Alle identifizierten Risiken werden im KI-Risikoregister mit folgenden Feldern erfasst:

  • Risiko-ID und Beschreibung.
  • Risikodimension (aus der Taxonomie).
  • Zugehöriges KI-System und Modellverantwortlicher.
  • Wahrscheinlichkeitsbewertung, Auswirkungsbewertung und Risikobewertung.
  • Behandlungsstrategie und spezifische Minderungsmaßnahmen.
  • Minderungsverantwortlicher und Frist.
  • Restrisikobewertung nach Minderung.
  • Status (offen, in Behandlung, akzeptiert, geschlossen).
  • Letztes Überprüfungsdatum und nächstes Überprüfungsdatum.

8. Drittanbieter-KI-Risiko

Drittanbieter-KI-Systeme tragen zusätzliche Risiken, die bewertet werden müssen:

Drittanbieter-Risikobewertungen müssen vor Anbieteraktivierung abgeschlossen und jährlich oder bei wesentlichen Änderungen des Anbieters aktualisiert werden.

  • Sicherheitslage und Zertifizierungen des Anbieters (SOC 2, ISO 27001).
  • Trainingsdaten-Governance-Praktiken und Transparenz.
  • Häufigkeit von Modellaktualisierungen und Änderungsbenachrichtigungsprozess.
  • Datenstandort und Unterauftragsverarbeiter-Inventar.
  • SLAs für Vorfallmeldungen und Eskalationswege.
  • Auditrecht und vertragliche Haftungszuweisung.
  • Anbieter-Lock-in-Risiko und Datenportabilität.

9. Eskalation

  • Kritische Risiken (16-25): Sofort an KI-Governance-Ausschuss eskalieren. Systembereitstellung wird bis zur Ausschussentscheidung blockiert.
  • Hohe Risiken (10-15): Innerhalb von 48 Stunden an KI-Governance-Verantwortlichen eskalieren. Bereitstellung erfordert genehmigten Minderungsplan.
  • Überfällige Minderungsmaßnahmen: Wenn eine Minderungsmaßnahme ihre Frist ohne Abschluss überschreitet, an KI-Governance-Verantwortlichen eskalieren.
  • Systemische Risiken: Wenn mehrere Systeme dasselbe Risikomuster aufweisen, für eine Portfolio-Level-Reaktion an den Ausschuss eskalieren.

10. Rollen und Verantwortlichkeiten

RolleRisikomanagement-Verantwortlichkeiten
ModellverantwortlicherFührt Risikobewertungen durch, pflegt Risikoregistereinträge, implementiert Minderungsmaßnahmen, überwacht Restrisiken.
KI-Governance-VerantwortlicherÜberprüft Bewertungen, verfolgt Portfolio-Risikolage, eskaliert an Ausschuss, koordiniert Risikoberichterstattung.
KI-Governance-AusschussLegt Risikoappetit fest, genehmigt kritische Risikoakzeptanz, löst Eskalationen, überprüft vierteljährlichen Risikobericht.
SicherheitBewertet Risiken der Sicherheitsdimension, führt Bedrohungsmodellierung durch, überprüft Sicherheitslage von Anbietern.
Recht / ComplianceBewertet Risiken der Compliance-Dimension, berät zu regulatorischen Verpflichtungen, überprüft Drittanbieterverträge.

11. Regulatorische Ausrichtung

  • EU AI Act: Artikel 9 (Risikomanagementsystem für Hochrisiko-KI), Artikel 5 (verbotene Praktiken), Artikel 6/Anhang III (Hochrisiko-Klassifizierung).
  • ISO/IEC 42001: Abschnitt 6.1 (Maßnahmen zum Umgang mit Risiken und Chancen), Anhang B (KI-Risikoquellen).
  • NIST AI RMF: MAP (Kontext und Risikoidentifikation), MEASURE (Risikoanalyse), MANAGE (Risikoreaktion und -überwachung).
  • ISO 31000: Risikomanagement-Grundsätze und -Prozess.

12. Überprüfung

Diese Richtlinie wird jährlich überprüft. Das Risikoregister wird vierteljährlich vom KI-Governance-Verantwortlichen überprüft und dem KI-Governance-Ausschuss vorgelegt. Wesentliche Änderungen der Risikomethodik erfordern die Genehmigung des Ausschusses.

Dokumentenlenkung

FeldWert
Richtlinienverantwortlicher[KI-Governance-Verantwortlicher]
Genehmigt durch[KI-Governance-Ausschuss]
Inkrafttreten[Datum]
Nächste Überprüfung[Datum + 12 Monate]
Version1.0
KlassifizierungIntern

Bereit, diese Richtlinie umzusetzen?

Nutzen Sie VerifyWise, um diese Richtlinienvorlage anzupassen, bereitzustellen und die Compliance zu verfolgen.

KI-Risikomanagement-Richtlinie | VerifyWise KI-Governance-Vorlagen