Verwaltung von Hochrisiko-KI unter dem EU AI Act

Wenn Sie KI betreiben, die die Sicherheit von Menschen beeinträchtigen kann, behandelt das Gesetz Governance als kontinuierliche Lebenszyklusdisziplin, nicht als einmaliges Compliance-Häkchen. In diesem Beitrag werden wir aufschlüsseln, was das Gesetz erwartet, wie "gut" in der Praxis aussieht, wie Audits dazugehören und wie lange Sie Ihre Aufzeichnungen aufbewahren müssen.

Wir werden auf Artikel im EU AI Act verweisen, damit Sie auch zum Gesetzestext springen können. Wo das Gesetz Details an zukünftige Durchführungsrechtsakte oder harmonisierte Standards delegiert, werden wir die offenen Punkte kennzeichnen.

Schnelle Einführung: Was ist ein Hochrisiko-KI-System?

Hochrisikosysteme fallen in zwei Hauptkategorien:

• Produkte, die bereits EU-Produktsicherheitsregimen unterliegen (denken Sie an Medizinprodukte, Maschinen, Spielzeug mit Sicherheitsfunktionen, Aufzüge, Schienensysteme usw.). Wenn KI-Funktionalität sicherheitsrelevant innerhalb eines Produkts ist, das von bestehenden EU-Rechtsvorschriften mit Drittanbieter-Konformität abgedeckt wird (Anhang II, Abschnitt A), wird die KI-Komponente hochriskant, sobald dieses Produktsicherheitsgesetz mit dem AI Act verknüpft ist.
• Eigenständige KI-Anwendungsfälle, die in Anhang III aufgeführt sind (z.B. biometrische Identifikation, Betrieb kritischer Infrastruktur, Bildung/Bewertung mit Zugangswirkung, Beschäftigungsentscheidungen einschließlich CV-Filterung und Beförderung, Kreditwürdigkeitsprüfung, Strafverfolgungsanalysen, Migrations-/Asyl-Triage usw.). Die Liste kann von der Kommission aktualisiert werden.

Wenn Ihr System in eine der beiden Kategorien fällt, gelten die unten aufgeführten Governance-Verpflichtungen für Sie (mit einigen rollenbasierten Unterschieden für Anbieter vs. Betreiber).

Kern-Governance-Säulen, die Sie aufbauen müssen

Im Folgenden finden Sie eine praxisnahe Übersetzung des Gesetzestextes in Arbeitsströme, die Sie tatsächlich ausführen können. Wir haben primäre Artikelverweise in Klammern zugeordnet.

1. Risikomanagementsystem (Art. 9)

Kontinuierlich, dokumentiert und iterativ. Abdeckung von Design-, Entwicklungs-, Validierungs-, Bereitstellungs- und Nachmarktphasen. Identifizierung bekannter und vernünftigerweise vorhersehbarer Risiken für Gesundheit, Sicherheit und Grundrechte. Bewertung von Schweregrad + Wahrscheinlichkeit. Definition von Minderungsmaßnahmen. Einbeziehung von realen Daten und Vorfallslehren. Aktualisierung bei Kontext-, Daten- oder Modellverhaltensänderungen.

Praxistipps

• Erstellen Sie ein lebendes Risikoregister mit Schadensszenarien, betroffenen Rechten, betroffenen Bevölkerungsgruppen, vorhandenen Kontrollen, Restrisiko und Freigabe-Verantwortlichem.
• Verwenden Sie Gefahrenanalysen vor der Bereitstellung (FMEA-Stil), Red Teaming, gegnerische Tests, Bias- und Robustheitstests sowie domänenspezifische Stresstests.
• Führen Sie die Risikoanalyse erneut durch, wenn Sie Modellgewichte, Trainingsdatenklassen, Betriebsumgebung oder beabsichtigten Zweck wesentlich ändern.

2. Daten- und Datengovernance-Kontrollen (Art. 10)

Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ, frei von Fehlern (soweit möglich) und vollständig für den beabsichtigten Zweck sein. Sie müssen Datenherkunft, Erfassungsbedingungen und bekannte Verzerrungen verstehen.

Praxistipps

• Führen Sie ein Datenblatt / Modellkarten-Bundle, das Quellen, Zustimmungs-/Rechtmäßigkeitsbedingungen, geografische Spannweiten, demografische Lücken, Vorverarbeitungsschritte und Qualitätsmetriken aufzeichnet. Sie können VerifyWise zu diesem Zweck verwenden.
• Verfolgen Sie die Datenherkunft, damit Sie Fragen von Regulierungsbehörden und Kunden schnell beantworten können.

3. Technische Dokumentation (Art. 11)

Sie müssen Dokumentation vorbereiten und pflegen, die für Regulierungsbehörden und benannte Stellen ausreichend ist, um die Einhaltung zu bewerten. Denken Sie daran als "Design-History-File" für KI.

Was einzubeziehen ist

• Systembeschreibung, beabsichtigter Zweck, Benutzergruppen und Betriebsumgebung. Auch hier ist VerifyWise eine großartige Option.
• Modellarchitektur, Trainingsansatz, Versionshistorie.
• Datengovernance-Zusammenfassung (siehe oben).
• Leistungsmetriken (Genauigkeit, Fehlerraten, Bias-Metriken, Robustheitstestergebnisse). VerifyWise hat eine Bias-/Fairness-Check-Funktion für MLs und LLMs.
• Risikomanagement-Aufzeichnungen und Minderungsentscheidungen.
• Design und Anweisungen für menschliche Aufsicht.
• Plan für die Nachmarktüberwachung.

Stellen Sie sicher, dass Sie alles versionskontrollieren und auch ein Basispaket für jede Konformitätsbewertung einfrieren, dann Deltas protokollieren.

4. Aufzeichnungen / automatische Protokollierung (Art. 12 + Protokollierungsverweise im gesamten Gesetz)

Hochrisikosysteme müssen in der Lage sein, Ereignisse automatisch zu protokollieren. Das Ziel ist Nachverfolgbarkeit: welche Eingabe kam herein, welche Modellversion hat sie verarbeitet, welche Ausgabe ging heraus, plus wichtige Systemereignisse und Leistungssignale.

Praxistipps

• Zentralisierter, manipulationssicherer Log-Speicher mit Aufbewahrung, die auf gesetzliche Mindestanforderungen abgestimmt ist (siehe Aufbewahrungsabschnitt unten).
• Kennzeichnen Sie Protokolle mit Modellversions-IDs und Datenschnitt-IDs.
• Erfassen Sie Überschreibungsereignisse, wenn Menschen eingreifen.

5. Transparenz & Gebrauchsanweisungen (Art. 13)

Benutzer müssen klare Anweisungen erhalten, einschließlich Systemfähigkeiten, Einschränkungen, Datenanforderungen, menschliche Aufsichtsaktionen, Leistungsmerkmale und bekannte Risikobedingungen. Wenn eine Mindestdatenqualität erforderlich ist, sagen Sie es. Wenn die Leistung außerhalb der Spezifikation abnimmt, warnen Sie sie.

6. Menschliche Aufsicht (Art. 14)

Gestalten Sie Ihr System so, dass angemessen geschulte Personen verstehen können, wann ein Eingreifen erforderlich ist und wirklich eingreifen können. Aufsicht kann Echtzeit-Überprüfung, Konfidenzschwellen, die an Menschen weiterleiten, die Fähigkeit, den automatisierten Betrieb zu stoppen, oder Workflows für Berufung / zweiten Blick bedeuten.

Praxistipps

• Definieren Sie Aufsichtsrollen: Betreiber, Prüfer, Eskalationsbehörde.
• Stellen Sie Dashboards mit Konfidenzbändern, Drift-Warnungen und Anomalie-Flags bereit.
• Schulen Sie Mitarbeiter. Dokumentieren Sie den Schulungsabschluss. Aktualisieren Sie die Schulung, wenn sich das System ändert.

7. Genauigkeit, Robustheit und Cybersicherheit (Art. 15)

Sie müssen dem Stand der Technik entsprechende Schwellenwerte für den Anwendungsfall erfüllen, vernünftigerweise vorhersehbarem Missbrauch widerstehen und gegen Daten-/Modellintegritätsangriffe schützen. Überwachen Sie auf Modelldrift, Datenvergiftung, Prompt-Injektion (für interaktive Modelle) und gegnerische Beispiele, wo relevant.

8. Qualitätsmanagementsystem (QMS) (Art. 17)

Denken Sie ISO-Stil. Das QMS umfasst Ihre Richtlinien, Verfahren, Rollen, Kontrollen, interne Audits, Lieferantenmanagement, Korrekturmaßnahmen und Dokumentationspraktiken über den gesamten KI-Lebenszyklus.

Zu behandelnde Elemente:

• Organisationsstruktur und Verantwortlichkeiten.
• Standardarbeitsanweisungen für die Modellentwicklung.
• Lieferanten- / Drittanbieter-Komponentenkontrollen (Modelle, Datensätze, Tools usw.).