Vertrauenswürdige KI

Vertrauenswürdige KI ist KI, die sich berechtigtes Vertrauen verdient: Sie verhält sich, wie sie soll, achtet das Recht und menschliche Werte und hält unter realen Bedingungen stand, nicht nur im Labor.

Das Wort vertrauenswürdig leistet hier echte Arbeit. Es geht nicht darum, ob Menschen einem System zufällig vertrauen, sondern darum, ob dieses Vertrauen berechtigt ist. Ein System kann beliebt und nicht vertrauenswürdig sein oder technisch solide, aber schlecht erklärt. Bei vertrauenswürdiger KI geht es um die zugrunde liegenden Eigenschaften, die Vertrauen rechtfertigen.

Das ist relevant, weil Vertrauen der Engpass für die Einführung in ernsten Umfeldern ist. Ein Krankenhaus, eine Bank oder eine Behörde kann keine KI einsetzen, auf die sie sich nicht verlassen kann. Konkret zu definieren, was vertrauenswürdig bedeutet, macht aus einem Gefühl eine Reihe von Eigenschaften, auf die Sie hinarbeiten und die Sie prüfen können.

Zwei einflussreiche Rahmenwerke definieren diese Eigenschaften, und es lohnt sich, sie zu kennen, gerade weil Organisationen und Aufsichtsbehörden sich direkt auf sie beziehen.

Die EU-HLEG-Definition: rechtmäßig, ethisch, robust

Die hochrangige Expertengruppe für KI der Europäischen Kommission (HLEG) fasste vertrauenswürdige KI um drei Bestandteile, die alle über den Lebenszyklus des Systems hinweg vorhanden sein sollten.

Rechtmäßig. Das System hält alle anwendbaren Gesetze und Vorschriften ein, vom Datenschutz über die Nichtdiskriminierung bis zu branchenspezifischen Regeln.

Ethisch. Das System achtet ethische Prinzipien und Werte und geht über den Wortlaut des Gesetzes hinaus, um Fairness, Autonomie und die Vermeidung von Schaden zu wahren.

Robust. Das System ist technisch robust und zuverlässig, denn selbst gut gemeinte, rechtmäßige Systeme können Schaden anrichten, wenn sie versagen, sich unvorhersehbar verhalten oder leicht manipulierbar sind.

Die HLEG erweiterte diese dann zu sieben Anforderungen, darunter menschliche Handlungsfähigkeit und Aufsicht, technische Robustheit und Sicherheit, Datenschutz und Daten-Governance, Transparenz, Vielfalt und Nichtdiskriminierung, gesellschaftliches und ökologisches Wohlergehen sowie Rechenschaft. Die dreiteilige Fassung, rechtmäßig, ethisch, robust, ist die einprägsame Zusammenfassung.

Die Eigenschaften des NIST AI RMF

Das US-amerikanische National Institute of Standards and Technology definiert in seinem AI Risk Management Framework vertrauenswürdige KI über eine Reihe von Eigenschaften, die ein System aufweisen sollte. Es sind:

• Gültig und zuverlässig. Das System tut, was es soll, genau und beständig, über die Bedingungen hinweg, denen es tatsächlich begegnen wird.

• Sicher. Es führt unter definierten Bedingungen nicht zu Zuständen, die menschliches Leben, Gesundheit, Eigentum oder die Umwelt gefährden.

• Geschützt und widerstandsfähig. Es hält Angriffen und unerwarteten Bedingungen stand und erholt sich angemessen, wenn etwas schiefgeht.

• Rechenschaftspflichtig und transparent. Informationen über das System stehen den Menschen zur Verfügung, die sie brauchen, und die Verantwortung für sein Verhalten ist klar.

• Erklärbar und interpretierbar. Seine Ausgaben lassen sich erklären, und die Mechanismen dahinter lassen sich auf einem angemessenen Niveau verstehen.

• Datenschutzfördernd. Es schützt menschliche Autonomie, Identität und Würde durch solide Datenpraktiken.

• Fair, mit gesteuerter schädlicher Verzerrung. Es geht Gleichheit und Gerechtigkeit an und steuert aktiv Verzerrung, die Schaden anrichten könnte.

NIST weist sorgfältig darauf hin, dass diese Eigenschaften Zielkonflikte beinhalten. Hart auf Interpretierbarkeit zu drücken kann die Genauigkeit beeinträchtigen; die Sicherheit zu verschärfen kann die Bequemlichkeit verringern. Vertrauenswürdigkeit heißt, sie im Kontext auszubalancieren, nicht jede einzeln zu maximieren.

Wie vertrauenswürdige KI bewertet wird

Eine Definition hilft nur, wenn Sie ein System dagegen prüfen können. Die Bewertung vertrauenswürdiger KI verbindet meist mehrere Arten von Nachweisen statt eines einzigen Tests.

Sie beginnt damit, die Eigenschaften auf das konkrete System und seinen Kontext abzubilden. Ein vertrauenswürdiger Chatbot und ein vertrauenswürdiges Modell zur medizinischen Bildgebung brauchen unterschiedliche Nachweise, obwohl beide auf dieselben zugrunde liegenden Eigenschaften zurückgreifen.

Für Gültigkeit und Zuverlässigkeit betrachten Bewerter Leistungstests über realistische Bedingungen hinweg, nicht nur einen sauberen Testsatz. Für Sicherheit und Schutz betrachten sie Red Teaming, Angriffstests und Fehleranalysen. Für Fairness betrachten sie Verzerrungsbewertungen über definierte Gruppen. Für Transparenz und Erklärbarkeit betrachten sie die Dokumentation und ob das System verständliche Erklärungen erzeugen kann.

Vieles davon wird in der Dokumentation festgehalten: Modellkarten, Datendokumentation, Risikobewertungen und Aufzeichnungen der während der Entwicklung getroffenen Entscheidungen. Eine unabhängige Prüfung oder ein Audit verleiht Glaubwürdigkeit, da die Selbstbewertung blinde Flecken haben kann.

Schließlich ist Vertrauenswürdigkeit kein einmaliger Stempel. Systeme werden nach bedeutenden Änderungen neu bewertet und im Produktivbetrieb überwacht, weil Zuverlässigkeit, Fairness und Schutz mit der Zeit erodieren können, wenn sich die Bedingungen verschieben.

FAQ

Was ist der Unterschied zwischen den Definitionen der EU-HLEG und von NIST?

Die EU-HLEG fasst vertrauenswürdige KI als rechtmäßig, ethisch und robust zusammen, erweitert zu sieben Anforderungen. Das AI RMF von NIST listet sieben Eigenschaften: gültig und zuverlässig, sicher, geschützt und widerstandsfähig, rechenschaftspflichtig und transparent, erklärbar und interpretierbar, datenschutzfördernd sowie fair mit gesteuerter schädlicher Verzerrung. Sie überschneiden sich stark; die EU-Fassung beginnt mit der rechtlichen und ethischen Grundlage, während NIST um messbare Systemeigenschaften und ausdrückliche Zielkonflikte herum organisiert ist.

Ist vertrauenswürdige KI dasselbe wie verantwortungsvolle KI?

Sie sind eng verwandt und werden manchmal austauschbar verwendet. Verantwortungsvolle KI betont in der Regel die Praxis und die Menschen: KI ethisch und rechenschaftspflichtig zu entwickeln und zu betreiben. Vertrauenswürdige KI betont die Eigenschaften des Systems selbst, die Merkmale, die Vertrauen rechtfertigen. In der Praxis sind verantwortungsvolle Praktiken die Art, wie Sie vertrauenswürdige Systeme erzeugen.

Kann ein System vertrauenswürdig sein, ohne erklärbar zu sein?

Das hängt vom Kontext ab. NIST behandelt Erklärbarkeit und Interpretierbarkeit als eine Eigenschaft unter mehreren und weist auf Zielkonflikte hin. Für Anwendungen mit geringem Einsatz kann ein hochgenaues, aber weniger interpretierbares System akzeptabel sein. Für Entscheidungen mit hohem Einsatz, die Rechte oder Sicherheit von Menschen betreffen, untergräbt das Fehlen einer Erklärung die Vertrauenswürdigkeit in der Regel, ungeachtet der Genauigkeit.

Wer entscheidet, ob KI vertrauenswürdig ist?

Es gibt keine einzelne Instanz, die das entscheidet. Entwickler bewerten ihre eigenen Systeme gegen Rahmenwerke wie NIST oder die Anforderungen der EU-HLEG, doch unabhängiges Audit, regulatorische Prüfung und das Urteil der Betreiber und betroffenen Nutzer tragen alle bei. Für regulierte Anwendungen wird die Konformität mit rechtlichen Anforderungen Teil der Antwort.

Warum betont NIST Zielkonflikte zwischen den Eigenschaften?

Weil die Eigenschaften in Konflikt geraten können. Die Interpretierbarkeit zu maximieren kann die Genauigkeit verringern; die Sicherheit zu verschärfen kann die Benutzbarkeit verringern; aggressive Datenminimierung kann die Leistung eines Modells begrenzen. NIST betont, dass Vertrauenswürdigkeit erreicht wird, indem man die Eigenschaften für den Kontext angemessen ausbalanciert, nicht indem man versucht, alle zugleich zu maximieren.

Wie oft sollte Vertrauenswürdigkeit neu bewertet werden?

Immer dann, wenn sich das System wesentlich ändert, etwa durch erneutes Training, eine neue Datenquelle oder einen neuen Einsatzkontext, und fortlaufend durch Überwachung. Zuverlässigkeit, Fairness und Schutz können mit der Zeit nachlassen, während sich die Welt von den Bedingungen entfernt, für die das System gebaut wurde, daher reicht eine einmalige Bewertung nicht aus.

Zusammenfassung

Vertrauenswürdige KI ist KI, die Vertrauen verdient, definiert durch die Eigenschaften, die das Vertrauen auf sie berechtigt machen, statt dadurch, ob Menschen ihr zufällig vertrauen. Die EU-HLEG fasst sie als rechtmäßig, ethisch und robust, erweitert zu sieben Anforderungen. Das NIST AI RMF definiert sie über sieben Eigenschaften: gültig und zuverlässig, sicher, geschützt und widerstandsfähig, rechenschaftspflichtig und transparent, erklärbar und interpretierbar, datenschutzfördernd sowie fair mit gesteuerter schädlicher Verzerrung. Beide Rahmenwerke betonen, dass diese Eigenschaften Zielkonflikte beinhalten und im Kontext ausbalanciert werden müssen. Die Vertrauenswürdigkeit zu bewerten verbindet Leistungstests, Angriffs- und Verzerrungsbewertung, Dokumentation, unabhängige Prüfung und laufende Überwachung, weil Vertrauenswürdigkeit eine Eigenschaft ist, die zu erhalten ist, kein einmaliger Stempel.