Systemisches Risiko in der KI

Systemisches Risiko in der KI ist ein Begriff, den der EU AI Act eingeführt hat, um die Gefahren zu beschreiben, die von den leistungsfähigsten Modellen mit allgemeinem Verwendungszweck (GPAI) ausgehen, also der Art, deren Reichweite und Wirkung sich über viele Sektoren zugleich erstrecken.

Der Gedanke ist, dass ein einzelnes Basismodell unter Tausenden nachgelagerten Anwendungen liegen kann. Hat dieses Modell einen schwerwiegenden Mangel, eine gefährliche Fähigkeit oder eine Sicherheitslücke, bleibt der Schaden nicht eingegrenzt. Er pflanzt sich durch jedes Produkt fort, das darauf aufbaut.

Der AI Act behandelt diese Modelle anders als gewöhnliche GPAI-Modelle. Ein reguläres Modell mit allgemeinem Verwendungszweck trägt Transparenz- und Dokumentationspflichten. Ein Modell mit systemischem Risiko trägt diese und zusätzlich eine schwerere Reihe von Pflichten mit Schwerpunkt auf Sicherheit, Bewertung und Reaktion auf Vorfälle.

Für Governance-, Risiko- und Compliance-Teams ist der Begriff wichtig, weil er eine klare regulatorische Linie zieht. Sobald ein Modell sie überschreitet, übernimmt der Anbieter Verantwortlichkeiten, die nicht an die Unternehmen abgegeben werden können, die das Modell nachgelagert feinabstimmen oder einsetzen.

Wie ein Modell als systemisch risikoreich eingestuft wird

Der AI Act stützt sich auf eine Vermutung anhand der Trainingsrechenleistung. Bei einem Modell mit allgemeinem Verwendungszweck wird systemisches Risiko vermutet, wenn die kumulierte Rechenmenge, die zu seinem Training verwendet wurde, 10^25 Gleitkommaoperationen (FLOPs) übersteigt.

Diese Schwelle ist ein Näherungswert, kein perfektes Maß. Rechenleistung korreliert mit Fähigkeit, sodass ein sehr großer Trainingslauf als Signal dafür behandelt wird, dass das entstehende Modell leistungsfähig genug ist, um breite Wirkungen zu erzeugen. Der Wert kann mit der Zeit angepasst werden, während sich die Technologie und das Verständnis von Fähigkeit weiterentwickeln.

Rechenleistung ist nicht der einzige Weg. Die Europäische Kommission und das KI-Büro können ein Modell auch anhand anderer Kriterien als systemisch risikoreich einstufen: der Zahl der Parameter, der Qualität und Größe des Datensatzes, der Zahl registrierter Nutzer, der Reichweite des Modells im Binnenmarkt oder bestimmter wirkungsstarker Fähigkeiten. Einem Anbieter kann auch mitgeteilt werden, dass sein Modell die Schwelle wahrscheinlich erreicht, und er erhält Gelegenheit zur Stellungnahme.

Anbieter, die ein Modell trainieren, das die Rechenleistungsschwelle erreicht, müssen die Kommission benachrichtigen. Sie können geltend machen, dass ihr Modell trotz der verwendeten Rechenleistung kein systemisches Risiko darstellt, doch die Last liegt bei ihnen, diesen Fall zu begründen.

Welche zusätzlichen Pflichten folgen

Anbieter von GPAI-Modellen mit systemischem Risiko übernehmen Pflichten, die weit über die übliche Dokumentation hinausgehen. Die zentralen sind:

• Modellbewertung. Modernste Bewertungen mit standardisierten Protokollen durchführen, einschließlich Tests, die systemische Risiken erkennen und mindern sollen.

• Angriffstests. Angriffstests (Red Teaming) durchführen und dokumentieren, um gefährliche Fähigkeiten und Fehlerarten vor und nach der Veröffentlichung zu finden und anzugehen.

• Risikobewertung und -minderung. Mögliche systemische Risiken auf EU-Ebene bewerten und mindern, einschließlich ihrer Quellen, über den gesamten Modelllebenszyklus.

• Meldung von Vorfällen. Schwerwiegende Vorfälle und mögliche Korrekturmaßnahmen verfolgen, dokumentieren und ohne unangemessene Verzögerung dem KI-Büro und, wo einschlägig, den nationalen Behörden melden.

• Cybersicherheit. Ein angemessenes Maß an Cybersicherheit für das Modell und seine physische Infrastruktur sicherstellen, da ein kompromittiertes Spitzenmodell selbst eine systemische Bedrohung darstellt.

Anbieter können die Compliance nachweisen, indem sie Verhaltenskodizes befolgen, die mit dem KI-Büro entwickelt wurden, bis harmonisierte Standards verfügbar sind. Einen anerkannten Kodex zu befolgen ist eine Möglichkeit, guten Glauben zu zeigen und regulatorische Unsicherheit zu verringern.

Warum der Begriff wichtig ist

Systemisches Risiko verschiebt einen bedeutenden Teil der Verantwortung nach oben, hin zu der kleinen Zahl von Organisationen, die Spitzenmodelle trainieren. Das spiegelt eine praktische Realität wider: Die Unternehmen, die ein Modell einsetzen, haben selten den Zugang, die Ressourcen oder die Einsicht, um seine tiefsten Verhaltensweisen zu bewerten.

Es gibt dem übrigen Umfeld auch etwas, worauf es sich verlassen kann. Ein Krankenhaus, das ein klinisches Werkzeug auf einem großen Modell aufbaut, kann nicht selbst Bewertungen im Spitzenmaßstab durchführen. Zu wissen, dass der Anbieter des Basismodells gesetzlich verpflichtet ist, zu bewerten, Red Teaming zu betreiben und Vorfälle zu melden, gibt nachgelagerten Akteuren ein Fundament, auf dem sie aufbauen können.

Für jeden, der die KI-Regulierung verfolgt, ist die Schwelle ein nützlicher Marker. Es ist die Linie, an der ein Modell aufhört, ein gewöhnliches Produkt zu sein, und beginnt, wie Infrastruktur behandelt zu werden, die das Potenzial hat, den gesamten Markt zu beeinflussen.

Wie sich Teams vorbereiten

Anbieter, die sich der Schwelle wahrscheinlich nähern, sollten die Trainingsrechenleistung sorgfältig nachverfolgen und Bewertung und Red Teaming in den Entwicklungsprozess einbauen, statt sie am Ende anzuflanschen. Die Rechenleistungsbilanz muss belastbar sein, weil die Meldepflicht davon abhängt.

Nachgelagerte Betreiber sollten ihre Modellanbieter direkt fragen, ob ein Modell als systemisch risikoreich eingestuft ist, und die Bewertung sowie die Meldung von Vorfällen anfordern, die der AI Act verlangt. Diese Informationen fließen in die eigene Risikobewertung des Betreibers ein.

Governance-Teams sollten die Verhaltenskodizes und etwaige Aktualisierungen der Rechenleistungsschwelle im Blick behalten, da beide ändern können, was als systemisches Risiko gilt und wie Compliance aussieht.

FAQ

Wie hoch ist die genaue Rechenleistungsschwelle für systemisches Risiko?

Der EU AI Act vermutet bei einem Modell mit allgemeinem Verwendungszweck systemisches Risiko, wenn die kumulierte Rechenleistung, die zu seinem Training verwendet wurde, mehr als 10^25 FLOPs (Gleitkommaoperationen) beträgt. Das ist eine Vermutung, ein Anbieter kann sie also zu widerlegen versuchen, und die Kommission kann auch Modelle unterhalb der Schwelle anhand anderer Faktoren einstufen, etwa Parameterzahl, Datensatzgröße, Nutzerzahlen oder bestimmter Fähigkeiten.

Gilt die Schwelle für den Betreiber oder den Modellanbieter?

Die Pflichten treffen den Anbieter des Modells mit allgemeinem Verwendungszweck, also die Organisation, die es trainiert und in Verkehr bringt. Unternehmen, die das Modell einsetzen oder feinabstimmen, haben ihre eigenen Pflichten, doch die Pflichten zum systemischen Risiko wie die Bewertung im Spitzenmaßstab und die Meldung von Vorfällen liegen beim vorgelagerten Anbieter.

Ist die Zahl von 10^25 FLOPs dauerhaft?

Nein. Die Schwelle kann von der Kommission durch delegierte Rechtsakte angepasst werden, während die Technologie voranschreitet und der Zusammenhang zwischen Rechenleistung und Fähigkeit klarer wird. Teams sollten sie als aktuellen Wert behandeln, nicht als feste Konstante.

Was gilt als schwerwiegender Vorfall, der gemeldet werden muss?

Ein schwerwiegender Vorfall umfasst in der Regel eine Fehlfunktion oder ein Versagen des Modells, das direkt oder indirekt zu Schaden führt, etwa Tod, schwere Gesundheitsschäden, schwere Störung kritischer Infrastruktur oder Verletzungen der Grundrechte. Anbieter von Modellen mit systemischem Risiko müssen diese ohne unangemessene Verzögerung dokumentieren und dem KI-Büro melden.

Wie unterscheidet sich systemisches Risiko von Hochrisiko-KI-Systemen?

Hochrisiko bezeichnet bestimmte KI-Systeme, die in sensiblen Kontexten wie Einstellung, Kredit oder Medizinprodukten eingesetzt werden und unter den Risikostufen des Rechtsakts eingeordnet sind. Systemisches Risiko ist eine eigene Kategorie, die nur für die leistungsfähigsten Modelle mit allgemeinem Verwendungszweck gilt. Ein Modell kann systemisches Risiko tragen, ohne in einem einzelnen Hochrisiko-Anwendungsfall eingesetzt zu werden, weil es um seine breite nachgelagerte Reichweite geht.

Kann ein Anbieter die Pflichten umgehen, indem er argumentiert, sein Modell sei nicht riskant?

Ein Anbieter, dessen Modell die Rechenleistungsschwelle überschreitet, kann Argumente vorbringen, dass das Modell trotz seiner Größe kein systemisches Risiko darstellt. Die Vermutung kann widerlegt werden, doch der Anbieter trägt die Beweislast, und die Kommission beurteilt den Fall. Unterhalb der Schwelle zu liegen garantiert ebenfalls keine Befreiung, da eine Einstufung aus anderen Gründen erfolgen kann.

Zusammenfassung

Systemisches Risiko in der KI ist die Art des EU AI Act, die leistungsfähigsten Modelle mit allgemeinem Verwendungszweck für eine strengere Aufsicht herauszustellen. Die Vermutung greift oberhalb von 10^25 FLOPs an Trainingsrechenleistung, und sobald ein Modell sie erfüllt, muss sein Anbieter es gründlich bewerten, Angriffstests durchführen, Risiken auf EU-Ebene mindern, schwerwiegende Vorfälle melden und es mit starker Cybersicherheit schützen. Der Begriff schiebt Rechenschaft nach oben zu der Handvoll Organisationen, die zum Training von Spitzenmodellen in der Lage sind, und gibt dem weiteren Umfeld ein verlässliches Fundament, auf dem es aufbauen kann.