Agentenbasierte KI
Agentenbasierte KI bezeichnet Systeme, die nicht nur Texte oder Vorhersagen erzeugen, sondern planen, entscheiden und Handlungen ausführen, um ein Ziel zu erreichen. Häufig rufen sie dazu Werkzeuge auf, fragen Systeme ab oder verketten mehrere Schritte mit nur wenig menschlichem Eingreifen dazwischen.
Ein Chatbot beantwortet eine Frage. Ein Agent erhält ein Ziel, zerlegt es in Schritte, wählt Werkzeuge aus, beobachtet die Ergebnisse und passt sich an. Er kann eine Datenbank durchsuchen, eine E-Mail senden, ein Ticket anlegen, Code ausführen oder einen anderen Agenten aufrufen. Das Modell fungiert als Steuerung, die in einer Schleife arbeitet: denken, handeln, beobachten, wiederholen.
Dieser Wechsel vom Antworten zum Handeln macht agentenbasierte KI zugleich nützlich und schwerer steuerbar. Dieselbe Eigenschaft, die einen Agenten eine mehrstufige Aufgabe ohne Aufsicht abschließen lässt, ermöglicht es ihm auch, Schaden anzurichten, ohne dass es jemand rechtzeitig bemerkt.
Was ein System zu einem Agenten macht
Vier Merkmale unterscheiden einen Agenten von einem einfachen Modellaufruf.
Autonomie. Das System entscheidet selbst über seinen nächsten Schritt, statt einem festen Skript zu folgen. Zwei Durchläufe mit derselben Eingabe können unterschiedliche Wege einschlagen.
Werkzeugnutzung. Der Agent reicht über reinen Text hinaus in die Welt hinein, ruft APIs auf, führt Abfragen aus, schreibt Dateien oder stößt Arbeitsabläufe an. Seine Fähigkeiten werden durch die Werkzeuge bestimmt, auf die er zugreifen kann.
Planung. Der Agent zerlegt ein Ziel in Teilaufgaben und ordnet sie an, manchmal überarbeitet er den Plan, während er Neues lernt.
Verkettete Handlungen. Schritte bauen aufeinander auf, sodass sich ein früher Fehler fortpflanzen kann. Ein Agent, der ein Ergebnis falsch deutet, führt unter Umständen mehrere falsche Handlungen aus, bevor er stoppt.
Warum agentenbasierte KI eigene Governance-Herausforderungen mit sich bringt
Klassische Modell-Governance setzt eine Anfrage und eine prüfbare Antwort voraus. Agenten durchbrechen diese Annahme.
Autonomie macht Verhalten schwer vorhersehbar. Da der Agent seinen eigenen Weg wählt, lässt sich nicht jede mögliche Handlung im Voraus aufzählen. Tests müssen das Verhalten unter vielen Bedingungen abdecken, nicht nur eine feste Menge an Ausgaben.
Werkzeugzugriff vergrößert den Wirkungsradius. Ein Agent mit Schreibzugriff auf Produktivsysteme, Zahlungs-APIs oder E-Mail kann folgenreiche Handlungen ausführen. Das Risiko ist nicht mehr ein schlechter Satz, sondern eine fehlerhafte Transaktion oder ein gelöschter Datensatz.
Verkettete Handlungen verwischen die Ursache. Wenn nach zehn Schritten etwas schiefläuft, ist es schwerer herauszufinden, welcher Schritt es verursacht hat und warum, als bei der Fehlersuche an einer einzelnen Antwort. Das erschwert die Reaktion auf Vorfälle.
Die Verantwortlichkeit wird unklar. Wenn ein Agent eine Handlung ausführt, die jemandem schadet, wer ist dann verantwortlich: die Person, die das Ziel gesetzt hat, das Team, das dem Agenten seine Werkzeuge gegeben hat, oder der Anbieter des Modells? Die Governance muss das vor dem Einsatz klären, nicht danach.
Wo Agenten die größte Angriffsfläche schaffen
Die risikoreichsten Agenten verbinden weitreichende Autonomie mit mächtigen Werkzeugen und schwacher Aufsicht.
Ein Agent, der im Namen einer Organisation Geld ausgeben, Datensätze ändern oder Mitteilungen versenden kann, braucht strengere Kontrollen als einer, der nur liest und zusammenfasst. Ein Agent, der andere Agenten aufruft, schafft Ketten, die schwer nachzuverfolgen sind. Ein Agent, der nicht vertrauenswürdigen Eingaben ausgesetzt ist, etwa Webseiten oder Uploads von Nutzern, kann durch Prompt-Injection dazu gebracht werden, seine Werkzeuge zu missbrauchen.
Das Muster, auf das Sie achten sollten, ist Fähigkeit ohne Kontrollpunkt: ein Agent, der etwas Unumkehrbares tun kann, ohne dass ein Mensch eingebunden ist und ohne harte Grenze dafür, worauf er zugreifen darf.
Wie Sie agentenbasierte KI steuern
Beim Steuern von Agenten geht es darum, einzuschränken, was sie tun können, und nachvollziehbar zu machen, was sie getan haben.
Beschränken Sie den Werkzeugzugriff eng. Geben Sie einem Agenten nur die minimale Menge an Werkzeugen und Berechtigungen, die er benötigt. Trennen Sie Lesen von Schreiben. Stellen Sie die folgenreichsten Handlungen, etwa Zahlungen oder Löschungen, hinter eine ausdrückliche Freigabe.
Fügen Sie menschliche Kontrollpunkte für wirkungsstarke Schritte ein. Lassen Sie den Agenten planen und vorbereiten, verlangen Sie aber, dass ein Mensch bestätigt, bevor eine unumkehrbare oder kostspielige Handlung ausgeführt wird. Das ist sinnvolle menschliche Aufsicht, angewandt auf das Handeln, nicht nur auf die Ausgabe.
Setzen Sie harte Grenzen. Begrenzen Sie Ausgaben, drosseln Sie die Häufigkeit von Handlungen und legen Sie Stoppbedingungen fest, damit ein fehlverhaltender Agent nicht unbegrenzt laufen kann.
Protokollieren Sie die vollständige Spur. Halten Sie das Ziel, jede Entscheidung, jeden Werkzeugaufruf, die Ein- und Ausgaben sowie die abschließenden Handlungen fest. Ohne diese Spur können Sie nicht prüfen, debuggen oder erklären, was geschehen ist.
Behandeln Sie externe Eingaben als nicht vertrauenswürdig. Inhalte, die ein Agent abruft oder empfängt, können eingeschleuste Anweisungen enthalten. Trennen Sie sie von den eigenen Anweisungen des Agenten und prüfen Sie Werkzeugaufrufe, bevor sie ausgeführt werden.
Weisen Sie Verantwortung zu. Benennen Sie eine Person oder ein Team, die für jeden eingesetzten Agenten, seine Werkzeuge und seine Grenzen verantwortlich sind, und verknüpfen Sie das mit Ihrem Plan zur Reaktion auf Vorfälle.
Agentenbasierte KI und Regulierung
Agenten stehen nicht außerhalb bestehender Rahmenwerke. Nach dem EU AI Act erbt ein agentenbasiertes System, das in einem Hochrisikokontext eingesetzt wird, die Pflichten dieses Kontexts, darunter Risikomanagement, menschliche Aufsicht, Protokollierung und Robustheit. ISO 42001 erwartet, dass dieselben Managementkontrollen das System als Ganzes abdecken, einschließlich der Werkzeuge. Das Neue ist operativ: Dokumentation, Aufsicht und Überwachung müssen die ausgeführten Handlungen berücksichtigen, nicht nur die getroffenen Vorhersagen.
FAQ
Wie unterscheidet sich ein KI-Agent von einem Chatbot?
Ein Chatbot reagiert auf Nachrichten. Ein Agent erhält ein Ziel und arbeitet darauf hin, indem er Schritte plant und Werkzeuge nutzt, oft führt er dabei echte Handlungen aus, etwa Systeme abfragen oder Anfragen senden. Der Agent entscheidet seinen eigenen Weg, sodass sein Verhalten weniger vorhersehbar und seine potenzielle Wirkung größer ist. Dieser Unterschied begründet die zusätzliche Governance.
Was ist das größte Governance-Risiko bei Agenten?
Die Kombination aus Autonomie und Werkzeugzugriff ohne menschlichen Kontrollpunkt. Ein Agent, der eigenständig folgenreiche, unumkehrbare Handlungen ausführen kann, richtet schneller Schaden an, als ihn jemand prüfen kann. Den Werkzeugzugriff eng zu beschränken und für wirkungsstarke Schritte eine Freigabe zu verlangen, deckt den größten Teil davon ab.
Wer ist verantwortlich, wenn ein Agent Schaden verursacht?
Das sollte vor dem Einsatz entschieden werden. In der Praxis verteilt sich die Verantwortung auf die Person, die das Ziel gesetzt hat, das Team, das den Agenten und seine Werkzeuge konfiguriert hat, und den Modellanbieter, doch für jeden eingesetzten Agenten muss ein klarer Verantwortlicher benannt werden. Die vollständige Handlungsspur zu protokollieren ist das, was Verantwortlichkeit durchsetzbar macht.
Kann Prompt-Injection Agenten betreffen?
Ja, und der Einsatz ist höher als bei einem einfachen Chatbot. Liest ein Agent nicht vertrauenswürdige Inhalte mit versteckten Anweisungen, kann ein Angreifer ihn dazu bringen, seine Werkzeuge zu missbrauchen, etwa Daten an einen Ort zu senden, an den sie nicht gehören. Externe Eingaben zu isolieren und Werkzeugaufrufe vor der Ausführung zu prüfen, verringert das.
Was sollte ich für einen Agenten protokollieren?
Das Ziel, jede Planungsentscheidung, jeden Werkzeugaufruf mit seinen Ein- und Ausgaben sowie die abschließend ausgeführten Handlungen. Diese Spur lässt Sie das Verhalten prüfen, Vorfälle untersuchen und erklären, warum der Agent so gehandelt hat. Reine Ausgabeprotokolle reichen nicht, weil die Handlungen wichtiger sind als der Text.
Fallen Agenten unter den EU AI Act?
Wird ein Agent in einem Kontext eingesetzt, den der Rechtsakt als hochriskant einstuft, trägt er die Pflichten dieses Kontexts, darunter Risikomanagement, menschliche Aufsicht, Protokollierung und Robustheit. Das Rahmenwerk nimmt Agenten nicht aus. Die praktische Arbeit besteht darin, sicherzustellen, dass Aufsicht und Dokumentation die Handlungen des Agenten abdecken, nicht nur seinen erzeugten Text.
Zusammenfassung
Agentenbasierte KI plant, entscheidet und handelt auf ein Ziel hin, indem sie Werkzeuge nutzt und Schritte verkettet, oft ohne einen Menschen zwischen den einzelnen Schritten. Diese Autonomie und der Werkzeugzugriff machen Agenten mächtig und schwerer steuerbar: Das Verhalten ist weniger vorhersehbar, der Wirkungsradius ist größer, die Ursache ist schwerer nachzuverfolgen, und die Verantwortlichkeit geht leicht verloren. Steuern Sie Agenten, indem Sie Werkzeugberechtigungen eng beschränken, menschliche Kontrollpunkte und harte Grenzen für wirkungsstarke Handlungen einführen, die vollständige Entscheidungs- und Handlungsspur protokollieren, externe Eingaben als nicht vertrauenswürdig behandeln und für jeden eingesetzten Agenten einen klaren Verantwortlichen benennen.