Ein langweiliger Tag als Gründer: Calls, Partnertermin, Reifenpanne | Umair Zaffar

Least Privilege für KI Agenten: Grenzen, Budgets und ein Notausschalter

Ein Agent, der Werkzeuge aufrufen kann, ist das erste KI-System, das handelt statt antwortet. Das ist die Kontrollarchitektur, auf der wir bestehen, bevor ein Agent die Produktion berührt, und warum ein Satz im Prompt keine Grenze ist.

Zwei Jahre lang lautete die Frage bei Sprachmodellen, ob die Antwort stimmt. Bei KI Agenten ändert sich die Frage. Ein Agent ist ein Modell, das APIs aufrufen, Dateien lesen und schreiben, Nachrichten verschicken und selbst entscheiden kann, was der nächste Schritt ist. Er antwortet nicht mehr nur, er handelt. Und eine Handlung in einer Bank oder bei einem Versicherer hat Folgen, die keine Korrektur im Chatfenster rückgängig macht.

Bei regulierten Unternehmen sehe ich immer dasselbe Muster. Die Demo ist beeindruckend, der Fachbereich ist begeistert, und niemand hat gefragt, was der Agent an dem Tag physisch tun kann, an dem er sich irrt. Deshalb haben wir uns eine Regel gegeben: Bevor ein Agent die Produktion berührt, müssen seine Grenzen existieren, getestet und dokumentiert sein. Kontrolle vor Modell, wie ich gern sage.

Warum ein Prompt keine Grenze ist

Die häufigste Absicherung, die ich in Agentenprojekten sehe, ist ein Satz im System-Prompt: lösche keine Datensätze, kontaktiere keine Kunden, bleib in diesem Ordner. Das ist billig und sieht aus wie eine Regel. Aber ein Prompt ist eine Anweisung an ein probabilistisches System. Er verschiebt Wahrscheinlichkeiten, er setzt keine Grenze. Das Modell kann ihn falsch lesen, ein Dokument, das der Agent liest, kann ihm widersprechen, und eine lange Aufgabe kann ihn aus dem Blick drängen.

Eine Grenze ist etwas, das der Agent nicht überschreiten kann, selbst wenn er es versucht. Wenn das Modell aktiv feindselig wäre, würde die Kontrolle dann noch halten? Ein Prompt fällt bei diesem Test jedes Mal durch. Eine Netzwerkrichtlinie ohne Route in die Produktion besteht ihn. Das ist der Unterschied zwischen einem Wunsch und einer Kontrolle, und ein Prüfer fragt nach Kontrollen.

Dasselbe gilt für das Versprechen des Agenten, sich zu benehmen. Ein Agent, der in seinen Plan schreibt „Ich werde nur lesen, nie schreiben“, hat Text produziert, keine Garantie. Wir protokollieren solche Aussagen. Als Kontrolle zählen wir sie nie.

Sieben Grenzen für KI Agenten, vor dem ersten Werkzeugaufruf

Das ist die Liste, die wir mit einem Kunden durchgehen, bevor der erste Aufruf in der Produktion stattfindet. Nichts daran ist exotisch. Es ist gewöhnliches Security Engineering, angewendet auf eine neue Art von Akteur.

  • Eine Allow-List von Werkzeugen und Berechtigungen pro Agent. Welche Werkzeuge der Agent aufrufen darf und pro Werkzeug: welche Systeme, welche Datensatztypen, lesen oder schreiben. Was nicht auf der Liste steht, existiert für den Agenten nicht. Die Liste liegt in der Governance-Schicht, nicht im Prompt, und ist Teil der Registrierung des Agenten. Keine Registrierung, kein Einsatz.
  • Eigene Zugangsdaten pro Agent, geringste Rechte. Ein Agent läuft nie auf dem Konto eines Menschen und teilt sich nie ein Service-Konto mit einem anderen Agenten. Seine Zugangsdaten tragen nur die Rechte, die die Allow-List braucht, und verfallen schnell. Wenn das Protokoll eine Handlung zeigt, will ich wissen, welcher Agent sie ausgeführt hat, nicht welches Team.
  • Eine Sandbox, die die Produktion konstruktionsbedingt nicht erreichen kann. Getestet wird in einer Umgebung, deren Netzwerkrichtlinie keine Route in die Produktion hat, ohne Produktionszugangsdaten in Reichweite und nur mit synthetischen oder pseudonymisierten Daten. Die Isolation wird von der Infrastruktur durchgesetzt, nicht dadurch, dass man dem Agenten sagt, wo er ist.
  • Budgets mit harten Stopps. Jeder Lauf bekommt eine Obergrenze für Schritte, Tokens, Laufzeit und Geld. Wird eine Grenze erreicht, stoppt der Lauf und ein Mensch wird benachrichtigt. Nicht gewarnt, gestoppt. Schleifen, die Geld verbrennen, sind der häufigste Agentenfehler, und ein Budget macht daraus einen Protokolleintrag.
  • Menschliche Freigabe für unumkehrbare Handlungen. Einen Kunden anschreiben, Geld bewegen, Daten löschen, eine Berechtigung ändern: Das landet in einer Freigabe-Warteschlange. Der Agent bereitet vor, eine namentlich benannte Person gibt frei, und die Freigabe wird mit der Identität dieser Person und genau dem Inhalt protokolliert, den sie gesehen hat.
  • Ein unveränderliches Handlungsprotokoll. Jeder Werkzeugaufruf mit Zeitstempel, Agentenidentität, Eingaben, Ausgaben und Entscheidungskontext geht in ein Protokoll, das der Agent nicht verändern kann. Keine Zusammenfassung, die der Agent schreibt, sondern die tatsächlichen Aufrufe. Das macht einen Agenten im Nachhinein erklärbar, überprüfbar und korrigierbar.
  • Ein Notausschalter, den der Fachbereich ziehen kann. Eine einzige Aktion, die die Zugangsdaten des Agenten widerruft und seine Läufe anhält, verfügbar für den fachlich Verantwortlichen und nicht nur für die Technik. Wenn die Person, die für einen Prozess verantwortlich ist, ihn um zwei Uhr nachts nicht stoppen kann, ist der Prozess nicht unter Kontrolle.

Wer wird alarmiert, und wann

Grenzen ohne Betriebsmodell sind Dokumentation. Deshalb legen wir für jeden Agenten fest, was an jeder Schwelle passiert. Ein Budget-Stopp alarmiert den Techniker in der Bereitschaft und informiert den fachlich Verantwortlichen. Eine Freigabeanfrage verfällt nach einer definierten Zeit, und Verfall heißt, die Handlung findet nicht statt. Ein blockierter Werkzeugaufruf, also der Versuch des Agenten, etwas außerhalb seiner Allow-List zu tun, ist ein Vorfall: Der Lauf stoppt, der Versuch wird protokolliert, und jemand sieht sich das noch am selben Tag an. Drei blockierte Aufrufe in einer Woche heißen, dass Aufgabe und Allow-List nicht zusammenpassen, und das ist eine Designfrage.

Die Governance-Schicht, die wir gebaut haben, registriert den Agenten mit seiner Allow-List und seinem Verantwortlichen, überwacht jeden Aufruf gegen diese Liste und führt die Reaktion aus, wenn etwas nicht stimmt. Registrierung, Überwachung, Reaktion. Agenten haben dieses Muster nicht verändert, sie haben es unvermeidbar gemacht. Die Regulierung zeigt in dieselbe Richtung: Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, und für Hochrisikosysteme verlangt er genau das, menschliche Aufsicht, Protokollierung und ein Risikomanagement, das ein Prüfer einsehen kann.

Grenzen testen, indem man sie absichtlich bricht

Eine Grenze, die nie angegriffen wurde, ist eine Annahme. Deshalb verbringen wir vor dem Go-live Zeit in der Staging-Umgebung und versuchen, auszubrechen. Wir geben dem Agenten eine Aufgabe, die sich nur lösen lässt, wenn er die Produktion erreicht, und prüfen, dass er scheitert. Wir platzieren ein Dokument, das den Agenten anweist, einem Kunden eine E-Mail zu schicken, und prüfen, dass die Nachricht die Sandbox nie verlässt. Wir geben dem Agenten absichtlich zu weit gefasste Zugangsdaten und bestätigen, dass die Allow-List den Aufruf trotzdem blockiert.

Jeder Versuch landet im Abnahmedokument. Gelingt ein Versuch, reparieren wir nicht den Prompt. Wir reparieren die Infrastruktur, denn der Prompt war nie die Kontrolle, und dann versuchen wir es erneut. Das ist unangenehm für Projektpläne, und es ist die günstigste Vorfallbehandlung, die ein Unternehmen je kaufen wird.

Offene Fragen

Dieses Design ist nicht fertig. Ein paar Dinge halten mich nachts wach, und sie sind Forschungsfragen genauso wie Engineering-Fragen.

  • Aufsicht in der Breite. Menschliche Freigabe funktioniert für zehn Agenten und hundert unumkehrbare Handlungen am Tag, nicht für tausend Agenten und eine Million Handlungen. Wie eine sinnvolle Freigabe in dieser Größenordnung aussieht und wie wir verhindern, dass der Mensch nur noch abnickt, ist ungelöst.
  • Robustheit der Grenze selbst. Netzwerkrichtlinien und Allow-Lists sind nur so gut wie ihre Konfiguration. Wie prüfen wir fortlaufend, nicht nur bei der Abnahme, dass die Sandbox keinen Weg nach draußen hat, während der Agent darin aktiv nach einem sucht?
  • Interpretierbarkeit der Absicht. Das Handlungsprotokoll sagt uns, was der Agent getan hat, nicht warum. Für ein Muster aus einzeln erlaubten Aufrufen, die zusammen etwas Verbotenes bewirken, haben wir derzeit kein verlässliches Signal.
  • Ehrlichkeit des Agenten über sich selbst. Agenten berichten über ihren eigenen Fortschritt und ihre Pläne. Wir behandeln diese Berichte als nicht vertrauenswürdig. Eine Methode, um zu wissen, wann man sich auf die Selbstauskunft eines Agenten verlassen kann, würde die Ökonomie der Aufsicht komplett verändern.

Häufige Fragen

Was bedeutet Least Privilege für KI Agenten?

Der Agent bekommt nur die Werkzeuge, Berechtigungen und Zugangsdaten, die seine definierte Aufgabe braucht, und nichts anderes ist erreichbar. Die Grenze wird von der Infrastruktur durchgesetzt, nicht durch eine Anweisung im Prompt.

Reicht ein System-Prompt, um einen Agenten in Grenzen zu halten?

Nein. Ein Prompt verändert Wahrscheinlichkeiten, eine Grenze entfernt Optionen. Nutze den Prompt für Qualität und die Infrastruktur für Grenzen.

Wer sollte einen Agenten stoppen können?

Der fachlich Verantwortliche des Prozesses, die Techniker, die ihn betreiben, und die Governance-Funktion. Stoppen muss eine einzige Aktion sein, die Zugangsdaten widerruft und alle Läufe anhält, geübt vor dem Go-live, nicht während des ersten Vorfalls.

Mehr zum Thema: KI Governance · EU AI Act · KI Berater

Leave Comment