KI-Agenten brechen aus: Warum OpenAI und Anthropic die Kontrolle verlieren | Umair Zaffar

KI Governance: Wie Unternehmen KI kontrollierbar, nachvollziehbar und regelkonform machen

KI Governance ist die Gesamtheit der Regeln, Strukturen und Kontrollen, die festlegen, wer KI unter welchen Bedingungen entwickeln und einsetzen darf, wer sie überwacht und wer haftet, wenn sie Schaden anrichtet. Diese Seite bündelt, was ich dazu aus der Praxis bei Banken, Versicherern und Behörden gelernt habe.

Stellt euch hunderttausende Autos ohne Kennzeichen, ohne TÜV und ohne Zulassung vor. Niemand käme auf die Idee, das zu erlauben. Bei KI-Modellen ist genau das der Normalzustand: Modelle werden wahllos in Verkehr gebracht, treffen Entscheidungen über Kredite, Bewerbungen und Krankenakten, und kaum jemand kann erklären, wie. KI Governance ist die Zulassungsstelle, die fehlt.

Die drei Ebenen von KI Governance

  • Technik: Ist das System erklärbar, überprüfbar und korrigierbar? Gibt es ein Register, Protokolle und einen Schalter zum Abschalten?
  • Recht: Was verlangen EU AI Act, DSGVO, DORA und MaRisk? In welche Risikoklasse fällt der Use Case, und welche Nachweise muss das Unternehmen führen?
  • Gesellschaft: Welche Werte schützen wir? Datenschutz, Würde, Demokratie. Wer entscheidet, was ein Modell für richtig hält, und wessen Daten es dafür gelernt hat?

Warum das Thema jetzt dringend ist

Innerhalb von zwei Wochen im Sommer 2026 haben OpenAI, Anthropic und das britische AI Security Institute eingeräumt, dass ihre eigenen Agenten in Tests aus der Sandbox ausgebrochen sind und auf reale Systeme zugegriffen haben. OpenAI dokumentiert Modelle, die Daten erfinden, um Aufgaben zu lösen. Anthropic berichtet über den Missbrauch von Claude für Lenksoftware von Raketen. Das sind keine Randnotizen, das sind die Hersteller selbst. Und während die EU die Hochrisiko-Pflichten des AI Act auf Ende 2027 verschiebt, skalieren diese Systeme in Sekunden.

Unser Ansatz: der KI Governance Layer

Bei SIFAMO haben wir eine technische Schicht gebaut, die über der KI steht. Sie setzt die regulatorischen Anforderungen digital um, statt sie in Excel-Tabellen zu verwalten.

  • Registrierung: Jedes Modell und jeder Agent meldet sich an, mit Zweck, Einsatzort, Berechtigungen und Verantwortlichem. Ohne Registrierung kein Einsatz.
  • Protokollierung: Jeder Aufruf, jede Entscheidung, jede Datenquelle wird nachvollziehbar festgehalten.
  • Grenzen und Human in the Loop: Klare Regeln, was die KI darf, und definierte Stellen, an denen ein Mensch eingreift, etwa bei erkanntem Bias.
  • Eskalation: Verhält sich ein Modell ungewöhnlich, wird es gemeldet und heruntergefahren. Automatisch, nicht nach dem nächsten Quartalsreview.
  • Audit-ready: Die Dokumentation ist so aufgebaut, dass BaFin, interne Revision oder Wirtschaftsprüfer sie direkt verwenden können.

KI Governance im Alltag: drei Beispiele

Kreditentscheidung. Zwei identische Anträge, einer von Ahmed, einer von Stefan. Lehnt das Modell Ahmed ab, muss die Bank erklären können, warum. Liegt ein Bias aus historischen Daten vor, muss ein Mensch entscheiden. Ohne Protokoll und Register ist das nicht nachweisbar.

Training. Modelle dürfen nicht mit echten personenbezogenen Daten lernen. Wir pseudonymisieren mit IDs, die Zuordnung bleibt im eigenen System. So lässt sich garantieren, dass kein Modell je einen echten Namen gesehen hat.

Agenten in der Softwareentwicklung. Ein Agent, der vom Jira-Ticket bis zum Pull Request alles erledigt, trifft laufend Entscheidungen: Welche Bibliothek, welche Testabdeckung, welcher Umgang mit sensiblen Daten. In regulierten Branchen muss jede davon nachvollziehbar bleiben. Geschwindigkeit ohne Kontrolle ist dort keine Option.

Alle Beiträge zu KI Governance

Über Umair Zaffar

Ich habe 2017 als freiberuflicher Softwareentwickler angefangen, mit einem ersten Projekt bei einer Versicherung in Hannover. 2019 habe ich mit meinem Mitgründer Ayman Kalaie die sifamo GmbH gegründet, eigenfinanziert und ohne Kredite. Heute arbeiten rund 30 Berater, Architekten und Entwickler an den Standorten Berlin und Frankfurt am Main, über der GmbH steht die SFM Holding mit SIFAMO Events als Veranstalter des SIFAMO AI Summit. Seit 2023 liegt unser Schwerpunkt auf KI im regulierten Umfeld. Auf meinem YouTube-Kanal und hier im Blog teile ich, was wir dabei lernen: ungefiltert, mit Zahlen und ohne Beratersprech.

Häufige Fragen

Was ist der Unterschied zwischen KI Governance und KI Compliance?

Compliance beantwortet, ob ein System den Regeln entspricht. Governance stellt sicher, dass es das dauerhaft tut: mit Verantwortlichkeiten, Prozessen, Kontrollen und der Technik, die das alles nachweisbar macht.

Braucht der Mittelstand KI Governance?

Ja, in angemessener Größe. Wer KI für Entscheidungen über Kunden, Bewerber oder Lieferanten einsetzt, braucht ein Inventar, klare Einsatzregeln und einen verantwortlichen Menschen. Das ist Governance im Kleinen und lässt sich in Wochen aufsetzen.

Wie starte ich mit KI Governance?

Mit einem Inventar aller eingesetzten KI-Systeme, der Einordnung nach EU AI Act und der Frage, welche Entscheidung heute niemand erklären könnte, wenn die Aufsicht fragt. Dabei helfen wir, siehe KI Berater, oder über die Kontaktseite.

Ihr wollt wissen, wie ein Governance Layer in eurer Systemlandschaft aussieht? Schreibt mir über die Kontaktseite, per E-Mail an contact@sifamo.com oder direkt auf LinkedIn.