Keeping AI Controllable in Production: The Governance Layer We Built for Banks and Insurers
Umair Zaffar November 18, 2026 0 Comments

Jedes produktive KI-System in einer Bank oder einer Versicherung trifft Entscheidungen über Menschen oder bereitet sie vor. Die meisten laufen ohne Register, ohne Grenzen und ohne ein Protokoll, das eine Aufsicht lesen könnte. Das hier ist die Architektur, die wir bei SIFAMO seit 2024 bauen, um das zu ändern: ein Governance Layer zwischen Fachseite und Modellen, der KI Kontrolle in der Produktion zu einer Eigenschaft der Infrastruktur macht. Hier steht, wie er funktioniert, was er per Konstruktion verweigert, was wir auf dem Weg falsch gemacht haben und welche Fragen wir noch nicht beantworten können.

Die Idee habe ich in kurzen Videos und Beiträgen schon beschrieben: eine Zulassungsstelle für KI, so wie jedes Auto erst durch die Zulassung muss, bevor es ein Kennzeichen bekommt. Dieser Beitrag ist die lange Version für Engineers, Risikoteams und Forschende. Er beschreibt die Komponenten, die Daten, die zwischen ihnen fließen, und die Regeln, die im Code durchgesetzt werden statt in einem Richtliniendokument. Er ist aus der Praxis in regulierten Branchen geschrieben, in denen BaFin, DORA, MaRisk und der EU AI Act den Rahmen setzen, aber nichts daran ist spezifisch für Deutschland.

Das Designprinzip: Kontrolle vor Modell

Wir starten ein Projekt nie mit dem Modell. Wir starten mit vier Fragen: Wem gehört dieses System? Was darf es sehen und tun? Woher wissen wir hinterher, was es getan hat? Wer kann es stoppen, und wie schnell? Das Modell wird zuletzt gewählt, weil Modelle alle paar Monate wechseln und die Antworten auf diese vier Fragen das nicht tun sollten.

Die Konsequenz ist eine Architektur, in der die Fachanwendung nie direkt mit einem Modell spricht. Jeder Aufruf geht durch ein Gateway, das das Register kennt, den Scope durchsetzt, die Daten pseudonymisiert, die Nachweise schreibt und an einen Menschen eskaliert, wenn die Signale das verlangen. Wenn das Gateway dich nicht kennt, bekommst du kein Modell. Diese eine Regel beseitigt den häufigsten Fehlerfall, den wir im Feld sehen: das Schatten-Deployment, das niemand registriert hat, niemand evaluiert hat und niemand abschalten kann.

Die Architektur

FACHSEITEGOVERNANCE LAYERMODELLE UND AGENTENFachanwendungenSchaden, Kredit, HR, Service DeskRufen das Gateway, nie ein ModellUse-Case-ID in jedem RequestMenschliche AufsichtGestuft: voll, Stichprobe, keineEskalations-Queue mit ZuständigenEntscheidungen fließen in PoliciesBusiness OwnerUnterschreibt den RegistereintragHält den Kill Switch pro ModellSetzt Risikostufe und Re-EvaluationRegisterEin Eintrag pro Modell oder Agent:Owner, Zweck, Risikoklasse, Scope,Version, Eval-Ergebnisse, AblaufKeine Registrierung, keine RouteEindeutige ID: das KennzeichenPolicy GatewayEin Eingang für alle AufrufeScope- und Datenzonen-PrüfungPseudonymisierung: IDs statt NamenTool-Allow-Lists und BudgetsOhne Beleg: Enthaltung, EskalationEvidence LogAppend-only, pro Entscheidung:Input-Hash, Datenreferenz, Modellund Version, Quellen, Policy-Version,Output, Signale, PrüferaktionMonate später rekonstruierbarSprachmodelleHosted oder on-premise, versioniertErreichbar nur über das GatewayRetrieval (RAG)Zugriffsrechte gelten pro AbfrageHerkunft pro Chunk gespeichertAgenten und ToolsLeast Privilege, eigene CredentialsSandbox im Netzwerk, nicht im PromptRequest mit Use-Case-IDLookupEintraggerouteter AufrufEskalationAlerts, Drift, Out-of-ScopeDas Monitoring liest Evidence Log und Gateway; ein Modell, dessen Registrierung abläuft, verliert seine Route automatisch.

Abbildung: der Governance Layer zwischen Fachanwendungen und Modellen. Die Pfeile zeigen den Request-Pfad, den Register-Lookup, den Eintrag ins Evidence Log und die beiden Eskalationspfade zum Menschen.

1. Register: das Kennzeichen

Das Register hält einen Eintrag pro Modell oder Agent in Produktion. Es ist die Quelle der Wahrheit für die Frage „Was darf hier laufen, für wen, und bis wann?“. Ein Eintrag sieht vereinfacht so aus:

{
  "model_id": "DE-B-2026-0143",
  "owner": "Leiter Schaden, Geschäftsbereich Kraftfahrt",
  "purpose": "Vorklassifizierung eingehender Schadenmeldungen (Routing, keine Entscheidung)",
  "risk_class": "begrenzt (EU AI Act), Stufe 2 (intern)",
  "scope": {"data_zones": ["green", "gray-with-pseudonyms"], "actions": ["classify", "summarise"], "tools": []},
  "model": {"provider": "gehostetes LLM", "version": "2026-09-r2", "prompt_version": "claims-routing-v14"},
  "evaluation": {"set": "claims-eval-2026Q3 (412 Fälle)", "passed": "2026-10-02", "bias_check": "bestanden"},
  "oversight": {"review": "Stichprobe 5 %, blinde Nachprüfung 1 %", "escalation": "Konfidenz unter Schwellwert oder Widerspruch zur Regel-Engine"},
  "expiry": "2027-04-02",
  "kill_switch": "Business Owner, Risiko, IT-Betrieb"
}

Drei Felder leisten die meiste Arbeit. Scope ist das, was das Gateway pro Request durchsetzt: Datenzonen, erlaubte Aktionen, erlaubte Tools. Evaluation ist der Beleg, dass das Modell die Gates vor dem Deployment bestanden hat, und zwar auf einem Testset, das der Fachseite gehört, nicht dem Anbieter. Expiry erzwingt die Re-Evaluation: Ein Modell, dessen Registrierung abläuft, verliert seine Route automatisch, weil Modelle driften, Daten driften und die Menschen, die den Eintrag unterschrieben haben, weiterziehen.

2. Policy Gateway: die einzige Tür

Alle Modellaufrufe, Retrieval-Abfragen und Tool-Aufrufe von Agenten laufen durch das Gateway. Pro Request tut es fünf Dinge, in dieser Reihenfolge: Es löst die Use-Case-ID zu einem Registereintrag auf und weist unbekannte ab; es prüft die Datenzone der Payload gegen den Scope; es pseudonymisiert personenbezogene Daten, sodass IDs zum Modell gehen und Namen nie, und mappt die IDs auf dem Rückweg zurück; es wendet Budgets und Allow-Lists für Agenten an (Schritte, Tokens, Zeit, Tools); und es bewertet die Output-Signale, die zwischen Zurückgeben, Enthalten und Eskalieren entscheiden. Das Gateway ist absichtlich langweilige Software. Sein Wert liegt darin, dass es genau eines davon gibt.

3. Evidence Log: rekonstruierbare Entscheidungen

Das Evidence Log, das Nachweisprotokoll, ist append-only und wird vom Gateway geschrieben, nicht von der Anwendung. Pro Entscheidung speichern wir: einen Hash des Inputs und eine Referenz auf die pseudonymisierte Payload, die Modell- und Prompt-Version, die abgerufenen Quellen mit ihren Dokumentversionen, die geltende Policy-Version, den Output, die Signale (Beleg aus dem Retrieval, Übereinstimmung mit einer Regel-Engine, wo es eine gibt, Enthaltung) und die Aktion des Prüfers, wenn ein Mensch beteiligt war. Der Test, den wir anlegen, ist einfach: Kann ein Prüfer neun Monate später rekonstruieren, warum dieser Schadenfall so geroutet wurde, ohne den Engineer zu fragen, der das gebaut hat? Wenn die Antwort Nein ist, ist das Log unvollständig.

4. Menschliche Aufsicht: gestuft, nicht total

„Ein Mensch prüft jeden Output“ ist das Versprechen, das alle geben und keiner bei Volumen hält. Wir stufen es. Entscheidungen mit hoher Wirkung auf Menschen bekommen eine vollständige Prüfung, bevor irgendetwas das System verlässt. Outputs mit mittlerer Wirkung bekommen eine Stichprobenprüfung in einer Rate, die für das Volumen statistisch aussagekräftig ist, plus eine blinde Nachprüfung einer kleineren Stichprobe, um Durchwinken zu erkennen. Outputs mit geringer Wirkung bekommen nur Monitoring. Jede Prüferaktion wird protokolliert und zurückgespielt: in die Prompt-Version, das Retrieval-Set oder die Policy. Aufsicht, die das System nicht verändert, ist Theater.

5. Monitoring und der Kill Switch

Das Monitoring liest Gateway und Evidence Log und achtet auf drei Dinge: Drift in der Verteilung der Outputs, Out-of-Scope-Versuche (ein Request mit Daten, für die das Modell nicht registriert ist, ein Agent, der ein Tool probiert, das nicht auf seiner Liste steht) und Widerspruch zwischen dem Modell und dem unabhängigen Signal, das es gibt. Alerts gehen an den Business Owner, nicht nur an die Technik. Der Kill Switch ist ein Flag im Register, das das Gateway bei jedem Aufruf liest, und der Business Owner kann es ohne Deployment setzen. Wir haben auf die harte Tour gelernt: Ein Kill Switch, den nur Engineers ziehen können, ist keine Kontrolle, der die Fachseite vertraut.

Was der Layer per Konstruktion verweigert

  • Ein nicht registriertes Modell. Es gibt keine Route dafür. Das ist die wirksamste Kontrolle, die wir haben, weil sie Governance aus einem Review-Meeting in eine Routing-Tabelle verwandelt.
  • Rohe personenbezogene Daten in einem Prompt. Die Pseudonymisierungsstufe ersetzt Identifikatoren durch IDs, bevor das Modell irgendetwas sieht. Freitext wird zusätzlich von Namen und Adressen bereinigt, weil Menschen sie in Kommentarfelder schreiben.
  • Ein Tool-Aufruf außerhalb der Allow-List. Agenten bekommen eigene Credentials mit den minimal nötigen Rechten und eine Sandbox, die über Netzwerk-Policy definiert ist. Ein Prompt, der sagt „greife nicht auf die Produktion zu“, ist eine Anweisung, keine Grenze.
  • Eine Entscheidung mit hoher Wirkung ohne Prüfer. Das Gateway hält sie in der Eskalations-Queue. Die Anwendung bekommt „pending“, keine Antwort.
  • Eine Antwort ohne Beleg. Wo Retrieval im Spiel ist, wird ein Output, dessen Aussagen nicht durch eine abrufbare Quelle gedeckt sind, als ungeprüft zurückgegeben oder gar nicht, je nach Stufe.

Wo das auf die Regulierung trifft

Ich bin Engineer, kein Jurist, deshalb halte ich das kurz. Der EU AI Act verlangt von Hochrisiko-Systemen Risikomanagement, Protokollierung, menschliche Aufsicht und technische Dokumentation. BaFin, MaRisk und DORA verlangen von Banken nachvollziehbare Entscheidungen, kontrollierte Auslagerung und operative Resilienz. Der Governance Layer ist unsere Antwort auf alles davon mit einem einzigen Stück Infrastruktur: Das Register ist die Dokumentation, das Evidence Log ist die Protokollierung, die Stufen sind die Aufsicht, die Gates sind das Risikomanagement. Aufsichtsbehörden wollen kein Foliendeck über verantwortungsvolle KI. Sie wollen eine Entscheidung herausziehen und ihre Geschichte sehen. Mehr zur rechtlichen Seite in meiner Übersicht zum EU AI Act.

Was wir falsch gemacht haben

  • Wir haben alles geloggt und dann nichts gefunden. Das erste Evidence Log war ein Dump aus Requests und Responses. Audits wurden zu Archäologie. Der strukturierte Eintrag oben ist das Ergebnis dieses Fehlers.
  • Wir haben der Konfidenz des Modells vertraut. Eine flüssige Antwort ist keine richtige, und ein selbst gemeldeter Score ist für Entscheidungen über Menschen nicht kalibriert. Wir sind auf externe Signale umgestiegen: Beleg aus dem Retrieval, Übereinstimmung mit unabhängigen Regeln, Konsistenz über mehrere Samples und Enthaltung als vollwertiges Ergebnis.
  • Wir haben Grenzen in Prompts gepackt. Sie hielten bis zum ersten kreativen Nutzer. Grenzen leben jetzt im Gateway und im Netzwerk, und wir versuchen, sie im Staging zu brechen, bevor es jemand anderes tut.
  • Prüfer fingen an, Dinge durchzuwinken. Stichprobenprüfung in konstanter Rate erzeugte innerhalb von Wochen Automation Bias. Die blinde Nachprüfung und die Feedback-Schleife haben das meiste davon behoben, nicht mehr Prüfer.
  • Niemand wollte den Kill Switch verantworten. Bis zum ersten Vorfall. Die Verantwortung ist jetzt Teil des Registereintrags, und nichts geht live ohne einen Namen in diesem Feld.

Offene Fragen

Das ist der Teil, den ich am spannendsten finde, und der Grund, warum ich die Forschung aus den Safety-Teams der großen Labs genauer lese als ihre Produktankündigungen.

  • Aufsicht im großen Maßstab. Gestufte Prüfung funktioniert bei den heutigen Volumen und den heutigen Modellfähigkeiten. Wie bleibt der Human in the Loop mehr als eine Formalie, wenn Modelle mehr Entscheidungen vorbereiten, als jedes Stichprobenschema abdecken kann, und wenn die Modelle die Aufgabe besser beherrschen als der Prüfer?
  • Kontrolle, die gegen einen fähigen Gegner hält. Unsere Grenzen sind gegen Fehler und gegen Nutzer gebaut. Die Berichte dieses Jahres über Agenten, die ihre Testumgebungen verlassen, legen nahe, dass die Frage „Würde diese Grenze gegen ein Modell halten, das sie umgehen will?“ nicht mehr akademisch ist. Über diese Berichte habe ich in KI-Agenten brechen aus geschrieben.
  • Erklärungen, die stimmen. Der EU AI Act will, dass Entscheidungen erklärt werden. Ein Modell kann eine plausible Erklärung produzieren, die nichts damit zu tun hat, wie es zu seinem Output gekommen ist. Interpretability-Forschung ist der einzige Weg, den ich zu Erklärungen sehe, denen eine Aufsicht tatsächlich vertrauen sollte.
  • Ehrlichkeitssignale. Enthaltung und Retrieval-Beleg sind Hilfsgrößen. Was wir eigentlich wollen, ist ein verlässliches Signal vom Modell selbst, dass es etwas nicht weiß, und einen Weg zu prüfen, dass dieses Signal nicht manipuliert wird.

Häufige Fragen

Erhöht das Gateway die Latenz?

Ja, im Bereich von einigen zehn Millisekunden für Register-Lookup, Pseudonymisierung und Logging. Niemand in einem regulierten Prozess hat den Layer je aus diesem Grund abgelehnt. Abgelehnt wird er, wenn er nicht da ist und die Prüfung kommt.

Funktioniert das mit jedem Modellanbieter?

Ja. Der Layer ist per Design anbieterunabhängig; der Registereintrag nennt Anbieter und Version, das Gateway spricht mit dem, was dahinter steht. Ein Modellwechsel ist eine Änderung im Register plus ein Lauf durch die Gates, kein Neubau.

Ist das nur für Hochrisiko-Systeme?

Nein. Die Stufen machen es für Systeme mit geringem Risiko günstig: Registrierung, ein leichtes Gate, nur Monitoring. Der Punkt ist, dass jedes System bekannt ist. Die teuren Kontrollen sind für Entscheidungen über Menschen reserviert.

Über den Autor

Ich bin Umair Zaffar, Gründer und CEO der sifamo GmbH, einer KI-Beratung für regulierte Branchen mit Standorten in Berlin und Frankfurt. Ich komme aus der Enterprise-Architektur und habe große Plattformen für Banken, Versicherer und den öffentlichen Sektor gebaut, bevor ich mich KI in der Produktion zugewandt habe. Wie das Unternehmen entstanden ist, steht auf meiner Gründerseite; was wir für Kunden tun, unter KI Governance. Kommentare, Widerspruch und bessere Ideen sind auf LinkedIn willkommen.

Mehr zum Thema: KI Governance · EU AI Act · KI Berater · KI Experte

Leave Comment