Investieren in Dubai als Deutscher: warum wir über die Holding gehen | Umair Zaffar

Human in the Loop skaliert nicht: KI Governance, die Volumen aushält

„Ein Mensch prüft jede Ausgabe“ bringt regulierte KI-Projekte durch die Genehmigung. Bei Volumen ist es das erste Versprechen, das bricht. Aufsicht, die Skalierung überlebt: Risikostufen, Trigger, Stichproben, Eskalation und ein Protokoll, dem du Monate später noch trauen kannst.

Jedes regulierte KI-Projekt, an dem ich beteiligt war, beginnt mit derselben Beruhigung. Das Modell schlägt vor, ein Mensch entscheidet, nichts verlässt ungeprüft das Haus. Das Problem ist, dass der Satz einen Piloten mit zweihundert Fällen pro Woche beschreibt, und niemand schreibt ihn um, wenn das System zwanzigtausend verarbeitet. KI Governance, die nur im Pilotvolumen funktioniert, ist keine Governance, sondern eine Folie.

Warum „ein Mensch prüft jede Ausgabe“ zusammenbricht

Bei niedrigem Volumen ist die vollständige Prüfung günstig und ehrlich. Dann verzehnfacht sich das Volumen, das Prüfteam nicht. Die Prüfzeit pro Fall sinkt unter die Zeit, die das Lesen des Falls braucht. Die Freigabequote steigt Richtung hundert Prozent, weil Freigeben ein Klick ist und Ablehnen eine Begründung verlangt. Der Mensch ist am Ende formal in der Schleife und praktisch draußen, während im Audit-Trail weiter bei jeder Entscheidung ein Prüfername steht. Das ist das schlechteste Ergebnis, weil es nach Kontrolle aussieht. Die Frage ist also: welcher Mensch, bei welchen Entscheidungen, mit welchen Informationen.

Risikostufen pro Entscheidungstyp, nicht pro System

Der erste Fehler ist, das System einzustufen statt der Entscheidungen, die es trifft. Ein einziger Assistent in einer Schadenabteilung kann ein Eingangsschreiben entwerfen, eine Auszahlungssumme vorschlagen und Betrugsverdacht markieren. Drei Entscheidungstypen, drei unterschiedliche Folgen. Ich stufe sie getrennt ein.

  • Stufe 1, umkehrbar und mit geringer Wirkung. Eine Ausgabe, die der Empfänger durchschauen und korrigieren kann, etwa ein Antwortentwurf. Automatisiert mit Zufallsstichprobe, keine Prüfung vor Freigabe.
  • Stufe 2, folgenreich, aber korrigierbar. Eine Empfehlung, die Geld, Zeit oder Zugang verändert. Freigabe nur durch einen Menschen, der Begründung, Quellen und angewandte Richtlinie des Modells sieht, nicht nur das Ergebnis.
  • Stufe 3, schwer umkehrbar oder rechtlich geschützt. Einen Kredit ablehnen, einen Bewerber aussortieren, Gesundheitsdaten berühren. Das Modell bereitet vor, ein Mensch entscheidet, ein zweiter Mensch sieht einen festgelegten Anteil der Fälle.

Die Stufen werden versioniert und zusammen mit dem Modell registriert. Die Regel aus unserer Governance-Schicht gilt auch hier: keine Registrierung, kein Einsatz. Ein Entscheidungstyp ohne Stufe geht nicht live.

Trigger: Konfidenz, Widerspruch und ehrliche Zufallsstichproben

Stufen legen das Maß an Aufsicht fest. Trigger entscheiden, welcher Fall vor einem Menschen landet.

Konfidenzsignale. Die eigene Konfidenz eines Modells ist schwach und oft schlecht kalibriert, aber nicht nutzlos. Ein Fall mit niedriger Konfidenz in Stufe 2 geht vor der Freigabe in die Prüfung. Hohe Konfidenz schafft kein Vertrauen, sie senkt nur die Priorität.

Widerspruchssignale. Deutlich stärker. Lass eine zweite, günstigere Prüfung mitlaufen: ein Regelwerk, einen Klassifikator, ein zweites Modell mit anderem Prompt oder einen Abgleich, ob die zitierten Quellen die Ausgabe überhaupt stützen. Wenn beide sich widersprechen, schaut ein Mensch hin. Das fängt die Fälle, in denen Konfidenz versagt: Das Modell ist sicher und falsch.

Zufallsstichproben. Sie finden, was kein Trigger vorhergesehen hat. Die Rate muss für das Volumen statistisch aussagekräftig sein: Berechne sie aus der Fehlerrate, die du erkennen willst, und der Sicherheit, die du brauchst, nicht daraus, wie viele Prüfer gerade frei sind. Für Stufe 3 ist es eine feste Untergrenze pro Prüfer pro Woche, damit niemand sie leise auf null dreht. Und das System zieht die Stichprobe, nicht das Team, denn Prüfer wählen die interessanten Fälle, und die stillen Fehler stecken in den langweiligen.

Eskalation: Schwellen, Rufbereitschaft und wann vier Augen wirklich helfen

Prüfung behandelt Einzelfälle, Eskalation behandelt Muster. Jeder Trigger speist einen Zähler mit Schwellen, und an jeder Schwelle hängt ein Name.

  • Die Ablehnungsquote in den Stichproben liegt einen Tag lang über dem vereinbarten Korridor: Product Owner und Modellverantwortlicher bekommen ein Ticket, der Entscheidungstyp bleibt live.
  • Die Widerspruchsrate verdoppelt sich innerhalb einer Stunde gegenüber ihrer Basislinie: Der Ingenieur in Rufbereitschaft wird alarmiert, was meistens heißt, dass sich eine Quelle, ein Prompt oder eine Modellversion unbemerkt geändert hat.
  • Ein einzelner Fall der Stufe 3 wird wegen Diskriminierung aufgehoben: Der Entscheidungstyp wird pausiert, die Risikofunktion noch am selben Tag informiert, und nichts läuft weiter, bevor die umliegenden Fälle geprüft sind.

Pausieren muss eine Handlung einer einzelnen Person sein. Wenn das Stoppen eines Entscheidungstyps einen Change Request braucht, hast du keinen Notausschalter.

Zwei Unterschriften unter jeder Ausgabe verdoppeln nicht die Qualität, sie halbieren die Aufmerksamkeit. Ich setze Vier-Augen-Regeln nur dort ein, wo eine zweite Person das Ergebnis verändert: Ablehnungen der Stufe 3, aufgehobene Fälle mit geschütztem Merkmal, die ersten hundert Fälle nach einem Modell- oder Richtlinienwechsel.

Was pro Entscheidung protokolliert wird

Die interne Revision oder die Aufsicht muss eine einzelne Entscheidung Monate später rekonstruieren können, ohne den Entwickler, der das System gebaut hat. Das Minimum pro Entscheidung:

  • Ein Hash der Eingaben, damit der exakte Fall überprüfbar ist, ohne personenbezogene Daten im Protokoll, passend zur Pseudonymisierung.
  • Modellkennung und Version, einschließlich der Versionsangabe des Anbieters, denn „das Modell“ ändert sich unter deinen Füßen.
  • Version der Prompt-Vorlage und Version der Richtlinie, die galt, wie registriert, nicht wie erinnert.
  • Die abgerufenen Quellen mit Dokumentversionen, denn eine richtige Antwort auf eine veraltete Richtlinie ist trotzdem eine falsche Entscheidung.
  • Die Ausgabe, die Konfidenz- und Widerspruchssignale sowie Stufe und Trigger, die den Fall geroutet haben.
  • Die Prüferaktion: freigegeben, korrigiert, abgelehnt oder eskaliert, mit Begründungskategorie und aufgewendeter Zeit. Die Zeit pro Prüfung ist die früheste Warnung vor dem Durchwinken, die du hast.

Die Schleife schließen: KI Governance, die von Prüfern lernt

Aufsicht, die nur Freigaben produziert, ist ein Kostenfaktor. Aufsicht, die das System verändert, ist eine Investition. Jeder korrigierte oder abgelehnte Fall bekommt eine Begründungskategorie, die auf einen von drei Orten für die Korrektur zeigt: den Prompt, den Abrufkorpus oder die Richtlinie. Änderungen an Prompts und Abruf bekommen eine neue Version und durchlaufen dieselbe Registrierung wie ein neues Modell. Und die Fälle, die eine Änderung ausgelöst haben, werden zu Regressionstests für die nächste Version.

Die Fehlermuster, die auf keiner Folie stehen

Prüfermüdung ist keine Charakterschwäche, sie ist ein Ergebnis der Planung. Obergrenzen für Fälle pro Prüfer pro Stunde und Rotation zwischen Entscheidungstypen bringen mehr als jede Schulung.

Durchwinken ist messbar. Wenn Freigabequote und Zeit pro Fall Richtung hundert Prozent und null Sekunden laufen, ist die Schleife tot. Ich behandle beide als Produktionsmetriken mit Alarmen.

Automation Bias ist am schwersten. Menschen folgen einem selbstsicheren System. Quellen und Begründung zu zeigen hilft, eine nackte Empfehlung mit grünem Häkchen schadet. Bekannt falsche Fälle in die Prüfwarteschlange einzuschleusen und zu messen, ob die Prüfer sie fangen, ist unbeliebt und der einzige verlässliche Test, den ich kenne.

Offene Fragen

  • Stichprobenraten und Schwellen, die heute stimmen, halten vielleicht nicht, wenn Modelle wöchentlich wechseln. Wie sich Aufsichtsbudgets an Drift anpassen sollten, ohne dass ein Mensch sie neu berechnet, ist offen.
  • Widerspruch zwischen zwei Modellen fängt Fehler nur, wenn ihre Fehlermuster unabhängig sind. Wie man diese Unabhängigkeit im Betrieb misst, ist eine Forschungsfrage mit praktischem Nutzen.
  • Die Begründung, die ein Modell dem Prüfer zeigt, ist selbst eine Modellausgabe. Ob sie wiedergibt, was die Entscheidung getrieben hat, oder eine plausible Geschichte im Nachhinein ist, entscheidet, wie sehr sie gegen Automation Bias schützt, und heute können wir das nicht verifizieren.
  • Ein Protokoll erlaubt, eine Entscheidung zu rekonstruieren. Es sagt nicht, ob das Modell bei anderer Formulierung anders geantwortet hätte. Wie viel Robustheitsnachweis ein Entscheidungsdatensatz tragen sollte, ist ungelöst.

Häufige Fragen

Verlangt der EU AI Act einen Human in the Loop?

Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein und verlangt menschliche Aufsicht für Hochrisikosysteme. Er beschreibt, was Aufsicht erreichen muss, nicht wie viele Menschen klicken müssen. Stufen und Trigger erfüllen dieses Ziel besser als eine Unterschrift unter jeder Ausgabe.

Wie lege ich die Stichprobenrate fest?

Aus der Fehlerrate, die du erkennen willst, und der Sicherheit, die du bei deinem Volumen brauchst, nicht aus der freien Kapazität. Wenn das mehr ist, als das Team prüfen kann, stimmt die Stufe oder das Volumen nicht, nicht die Rate.

Was protokollieren wir zuerst, wenn wir morgen anfangen?

Modellversion, Richtlinienversion und Prüferaktion pro Entscheidung. Diese drei zeigen dir schon, ob ein Problem beim Modell, bei den Regeln oder bei den Menschen liegt.

Mehr zum Thema: KI Governance · EU AI Act · KI Berater

Leave Comment