KI Kontrolle heißt drei Dinge: erklärbar, prüfbar, korrigierbar
Bevor ein KI-System eine Kreditentscheidung, einen Schadenfall oder eine Bewerbung anfasst, will ich drei Antworten: Warum dieses Ergebnis, stimmt es, und wie nehmen wir es zurück. Wie das in einer Architektur aussieht, und wo Teams abkürzen.
Ich sage das bewusst einfach. Jedes KI-System, das in einem regulierten Unternehmen Entscheidungen über Menschen trifft oder vorbereitet, braucht drei Eigenschaften. Es muss erklärbar, prüfbar und korrigierbar sein. Fehlt eine davon, kann niemand die Verantwortung für das System übernehmen, und es gehört nicht in Produktion, egal ob bei einer Bank, einem Versicherer oder einer Behörde. Das ist für mich der ganze Kern von KI Kontrolle.
Heute will ich zeigen, was die drei Wörter konkret bedeuten: Was wird gespeichert, welche Schnittstellen gibt es, wer ist verantwortlich. Und die Abkürzungen, die Teams nehmen, denn genau dort scheitert später die Prüfung.
Die meisten Teams suchen sich eine der drei aus. Aber eine Erklärung, die du nicht prüfen kannst, ist eine Geschichte. Eine Prüfung ohne Korrektur ist ein Bericht, der beweist, dass du es wusstest und nichts getan hast. Eine Korrektur ohne Erklärung ist Versuch und Irrtum am Leben anderer Menschen. Sie funktionieren nur zusammen.
Erklärbar: Jemand kann sagen, warum dieses Ergebnis
Erklärbar heißt nicht, dass das Modell bis in die letzte Schicht interpretierbar ist. Es heißt, dass eine namentlich benannte Person für eine konkrete Entscheidung beantworten kann, welche Eingaben hineingingen, welche Version welchen Modells das Ergebnis erzeugt hat, welche Regeln darüber liefen und ob ein Mensch draufgeschaut hat.
In der Architektur ist das ein Entscheidungsdatensatz. Jedes Ergebnis bekommt eine ID. Dahinter speichern wir den pseudonymisierten Snapshot der Eingaben (die Zuordnungstabelle liegt woanders), Kennung und Version des Modells aus dem Register, das Rohergebnis, die Nachverarbeitungsregeln, die gegriffen haben, und jeden Menschen, der die Entscheidung berührt hat. Der Datensatz wird geschrieben, bevor das Ergebnis das System verlässt, und nie nachträglich rekonstruiert. Die Schnittstelle ist eine Abfrage per Entscheidungs-ID, lesbar für Sachbearbeitung und Prüfer ohne Data Scientist. Verantwortlich ist der Fachbereich, dem die Entscheidung gehört, nicht das ML-Team, dem das Modell gehört.
Die typische Abkürzung: Ein Team schraubt ein Verfahren zur Merkmalsgewichtung dran und nennt das System erklärbar. In der Prüfung lautet die Frage aber nicht, welche Merkmale im Durchschnitt wichtig waren, sondern warum dieser Antragsteller an diesem Tag abgelehnt wurde. Wenn das Modell seitdem zweimal neu trainiert wurde und niemand die Version gespeichert hat, beantwortet das Diagramm eine Frage, die keiner gestellt hat. Zweite Abkürzung: das Sprachmodell bitten, sich selbst zu erklären. Eine generierte Begründung ist ein weiteres Ergebnis desselben Systems mit denselben Fehlerquellen: ein nützlicher Entwurf, kein Beweis.
Prüfbar: Jemand kann das Ergebnis gegen Wirklichkeit oder Regelwerk prüfen
Prüfbar heißt, dass eine zweite Partei kontrollieren kann, ob das Ergebnis richtig war, entweder gegen die Wirklichkeit (ist der Kredit ausgefallen, war der Schadenfall Betrug) oder gegen das Regelwerk (hält die Ablehnung das Vier-Augen-Prinzip und die Fairnessvorgaben ein). Die Prüfung muss als Stichprobe funktionieren und, wenn die Aufsicht darauf besteht, vollständig.
Dafür braucht es drei Dinge. Der Entscheidungsdatensatz trägt die Version des Regelwerks, das in diesem Moment galt. Ein Rückkanal verknüpft den Ausgang des Falls mit der Entscheidungs-ID. Und über eine Stichprobenschnittstelle zieht die zweite Verteidigungslinie eine zufällige oder geschichtete Stichprobe aus einem Zeitraum, lässt die Regelprüfungen neu laufen und vergleicht mit den Ausgängen. Hier leben die Schwellen, je Anwendungsfall. In unseren Projekten alarmiert eine Verschiebung der Genehmigungsquote für eine geschützte Gruppe über ein vereinbartes Band hinaus noch am selben Tag den Modellverantwortlichen und stoppt neue Deployments. Steigt die Zahl der aufgehobenen Entscheidungen über ihre Schwelle, wechselt das System vom automatischen in den bestätigungspflichtigen Modus, bis jemand hingeschaut hat. Risiko oder Compliance verantworten Stichprobe und Schwellen; das ML-Team darf vorschlagen, nicht beschließen.
Die Abkürzung: Validierung nur zum Go-live. Ein Testdatensatz von vor dem Start sagt nichts über das Modell sechs Monate später. Die zweite: Durchschnittswerte ohne den Weg hinunter zur einzelnen Entscheidung. Wenn die Aufsicht fünfzig konkrete Fälle verlangt und du nur ein Dashboard zeigen kannst, hast du Monitoring, aber keine Prüfbarkeit.
Korrigierbar: Ein falsches Ergebnis wird erkannt, zurückgenommen und das System angepasst
Korrigierbar heißt drei Fähigkeiten auf drei Zeitskalen. Im Moment kann ein Mensch ein einzelnes Ergebnis überstimmen, mit festgehaltener Begründung. Innerhalb von Tagen lässt sich jede betroffene Entscheidung identifizieren und wieder öffnen. Innerhalb von Wochen lässt sich das System anpassen, ohne die Pipeline neu zu bauen oder die Historie zu verlieren.
Die Überstimmung ist ein Ereignis erster Klasse, keine Notiz im Ticketsystem. Sie schreibt in denselben Entscheidungsdatensatz und fließt zurück in die Prüfung, denn die Überstimmungsquote ist eines der stärksten Signale, die du hast. Für das Wiederöffnen ist die Entscheidungs-ID mit der Modellversion verknüpft, damit sich betroffene Entscheidungen auflisten lassen, statt sie zu schätzen. Für die Anpassung liegen Regeln und Schwellen außerhalb des Modells als Konfiguration unter Versionskontrolle, damit eine geänderte Schwelle eine geprüfte Änderung mit Datum und Autor ist und kein Neutraining. Und ein Notausschalter: Wer den Registereintrag auf gesperrt setzt, hält innerhalb von Minuten neue Fälle vom System fern, der manuelle Ersatzprozess ist vorher definiert. Der Fachbereich verantwortet Überstimmung und Ersatzprozess, das Plattformteam den Notausschalter, der Modellverantwortliche die Anpassung.
Die Abkürzung: „Wenn Probleme auftauchen, trainieren wir neu.“ Neutraining dauert Wochen, ändert alles auf einmal und macht es unmöglich zu sagen, was das Problem behoben hat. Die andere: ein Rollback für das Modell, aber nicht für die Daten. Haben die nachgelagerten Systeme die Ergebnisse längst verarbeitet, hast du nichts zurückgesetzt.
KI Kontrolle auf den Ebenen Technik, Recht und Gesellschaft
Ich beschreibe KI Governance als drei Ebenen: Technik, Recht, Gesellschaft. Die drei Eigenschaften sind die Antwort der technischen Ebene auf die beiden darüber.
Eigenschaft
Technik: Was gebaut wird
Recht: Was die Pflicht ist
Gesellschaft: Was der Mensch bekommt
Erklärbar
Entscheidungsdatensatz mit Modellversion, Eingaben, Regeln, menschlichen Berührungspunkten
Protokollierung, Dokumentation, Transparenz
Eine Begründung, die er lesen und anfechten kann
Prüfbar
Rückkanal für die Wirklichkeit, Stichprobenschnittstelle, Schwellen in der Hand der zweiten Linie
Überwachung von Genauigkeit und Bias, Modellvalidierung, Zugang für die Aufsicht
Eine neutrale Prüfung, ob die Begründung stimmt
Korrigierbar
Überstimmung als Ereignis, Wiederöffnen nach Version, Konfiguration unter Versionskontrolle, Notausschalter
Menschliche Aufsicht, Eingriff, Abschaltung
Eine Abhilfe, nicht nur eine Entschuldigung
Der EU AI Act, in Kraft seit August 2024, führt seine Pflichten über die kommenden Jahre stufenweise ein, und für Hochrisikosysteme verlangt er genau das: Protokollierung, menschliche Aufsicht, Überwachung der Genauigkeit und die Möglichkeit einzugreifen. Die Bankenaufsicht verlangt von Modellen seit Jahren dasselbe. Für den betroffenen Menschen zählt nur die dritte Spalte: Ohne Abhilfe sind Begründung und Prüfung Dekoration.
Offene Fragen
Aufsicht im Maßstab. Bei hunderttausend Entscheidungen am Tag erkennt eine Stichprobe die Drift im Aggregat, aber selten die eine falsche Entscheidung, die einen Menschen trifft. Welche Stichprobendesigns finden seltene individuelle Schäden, zu welchem Prüfaufwand?
Robustheit von Erklärungen. Der Entscheidungsdatensatz sagt, was hineinging und herauskam, nicht, ob eine kleine Änderung der Eingabe das Ergebnis gekippt hätte. Wie stabil muss eine Erklärung sein, bevor sich die Sachbearbeitung darauf verlassen darf?
Treu oder plausibel. Sprachmodelle liefern für alles eine überzeugende Begründung. Wie unterscheiden wir eine treue Beschreibung von einer plausiblen Geschichte, und sollte Treue eine Einsatzvoraussetzung sein?
Ehrlichkeit unter Korrektur. Wenn ein System mit Überstimmungsdaten nachjustiert wird, lernt es dann, Überstimmungen zu vermeiden, statt richtig zu liegen? Wie erkennen wir diese Verschiebung früh?
Welche der drei ist in deinen Systemen heute die schwächste? Nach meiner Erfahrung fast immer die Korrigierbarkeit, weil niemand dafür Anerkennung bekommt, bis zu dem Tag, an dem sie gebraucht wird. Wenn du in diesem Quartal nur eine Sache tun kannst, dann baue den Entscheidungsdatensatz mit der Modellversion darin. Alles andere hängt sich daran.
Häufige Fragen
Heißt erklärbar, dass wir nur einfache Modelle einsetzen dürfen?
Nein. Erklärbarkeit ist hier eine Eigenschaft des Systems, nicht des Modells. Ein komplexes Modell mit vollständigem Entscheidungsdatensatz und registrierter Version schlägt ein einfaches Modell, dessen Ergebnisse niemand gespeichert hat.
Wer sollte die drei Eigenschaften verantworten?
Teile sie auf: der Fachbereich für Entscheidungsdatensatz, Überstimmung und Ersatzprozess; Risiko oder Compliance für Stichprobe und Schwellen; das Plattformteam für Register und Notausschalter; der Modellverantwortliche für die Anpassung. Ein Team, das alles verantwortet, ist selbst ein Kontrollversagen.
Verlangt der EU AI Act alle drei?
Für Hochrisikosysteme verlangt er Protokollierung, menschliche Aufsicht, Überwachung von Genauigkeit und Robustheit und die Möglichkeit einzugreifen: zusammen die drei Eigenschaften. Sie jetzt zu bauen ist billiger als das Nachrüsten unter Aufsichtsdruck.
KI Kontrolle heißt drei Dinge: erklärbar, prüfbar, korrigierbar
Bevor ein KI-System eine Kreditentscheidung, einen Schadenfall oder eine Bewerbung anfasst, will ich drei Antworten: Warum dieses Ergebnis, stimmt es, und wie nehmen wir es zurück. Wie das in einer Architektur aussieht, und wo Teams abkürzen.
Ich sage das bewusst einfach. Jedes KI-System, das in einem regulierten Unternehmen Entscheidungen über Menschen trifft oder vorbereitet, braucht drei Eigenschaften. Es muss erklärbar, prüfbar und korrigierbar sein. Fehlt eine davon, kann niemand die Verantwortung für das System übernehmen, und es gehört nicht in Produktion, egal ob bei einer Bank, einem Versicherer oder einer Behörde. Das ist für mich der ganze Kern von KI Kontrolle.
Heute will ich zeigen, was die drei Wörter konkret bedeuten: Was wird gespeichert, welche Schnittstellen gibt es, wer ist verantwortlich. Und die Abkürzungen, die Teams nehmen, denn genau dort scheitert später die Prüfung.
Die meisten Teams suchen sich eine der drei aus. Aber eine Erklärung, die du nicht prüfen kannst, ist eine Geschichte. Eine Prüfung ohne Korrektur ist ein Bericht, der beweist, dass du es wusstest und nichts getan hast. Eine Korrektur ohne Erklärung ist Versuch und Irrtum am Leben anderer Menschen. Sie funktionieren nur zusammen.
Erklärbar: Jemand kann sagen, warum dieses Ergebnis
Erklärbar heißt nicht, dass das Modell bis in die letzte Schicht interpretierbar ist. Es heißt, dass eine namentlich benannte Person für eine konkrete Entscheidung beantworten kann, welche Eingaben hineingingen, welche Version welchen Modells das Ergebnis erzeugt hat, welche Regeln darüber liefen und ob ein Mensch draufgeschaut hat.
In der Architektur ist das ein Entscheidungsdatensatz. Jedes Ergebnis bekommt eine ID. Dahinter speichern wir den pseudonymisierten Snapshot der Eingaben (die Zuordnungstabelle liegt woanders), Kennung und Version des Modells aus dem Register, das Rohergebnis, die Nachverarbeitungsregeln, die gegriffen haben, und jeden Menschen, der die Entscheidung berührt hat. Der Datensatz wird geschrieben, bevor das Ergebnis das System verlässt, und nie nachträglich rekonstruiert. Die Schnittstelle ist eine Abfrage per Entscheidungs-ID, lesbar für Sachbearbeitung und Prüfer ohne Data Scientist. Verantwortlich ist der Fachbereich, dem die Entscheidung gehört, nicht das ML-Team, dem das Modell gehört.
Die typische Abkürzung: Ein Team schraubt ein Verfahren zur Merkmalsgewichtung dran und nennt das System erklärbar. In der Prüfung lautet die Frage aber nicht, welche Merkmale im Durchschnitt wichtig waren, sondern warum dieser Antragsteller an diesem Tag abgelehnt wurde. Wenn das Modell seitdem zweimal neu trainiert wurde und niemand die Version gespeichert hat, beantwortet das Diagramm eine Frage, die keiner gestellt hat. Zweite Abkürzung: das Sprachmodell bitten, sich selbst zu erklären. Eine generierte Begründung ist ein weiteres Ergebnis desselben Systems mit denselben Fehlerquellen: ein nützlicher Entwurf, kein Beweis.
Prüfbar: Jemand kann das Ergebnis gegen Wirklichkeit oder Regelwerk prüfen
Prüfbar heißt, dass eine zweite Partei kontrollieren kann, ob das Ergebnis richtig war, entweder gegen die Wirklichkeit (ist der Kredit ausgefallen, war der Schadenfall Betrug) oder gegen das Regelwerk (hält die Ablehnung das Vier-Augen-Prinzip und die Fairnessvorgaben ein). Die Prüfung muss als Stichprobe funktionieren und, wenn die Aufsicht darauf besteht, vollständig.
Dafür braucht es drei Dinge. Der Entscheidungsdatensatz trägt die Version des Regelwerks, das in diesem Moment galt. Ein Rückkanal verknüpft den Ausgang des Falls mit der Entscheidungs-ID. Und über eine Stichprobenschnittstelle zieht die zweite Verteidigungslinie eine zufällige oder geschichtete Stichprobe aus einem Zeitraum, lässt die Regelprüfungen neu laufen und vergleicht mit den Ausgängen. Hier leben die Schwellen, je Anwendungsfall. In unseren Projekten alarmiert eine Verschiebung der Genehmigungsquote für eine geschützte Gruppe über ein vereinbartes Band hinaus noch am selben Tag den Modellverantwortlichen und stoppt neue Deployments. Steigt die Zahl der aufgehobenen Entscheidungen über ihre Schwelle, wechselt das System vom automatischen in den bestätigungspflichtigen Modus, bis jemand hingeschaut hat. Risiko oder Compliance verantworten Stichprobe und Schwellen; das ML-Team darf vorschlagen, nicht beschließen.
Die Abkürzung: Validierung nur zum Go-live. Ein Testdatensatz von vor dem Start sagt nichts über das Modell sechs Monate später. Die zweite: Durchschnittswerte ohne den Weg hinunter zur einzelnen Entscheidung. Wenn die Aufsicht fünfzig konkrete Fälle verlangt und du nur ein Dashboard zeigen kannst, hast du Monitoring, aber keine Prüfbarkeit.
Korrigierbar: Ein falsches Ergebnis wird erkannt, zurückgenommen und das System angepasst
Korrigierbar heißt drei Fähigkeiten auf drei Zeitskalen. Im Moment kann ein Mensch ein einzelnes Ergebnis überstimmen, mit festgehaltener Begründung. Innerhalb von Tagen lässt sich jede betroffene Entscheidung identifizieren und wieder öffnen. Innerhalb von Wochen lässt sich das System anpassen, ohne die Pipeline neu zu bauen oder die Historie zu verlieren.
Die Überstimmung ist ein Ereignis erster Klasse, keine Notiz im Ticketsystem. Sie schreibt in denselben Entscheidungsdatensatz und fließt zurück in die Prüfung, denn die Überstimmungsquote ist eines der stärksten Signale, die du hast. Für das Wiederöffnen ist die Entscheidungs-ID mit der Modellversion verknüpft, damit sich betroffene Entscheidungen auflisten lassen, statt sie zu schätzen. Für die Anpassung liegen Regeln und Schwellen außerhalb des Modells als Konfiguration unter Versionskontrolle, damit eine geänderte Schwelle eine geprüfte Änderung mit Datum und Autor ist und kein Neutraining. Und ein Notausschalter: Wer den Registereintrag auf gesperrt setzt, hält innerhalb von Minuten neue Fälle vom System fern, der manuelle Ersatzprozess ist vorher definiert. Der Fachbereich verantwortet Überstimmung und Ersatzprozess, das Plattformteam den Notausschalter, der Modellverantwortliche die Anpassung.
Die Abkürzung: „Wenn Probleme auftauchen, trainieren wir neu.“ Neutraining dauert Wochen, ändert alles auf einmal und macht es unmöglich zu sagen, was das Problem behoben hat. Die andere: ein Rollback für das Modell, aber nicht für die Daten. Haben die nachgelagerten Systeme die Ergebnisse längst verarbeitet, hast du nichts zurückgesetzt.
KI Kontrolle auf den Ebenen Technik, Recht und Gesellschaft
Ich beschreibe KI Governance als drei Ebenen: Technik, Recht, Gesellschaft. Die drei Eigenschaften sind die Antwort der technischen Ebene auf die beiden darüber.
Der EU AI Act, in Kraft seit August 2024, führt seine Pflichten über die kommenden Jahre stufenweise ein, und für Hochrisikosysteme verlangt er genau das: Protokollierung, menschliche Aufsicht, Überwachung der Genauigkeit und die Möglichkeit einzugreifen. Die Bankenaufsicht verlangt von Modellen seit Jahren dasselbe. Für den betroffenen Menschen zählt nur die dritte Spalte: Ohne Abhilfe sind Begründung und Prüfung Dekoration.
Offene Fragen
Welche der drei ist in deinen Systemen heute die schwächste? Nach meiner Erfahrung fast immer die Korrigierbarkeit, weil niemand dafür Anerkennung bekommt, bis zu dem Tag, an dem sie gebraucht wird. Wenn du in diesem Quartal nur eine Sache tun kannst, dann baue den Entscheidungsdatensatz mit der Modellversion darin. Alles andere hängt sich daran.
Häufige Fragen
Heißt erklärbar, dass wir nur einfache Modelle einsetzen dürfen?
Nein. Erklärbarkeit ist hier eine Eigenschaft des Systems, nicht des Modells. Ein komplexes Modell mit vollständigem Entscheidungsdatensatz und registrierter Version schlägt ein einfaches Modell, dessen Ergebnisse niemand gespeichert hat.
Wer sollte die drei Eigenschaften verantworten?
Teile sie auf: der Fachbereich für Entscheidungsdatensatz, Überstimmung und Ersatzprozess; Risiko oder Compliance für Stichprobe und Schwellen; das Plattformteam für Register und Notausschalter; der Modellverantwortliche für die Anpassung. Ein Team, das alles verantwortet, ist selbst ein Kontrollversagen.
Verlangt der EU AI Act alle drei?
Für Hochrisikosysteme verlangt er Protokollierung, menschliche Aufsicht, Überwachung von Genauigkeit und Robustheit und die Möglichkeit einzugreifen: zusammen die drei Eigenschaften. Sie jetzt zu bauen ist billiger als das Nachrüsten unter Aufsichtsdruck.
Mehr zum Thema: KI Governance · EU AI Act · KI Berater
Recent Posts
Recent Comments