Quality Gates vor dem Deployment: Wie ein KI-Modell sein Kennzeichen verdient
Niemand lässt ein Auto ohne Zulassung und Prüfung auf die Straße. Bei SIFAMO spricht kein Modell mit einem Kunden, bevor es neun Gates bestanden und sein Kennzeichen bekommen hat. Was diese Gates prüfen, wie ein Scheitern aussieht und warum KI Kontrolle ein Ablaufdatum auf jedem Kennzeichen braucht.
Ich habe KI-Modelle oft genug mit Autos ohne Kennzeichen verglichen. Heute will ich konkret werden, denn der Vergleich hilft nur als Prozess. „Keine Registrierung, kein Deployment“ ist die Regel in unserer Governance-Schicht. Die Registrierung ist der letzte Schritt eines Prozesses vor dem Deployment, und in diesem Prozess entscheidet sich, ob du die Kontrolle wirklich hast. Monitoring und Response funktionieren nur bei einem Modell, das sauber zugelassen wurde. Das hier ist die Version, die wir mit Banken, Versicherern und öffentlichen Auftraggebern fahren. Es ist kein juristisches Rahmenwerk, und es ist nicht vollständig.
Warum ein Modell sich das Recht verdienen muss, mit Kunden zu sprechen
Der Normalfall in vielen Unternehmen ist das Gegenteil. Ein Team baut einen Prototyp, er funktioniert in der Demo, jemand hängt ihn ans Kundenportal, und er ist in Produktion. Niemand hat aufgeschrieben, wofür er da ist, mit welchen Daten er trainiert wurde oder wer ihn abschaltet. Wenn die Aufsicht fragt, warum einem Kunden etwas Falsches gesagt wurde, ist die Antwort ein Schulterzucken.
Ein Gate dreht das um. Das Modell startet ohne Rechte. Jedes Gate gibt ihm eines dazu: pseudonymisierte Daten sehen, evaluiert werden, eine kleine Gruppe erreichen, schließlich mit der Öffentlichkeit sprechen. Kontrolle kommt vor dem Modell, nicht danach. Im regulierten Umfeld lautet die Frage nicht, ob du es bauen kannst. Sie lautet, ob du beweisen kannst, dass es nur tut, was es darf. Dieser Beweis ist der Kern von KI Governance, so wie wir sie verstehen.
Die neun Gates in unserem Prozess vor dem Deployment
Wir fahren diese Gates in fester Reihenfolge. Ein Modell, das an einem scheitert, kommt nicht weiter, denn die späteren Gates setzen voraus, dass die früheren halten.
Zweck und Risikoklassifizierung. Eine Seite: Was tut das Modell, wen betrifft es, welche Entscheidungen bereitet es vor oder trifft es, und welche Risikoklasse weist der fachliche Eigentümer zu. Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, und auf dieser Seite zeigst du später, wie du das System eingeordnet hast. Keine Seite, kein Eigentümer, kein nächstes Gate.
Datenherkunft und Nachweis der Pseudonymisierung. Für jede Trainings- und Retrieval-Quelle: Woher stammt sie, auf welcher Rechtsgrundlage, und der Beleg, dass personenbezogene Daten durch IDs ersetzt wurden, bevor das Modell sie gesehen hat. Wir prüfen das mit Stichproben in den Daten, nicht durch Lesen einer Richtlinie.
Ein Evaluationsset, das dem Fachbereich gehört. Der Benchmark des Anbieters sagt dir, wie das Modell bei den Fragen des Anbieters abschneidet. Wir brauchen ein paar hundert Fälle, die der Fachbereich selbst geschrieben hat, mit den Antworten, die er akzeptieren würde, inklusive der hässlichen Grenzfälle aus echten Beschwerden. Liefert der Anbieter den Test, benotet sich der Anbieter selbst.
Regressionstests bei jeder Änderung. Jede neue Modellversion, Prompt-Änderung oder Änderung am Retrieval-Index lässt das komplette Evaluationsset noch einmal laufen. Wir protokollieren das Ergebnis pro Fall, nicht nur den Durchschnitt, denn ein stabiler Durchschnitt kann zehn Fälle verstecken, die von richtig auf falsch gekippt sind.
Die ersten vier Gates klären, was das Modell ist und ob es funktioniert. Die nächsten fünf klären, ob man ihm Menschen anvertrauen kann.
Adversariale Tests, die zum Anwendungsfall passen. Prompt Injection über Dokumente, die das Modell liest, Versuche, die Daten eines anderen Kunden aus dem Kontext zu ziehen, Jailbreaks, die einen Schadenassistenten eine Auszahlung versprechen lassen. Wir schreiben die Angriffe für den konkreten Anwendungsfall; eine generische Jailbreak-Liste sagt wenig über ein Modell aus, das Rechnungen liest.
Bias-Prüfung, wo Entscheidungen über Menschen fallen. Wir lassen ansonsten identische Fälle mit variierten geschützten Merkmalen laufen. Kippt das Ergebnis mit einem Namen, einer Postleitzahl oder einem Geburtsdatum, bleibt das Modell hier stehen. Das ist der Ahmed-und-Stefan-Test, durchgeführt, bevor der erste echte Ahmed einen Antrag stellt.
Ein geprobter Rollback-Plan. Welche vorherige Version übernimmt, wer auslöst, wie lange es dauert, was mit laufenden Gesprächen passiert. Wir wollen gesehen haben, dass der Schalter in der Staging-Umgebung umgelegt wurde.
Freigabe durch Fachbereich, Risiko und IT. Drei Namen, drei Daten, der Evaluationsbericht im Anhang. Der Fachbereich bestätigt Zweck und Evaluationsset, das Risikomanagement bestätigt Klassifizierung und Bias-Ergebnisse, die IT bestätigt, dass Monitoring und Rollback angeschlossen sind.
Der Registrierungseintrag. Modell und Version, Eigentümer, erlaubter Einsatzbereich, Datenquellen, Ablaufdatum und Termin der Neubewertung. Dieser Eintrag ist das Kennzeichen. Die Governance-Schicht liest ihn zur Laufzeit: Ein Modell, dessen Einsatzbereich eine Anfrage nicht abdeckt oder dessen Kennzeichen abgelaufen ist, bekommt den Aufruf nicht.
Wie ein gescheitertes Gate in der Praxis aussieht
Scheitern ist selten dramatisch. Ein Team passt den Tonfall eines Kundenassistenten an, der Regressionslauf zeigt denselben Gesamtwert wie vorher, und das Protokoll pro Fall zeigt, dass vier Fälle zu Kündigungsfristen gekippt sind. Gate vier scheitert, die Änderung geht zurück, und die vier Fälle werden fester Bestandteil des Evaluationssets.
Ein anderes Muster: Ein Retrieval-Index bekommt eine neue Quelle, und die Herkunftsprüfung findet ein Netzlaufwerk mit ungeschwärzten Kundenbriefen. Das Modell hat bereits Namen gesehen. In unseren Zonen ist das rot. Der Index wird aus pseudonymisierten Quellen neu aufgebaut, und die Modellversion, die die Rohdaten berührt hat, wird stillgelegt, nicht geflickt.
Und der Fall, der am meisten schmerzt: Der Bias-Lauf bei einer Kreditvorprüfung zeigt eine Verschiebung, wenn nur der Vorname variiert. Alles andere war bestanden. Der Fachbereich will ausrollen, mit einem Menschen in der Schleife. Das Risikomanagement sagt nein, denn ein Mensch, dem eine verzerrte Empfehlung gezeigt wird, folgt ihr in der Regel. Kein Kennzeichen, bis die Trainingsdaten neu ausbalanciert sind und der Lauf sauber ist. Das kostet Wochen. Es ist trotzdem billiger als die Alternative.
Warum KI Kontrolle ein Ablaufdatum auf dem Kennzeichen braucht
Ein Kennzeichen ohne Ablaufdatum ist eine einmalige Prüfung, und das ist keine Kontrolle, das ist eine Momentaufnahme. Modelle driften, weil der Anbieter sie unter dir austauscht. Daten driften, weil sich Kunden, Produkte und Gesetze ändern. Ein Evaluationsset vom Frühjahr prüft eine Welt, die im Herbst nicht mehr existiert.
Deshalb trägt jeder Registrierungseintrag einen Termin für die Neubewertung, bei kundennahen Modellen in der Regel alle paar Monate, und sofort nach jedem Modellwechsel beim Anbieter. An diesem Termin wird der komplette Gate-Durchlauf wiederholt. Besteht das Modell, wird das Kennzeichen verlängert. Macht niemand die Arbeit, läuft das Kennzeichen ab, und die Governance-Schicht leitet keine Aufrufe mehr an das Modell. Ein Ablaufdatum, das niemand durchsetzt, ist eine Erinnerung, keine Kontrolle.
Offene Fragen
Aufsicht im großen Maßstab. Unsere Gates gehen von einer Handvoll Modelle pro Fachbereich aus. Wenn Dutzende Agenten sich gegenseitig aufrufen, wer hält dann das Kennzeichen für die Kombination, und wie bewertet man Verhalten, das erst in der Kette entsteht?
Robustheit. Eine adversariale Testsuite deckt die Angriffe ab, die wir kennen. Wir haben keine gute Methode, um abzuschätzen, wie viel der echten Angriffsfläche sie abdeckt, und diese Schätzung hätte das Risikomanagement gern.
Interpretierbarkeit. Eine Bias-Prüfung sagt uns, dass Ergebnisse kippen, nicht warum. Könnten wir sehen, auf welche Merkmale sich das Modell stützt, wäre das Ausbalancieren gezielt statt Versuch und Irrtum.
Ehrlichkeit. Das Evaluationsset prüft, ob Antworten richtig sind, nicht ob das Modell seine eigene Unsicherheit wahrheitsgemäß meldet. Das hätte ein eigenes Gate verdient, und wir wissen noch nicht, wie man es zuverlässig testet.
Häufige Fragen
Wem sollte das Evaluationsset gehören?
Dem Fachbereich, mit dessen Kunden das Modell spricht. Die IT kann das Set ausführen und der Anbieter Fälle vorschlagen, aber Besitz und Freigabe bleiben beim Fachbereich. Sonst misst der Test, was der Entwickler für wichtig hält.
Wie oft sollte ein Modell neu bewertet werden?
Bei jeder Änderung an Modell, Prompt oder Daten, und zusätzlich an einem festen Termin unabhängig von Änderungen. Bei kundennahen Modellen arbeiten wir mit Abständen von wenigen Monaten, und die ehrliche Antwort lautet: kürzer, als sich bequem anfühlt.
Was passiert mit einem Modell, das an einem Gate scheitert?
Es bleibt, wo es ist. War es bereits in Produktion, übernimmt die vorherige registrierte Version über den Rollback-Plan. Scheitern, Korrektur und Wiederholungstest werden im Registrierungseintrag dokumentiert, damit ein Prüfer später nicht nur sieht, dass das Modell bestanden hat, sondern auch, woran es zuerst gescheitert ist.
Quality Gates vor dem Deployment: Wie ein KI-Modell sein Kennzeichen verdient
Niemand lässt ein Auto ohne Zulassung und Prüfung auf die Straße. Bei SIFAMO spricht kein Modell mit einem Kunden, bevor es neun Gates bestanden und sein Kennzeichen bekommen hat. Was diese Gates prüfen, wie ein Scheitern aussieht und warum KI Kontrolle ein Ablaufdatum auf jedem Kennzeichen braucht.
Ich habe KI-Modelle oft genug mit Autos ohne Kennzeichen verglichen. Heute will ich konkret werden, denn der Vergleich hilft nur als Prozess. „Keine Registrierung, kein Deployment“ ist die Regel in unserer Governance-Schicht. Die Registrierung ist der letzte Schritt eines Prozesses vor dem Deployment, und in diesem Prozess entscheidet sich, ob du die Kontrolle wirklich hast. Monitoring und Response funktionieren nur bei einem Modell, das sauber zugelassen wurde. Das hier ist die Version, die wir mit Banken, Versicherern und öffentlichen Auftraggebern fahren. Es ist kein juristisches Rahmenwerk, und es ist nicht vollständig.
Warum ein Modell sich das Recht verdienen muss, mit Kunden zu sprechen
Der Normalfall in vielen Unternehmen ist das Gegenteil. Ein Team baut einen Prototyp, er funktioniert in der Demo, jemand hängt ihn ans Kundenportal, und er ist in Produktion. Niemand hat aufgeschrieben, wofür er da ist, mit welchen Daten er trainiert wurde oder wer ihn abschaltet. Wenn die Aufsicht fragt, warum einem Kunden etwas Falsches gesagt wurde, ist die Antwort ein Schulterzucken.
Ein Gate dreht das um. Das Modell startet ohne Rechte. Jedes Gate gibt ihm eines dazu: pseudonymisierte Daten sehen, evaluiert werden, eine kleine Gruppe erreichen, schließlich mit der Öffentlichkeit sprechen. Kontrolle kommt vor dem Modell, nicht danach. Im regulierten Umfeld lautet die Frage nicht, ob du es bauen kannst. Sie lautet, ob du beweisen kannst, dass es nur tut, was es darf. Dieser Beweis ist der Kern von KI Governance, so wie wir sie verstehen.
Die neun Gates in unserem Prozess vor dem Deployment
Wir fahren diese Gates in fester Reihenfolge. Ein Modell, das an einem scheitert, kommt nicht weiter, denn die späteren Gates setzen voraus, dass die früheren halten.
Die ersten vier Gates klären, was das Modell ist und ob es funktioniert. Die nächsten fünf klären, ob man ihm Menschen anvertrauen kann.
Wie ein gescheitertes Gate in der Praxis aussieht
Scheitern ist selten dramatisch. Ein Team passt den Tonfall eines Kundenassistenten an, der Regressionslauf zeigt denselben Gesamtwert wie vorher, und das Protokoll pro Fall zeigt, dass vier Fälle zu Kündigungsfristen gekippt sind. Gate vier scheitert, die Änderung geht zurück, und die vier Fälle werden fester Bestandteil des Evaluationssets.
Ein anderes Muster: Ein Retrieval-Index bekommt eine neue Quelle, und die Herkunftsprüfung findet ein Netzlaufwerk mit ungeschwärzten Kundenbriefen. Das Modell hat bereits Namen gesehen. In unseren Zonen ist das rot. Der Index wird aus pseudonymisierten Quellen neu aufgebaut, und die Modellversion, die die Rohdaten berührt hat, wird stillgelegt, nicht geflickt.
Und der Fall, der am meisten schmerzt: Der Bias-Lauf bei einer Kreditvorprüfung zeigt eine Verschiebung, wenn nur der Vorname variiert. Alles andere war bestanden. Der Fachbereich will ausrollen, mit einem Menschen in der Schleife. Das Risikomanagement sagt nein, denn ein Mensch, dem eine verzerrte Empfehlung gezeigt wird, folgt ihr in der Regel. Kein Kennzeichen, bis die Trainingsdaten neu ausbalanciert sind und der Lauf sauber ist. Das kostet Wochen. Es ist trotzdem billiger als die Alternative.
Warum KI Kontrolle ein Ablaufdatum auf dem Kennzeichen braucht
Ein Kennzeichen ohne Ablaufdatum ist eine einmalige Prüfung, und das ist keine Kontrolle, das ist eine Momentaufnahme. Modelle driften, weil der Anbieter sie unter dir austauscht. Daten driften, weil sich Kunden, Produkte und Gesetze ändern. Ein Evaluationsset vom Frühjahr prüft eine Welt, die im Herbst nicht mehr existiert.
Deshalb trägt jeder Registrierungseintrag einen Termin für die Neubewertung, bei kundennahen Modellen in der Regel alle paar Monate, und sofort nach jedem Modellwechsel beim Anbieter. An diesem Termin wird der komplette Gate-Durchlauf wiederholt. Besteht das Modell, wird das Kennzeichen verlängert. Macht niemand die Arbeit, läuft das Kennzeichen ab, und die Governance-Schicht leitet keine Aufrufe mehr an das Modell. Ein Ablaufdatum, das niemand durchsetzt, ist eine Erinnerung, keine Kontrolle.
Offene Fragen
Häufige Fragen
Wem sollte das Evaluationsset gehören?
Dem Fachbereich, mit dessen Kunden das Modell spricht. Die IT kann das Set ausführen und der Anbieter Fälle vorschlagen, aber Besitz und Freigabe bleiben beim Fachbereich. Sonst misst der Test, was der Entwickler für wichtig hält.
Wie oft sollte ein Modell neu bewertet werden?
Bei jeder Änderung an Modell, Prompt oder Daten, und zusätzlich an einem festen Termin unabhängig von Änderungen. Bei kundennahen Modellen arbeiten wir mit Abständen von wenigen Monaten, und die ehrliche Antwort lautet: kürzer, als sich bequem anfühlt.
Was passiert mit einem Modell, das an einem Gate scheitert?
Es bleibt, wo es ist. War es bereits in Produktion, übernimmt die vorherige registrierte Version über den Rollback-Plan. Scheitern, Korrektur und Wiederholungstest werden im Registrierungseintrag dokumentiert, damit ein Prüfer später nicht nur sieht, dass das Modell bestanden hat, sondern auch, woran es zuerst gescheitert ist.
Mehr zum Thema: KI Governance · EU AI Act · KI Berater
Recent Posts
Recent Comments