Warum ich einem selbstsicheren Modell nicht traue: Wer prüft die Zahlen?
Eine flüssige Antwort ist keine richtige Antwort. Warum Sprachmodelle keinen eingebauten Zweifel kennen, was Kalibrierung für Entscheidungen über Menschen bedeutet, und die eine Regel, die ich jedem Kunden empfehle: Keine KI-generierte Zahl kommt ohne Quelle und Prüfer in ein Entscheidungsdokument.
Ich sehe in fast jedem Unternehmen dieselbe Szene. Jemand kopiert eine generierte Folie in die Vorstandspräsentation. Auf der Folie stehen eine Marktgröße, eine Ausfallquote, eine Personalprognose. Die Zahlen wirken plausibel, die Formatierung stimmt. Und niemand am Tisch stellt die einzige Frage, die zählt: Wer hat das geprüft? Für mich ist genau diese Frage der Kern von KI Kontrolle. Nicht das Modell, nicht der Prompt, sondern der Moment, in dem eine Zahl das System verlässt und eine Entscheidung zu prägen beginnt.
Flüssig ist nicht richtig
Ein großes Sprachmodell ist darauf trainiert, das nächste Wort zu erzeugen, das am besten passt. Passen heißt statistisch plausibel angesichts von allem, was das Modell gesehen hat, nicht wahr. Deshalb sieht eine Halluzination nicht wie eine Halluzination aus. Sie sieht aus wie die richtige Antwort, mit demselben Ton und derselben Sicherheit. Wir haben ein Leben lang gelernt, flüssige und selbstsichere Sprache als Kompetenz zu lesen. Bei einem Sprachmodell fällt dieses Signal weg.
Das ist kein Fehler, den die nächste Version behebt. Neuere Modelle erfinden in Tests weniger Fakten, aber eine niedrigere Quote ist immer noch eine Quote, und niemand im Vorstand weiß, welche der zwanzig Zahlen auf der Folie die falsche ist. Je besser die Modelle darin werden, richtig zu klingen, desto gefährlicher werden die verbleibenden Fehler, weil weniger Menschen nachprüfen.
Es gibt kein eingebautes „Ich bin mir nicht sicher“
Ich werde oft gefragt, warum das Modell nicht einfach sagt, wenn es etwas nicht weiß. Die ehrliche Antwort: Es hat keinen Ort, an dem Wissen wohnt. Der Satz „Ich bin mir nicht sicher“ ist selbst nur Text, den das Modell in bestimmten Kontexten zu erzeugen gelernt hat. Wer ein brauchbares Unsicherheitssignal will, muss es um das Modell herum bauen. In unseren Projekten arbeiten wir mit vier Quellen:
Selbstkonsistenz. Dieselbe Frage mehrfach stellen, mit variierter Formulierung oder variiertem Sampling. Ändert sich die Zahl zwischen den Durchläufen, hat man keine Zahl, sondern eine Schätzung. Wir protokollieren die Streuung, nicht nur die Antwort.
Belege aus dem Retrieval. Jede Tatsachenbehauptung muss auf eine Stelle in den eigenen Dokumenten des Unternehmens zeigen. Keine Stelle, keine Behauptung. Die Quellenangabe wird maschinell geprüft: Steht diese Zahl tatsächlich in der zitierten Passage?
Übereinstimmung zwischen Modellen. Zwei Modelle, die unabhängig auf dieselbe Zahl kommen, sind ein schwacher Beleg. Zwei, die sich widersprechen, sind ein starker Beleg dafür, dass ein Mensch hinschauen muss.
Enthaltung. Das System darf, und in definierten Fällen muss es, mit „aus den vorliegenden Daten nicht bestimmbar“ antworten. Ein Werkzeug, das immer antwortet, liegt regelmäßig falsch.
Keines dieser Signale ist perfekt. Zusammen machen sie aus einem nackten Satz etwas, das ein Prüfer beurteilen kann.
Was Kalibrierung für Entscheidungen über Menschen bedeutet
Kalibrierung ist eine einfache Idee mit harten Folgen. Wenn ein System sagt, es sei zu 90 Prozent sicher, sollte es in etwa neun von zehn Fällen recht haben. Über viele Antworten gemessen sind die meisten Systeme das nicht, und am überzuversichtlichsten sind sie dort, wo die Daten dünn sind. Bei einer Kreditentscheidung, einem Versicherungsfall oder einer Bewerbervorauswahl ist es ein Governance-Problem. Ein schlecht kalibrierter Score bedeutet, dass der Mensch in der Schleife auf die falschen Fälle schaut: Das System markiert fünfzig Entscheidungen als unsicher und winkt die fünf durch, die tatsächlich falsch waren.
Deshalb messen wir die Kalibrierung, bevor ein Modell eine Entscheidung über eine Person beeinflussen darf, und erneut im Betrieb, denn Konfidenzwerte driften, wenn die Daten driften. Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, und für Hochrisikosysteme verlangt er genau diese laufende Überwachung von Genauigkeit und Robustheit. Ohne sie ist der Mensch in der Schleife Dekoration.
Die Prüfung gehört vor den Moment, in dem die Zahl das System verlässt
Das übliche Muster lautet: generieren, einfügen, präsentieren, und wenn jemand im Meeting widerspricht, hinterher prüfen. Das ist die falsche Reihenfolge. Sobald eine Zahl auf einer Folie vor dem Vorstand stand, hat sie ihre Arbeit getan. Die Menschen haben sich an ihr verankert. In der Governance-Schicht, die wir bei SIFAMO bauen, ist die Prüfung ein Schritt in der Pipeline, nicht ein Termin im Kalender:
Jede generierte Zahl wird mit Prompt, Modellversion, abgerufenen Quellen und den oben genannten Unsicherheitssignalen protokolliert.
Eine Zahl ohne auflösbare Quelle wird als ungeprüft markiert und kann nicht in eine Dokumentvorlage exportiert werden. Technisch blockiert, nicht nur unerwünscht.
Zahlen oberhalb einer definierten Wesentlichkeitsschwelle, etwa alles, was in einen Aufsichtsbericht oder eine Entscheidung über einen Kunden geht, werden an einen namentlich benannten Prüfer geleitet. Name und Zeitstempel landen im Protokoll.
Überschreitet die Streuung der Selbstkonsistenz oder der Widerspruch zwischen Modellen einen Schwellenwert, wird die Zahl zurückgehalten und der Verantwortliche des Anwendungsfalls alarmiert, nicht die Person, die den Prompt getippt hat.
Das ist dieselbe Logik wie unsere Regel für Modelle: keine Registrierung, kein Einsatz. Eine Zahl, die niemand zurückverfolgen kann, hat in einer Entscheidung nichts zu suchen. Wo die Prüfung stattfindet, entscheidet darüber, ob es KI Governance ist oder Schadensbegrenzung.
Die einfache Organisationsregel für KI Kontrolle
Jede KI-generierte Zahl trägt ihre Quelle und ihren Prüfer, oder sie kommt nicht in ein Entscheidungsdokument. Das ist die ganze Regel, und sie überlebt jeden Modellwechsel. Sie verändert das Verhalten schnell, weil Einfügen ohne Quelle jetzt eine sichtbare Lücke erzeugt. Und sie macht die Verantwortungsfrage beantwortbar. Wenn die Aufsicht fragt, sagst du nicht, die KI habe das gesagt. Du sagst, wer es geprüft hat, wogegen und wann.
Was das für interne Werkzeuge bedeutet
Drei Konsequenzen für jedes interne Werkzeug, das wir bauen oder prüfen, egal ob es Berichte entwirft, Fragen über Dokumente beantwortet oder Fälle zusammenfasst:
Generierte Inhalte sind als generiert gekennzeichnet. Im Dokument, in der API-Antwort, im Datenbankfeld. Keine Fußnote im Handbuch, sondern ein Merkmal an den Daten selbst.
Jede veröffentlichte Zahl hat einen menschlichen Eigentümer. Eine Person, kein Teampostfach. Verlässt der Eigentümer das Unternehmen, wird die Zahl neu zugeordnet oder zurückgezogen.
Kennzeichnung und Eigentümer reisen mit den Daten. Wird eine Zahl aus dem Werkzeug in eine Präsentation kopiert, kommen die Metadaten mit. Kann ein Werkzeug das noch nicht, beliefert es noch keine Entscheidungsdokumente.
Es ist derselbe Gedanke wie das Kennzeichen für Modelle, auf das ich immer wieder zurückkomme: Man sollte auf einen Blick erkennen, woher etwas stammt und wer dafür geradesteht.
Offene Fragen
Aufsicht im großen Maßstab. Ein benannter Prüfer funktioniert bei fünfzig Zahlen pro Woche. Wer prüft, wenn ein System fünfzigtausend erzeugt, und wie zieht man Stichproben, sodass die gefährlichen Zahlen in der Stichprobe landen?
Robustheit der Signale. Selbstkonsistenz und Modellübereinstimmung lassen sich von einem Modell täuschen, das selbstsicher und konsistent falsch liegt. Wie gut halten diese Näherungen bei Datenverschiebungen stand?
Interpretierbarkeit. Können die inneren Repräsentationen eines Modells ein besseres Unsicherheitssignal liefern als seine eigenen Worte, und würde ein Prüfer ein solches Signal als Nachweis akzeptieren?
Ehrlichkeit. Ein Modell, das auf Hilfsbereitschaft trainiert ist, meldet Zweifel zu selten. Wie trainiert und verifiziert man ein Modell, das bei dünner Datenlage „Ich weiß es nicht“ einer plausiblen Zahl vorzieht?
Häufige Fragen
Was ist eine Halluzination bei einem Sprachmodell?
Eine flüssige, selbstsichere Aussage, die weder durch die Trainingsdaten noch durch die bereitgestellten Dokumente gedeckt ist. Sie entsteht, weil das Modell auf plausiblen Text optimiert, nicht auf Wahrheit. Am Wortlaut allein ist sie nicht zu erkennen, nur durch externe Prüfungen wie Retrieval-Belege oder wiederholtes Sampling.
Was bedeutet Kalibrierung bei einem KI-System?
Kalibrierung beschreibt, ob die vom System gemeldete Sicherheit zu seiner tatsächlichen Trefferquote passt. Ein gut kalibriertes System, das 80 Prozent sagt, liegt in etwa vier von fünf Fällen richtig.
Wer sollte KI-generierte Zahlen im Unternehmen prüfen?
Eine namentlich benannte Person, der die Zahl gehört, nicht die Person, die den Prompt getippt hat. Die Prüfung gehört in die Pipeline, vor den Export in ein Dokument, mit Quelle, Modellversion und Prüfer im Protokoll. Keine Quelle und kein Prüfer, kein Eintrag in ein Entscheidungsdokument.
Warum ich einem selbstsicheren Modell nicht traue: Wer prüft die Zahlen?
Eine flüssige Antwort ist keine richtige Antwort. Warum Sprachmodelle keinen eingebauten Zweifel kennen, was Kalibrierung für Entscheidungen über Menschen bedeutet, und die eine Regel, die ich jedem Kunden empfehle: Keine KI-generierte Zahl kommt ohne Quelle und Prüfer in ein Entscheidungsdokument.
Ich sehe in fast jedem Unternehmen dieselbe Szene. Jemand kopiert eine generierte Folie in die Vorstandspräsentation. Auf der Folie stehen eine Marktgröße, eine Ausfallquote, eine Personalprognose. Die Zahlen wirken plausibel, die Formatierung stimmt. Und niemand am Tisch stellt die einzige Frage, die zählt: Wer hat das geprüft? Für mich ist genau diese Frage der Kern von KI Kontrolle. Nicht das Modell, nicht der Prompt, sondern der Moment, in dem eine Zahl das System verlässt und eine Entscheidung zu prägen beginnt.
Flüssig ist nicht richtig
Ein großes Sprachmodell ist darauf trainiert, das nächste Wort zu erzeugen, das am besten passt. Passen heißt statistisch plausibel angesichts von allem, was das Modell gesehen hat, nicht wahr. Deshalb sieht eine Halluzination nicht wie eine Halluzination aus. Sie sieht aus wie die richtige Antwort, mit demselben Ton und derselben Sicherheit. Wir haben ein Leben lang gelernt, flüssige und selbstsichere Sprache als Kompetenz zu lesen. Bei einem Sprachmodell fällt dieses Signal weg.
Das ist kein Fehler, den die nächste Version behebt. Neuere Modelle erfinden in Tests weniger Fakten, aber eine niedrigere Quote ist immer noch eine Quote, und niemand im Vorstand weiß, welche der zwanzig Zahlen auf der Folie die falsche ist. Je besser die Modelle darin werden, richtig zu klingen, desto gefährlicher werden die verbleibenden Fehler, weil weniger Menschen nachprüfen.
Es gibt kein eingebautes „Ich bin mir nicht sicher“
Ich werde oft gefragt, warum das Modell nicht einfach sagt, wenn es etwas nicht weiß. Die ehrliche Antwort: Es hat keinen Ort, an dem Wissen wohnt. Der Satz „Ich bin mir nicht sicher“ ist selbst nur Text, den das Modell in bestimmten Kontexten zu erzeugen gelernt hat. Wer ein brauchbares Unsicherheitssignal will, muss es um das Modell herum bauen. In unseren Projekten arbeiten wir mit vier Quellen:
Keines dieser Signale ist perfekt. Zusammen machen sie aus einem nackten Satz etwas, das ein Prüfer beurteilen kann.
Was Kalibrierung für Entscheidungen über Menschen bedeutet
Kalibrierung ist eine einfache Idee mit harten Folgen. Wenn ein System sagt, es sei zu 90 Prozent sicher, sollte es in etwa neun von zehn Fällen recht haben. Über viele Antworten gemessen sind die meisten Systeme das nicht, und am überzuversichtlichsten sind sie dort, wo die Daten dünn sind. Bei einer Kreditentscheidung, einem Versicherungsfall oder einer Bewerbervorauswahl ist es ein Governance-Problem. Ein schlecht kalibrierter Score bedeutet, dass der Mensch in der Schleife auf die falschen Fälle schaut: Das System markiert fünfzig Entscheidungen als unsicher und winkt die fünf durch, die tatsächlich falsch waren.
Deshalb messen wir die Kalibrierung, bevor ein Modell eine Entscheidung über eine Person beeinflussen darf, und erneut im Betrieb, denn Konfidenzwerte driften, wenn die Daten driften. Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, und für Hochrisikosysteme verlangt er genau diese laufende Überwachung von Genauigkeit und Robustheit. Ohne sie ist der Mensch in der Schleife Dekoration.
Die Prüfung gehört vor den Moment, in dem die Zahl das System verlässt
Das übliche Muster lautet: generieren, einfügen, präsentieren, und wenn jemand im Meeting widerspricht, hinterher prüfen. Das ist die falsche Reihenfolge. Sobald eine Zahl auf einer Folie vor dem Vorstand stand, hat sie ihre Arbeit getan. Die Menschen haben sich an ihr verankert. In der Governance-Schicht, die wir bei SIFAMO bauen, ist die Prüfung ein Schritt in der Pipeline, nicht ein Termin im Kalender:
Das ist dieselbe Logik wie unsere Regel für Modelle: keine Registrierung, kein Einsatz. Eine Zahl, die niemand zurückverfolgen kann, hat in einer Entscheidung nichts zu suchen. Wo die Prüfung stattfindet, entscheidet darüber, ob es KI Governance ist oder Schadensbegrenzung.
Die einfache Organisationsregel für KI Kontrolle
Jede KI-generierte Zahl trägt ihre Quelle und ihren Prüfer, oder sie kommt nicht in ein Entscheidungsdokument. Das ist die ganze Regel, und sie überlebt jeden Modellwechsel. Sie verändert das Verhalten schnell, weil Einfügen ohne Quelle jetzt eine sichtbare Lücke erzeugt. Und sie macht die Verantwortungsfrage beantwortbar. Wenn die Aufsicht fragt, sagst du nicht, die KI habe das gesagt. Du sagst, wer es geprüft hat, wogegen und wann.
Was das für interne Werkzeuge bedeutet
Drei Konsequenzen für jedes interne Werkzeug, das wir bauen oder prüfen, egal ob es Berichte entwirft, Fragen über Dokumente beantwortet oder Fälle zusammenfasst:
Es ist derselbe Gedanke wie das Kennzeichen für Modelle, auf das ich immer wieder zurückkomme: Man sollte auf einen Blick erkennen, woher etwas stammt und wer dafür geradesteht.
Offene Fragen
Häufige Fragen
Was ist eine Halluzination bei einem Sprachmodell?
Eine flüssige, selbstsichere Aussage, die weder durch die Trainingsdaten noch durch die bereitgestellten Dokumente gedeckt ist. Sie entsteht, weil das Modell auf plausiblen Text optimiert, nicht auf Wahrheit. Am Wortlaut allein ist sie nicht zu erkennen, nur durch externe Prüfungen wie Retrieval-Belege oder wiederholtes Sampling.
Was bedeutet Kalibrierung bei einem KI-System?
Kalibrierung beschreibt, ob die vom System gemeldete Sicherheit zu seiner tatsächlichen Trefferquote passt. Ein gut kalibriertes System, das 80 Prozent sagt, liegt in etwa vier von fünf Fällen richtig.
Wer sollte KI-generierte Zahlen im Unternehmen prüfen?
Eine namentlich benannte Person, der die Zahl gehört, nicht die Person, die den Prompt getippt hat. Die Prüfung gehört in die Pipeline, vor den Export in ein Dokument, mit Quelle, Modellversion und Prüfer im Protokoll. Keine Quelle und kein Prüfer, kein Eintrag in ein Entscheidungsdokument.
Mehr zum Thema: KI Governance · EU AI Act · KI Berater
Recent Posts
Recent Comments