RAG ist ein Governance-Problem: Zugriffsrechte, Herkunft und Zitatprüfung
In einer Bank oder einer Versicherung passieren die meisten Ehrlichkeits- und Datenschutzfehler eines RAG-Systems im Retrieval, nicht im Modell. So kontrolliere ich diesen Schritt.
Wenn mich ein Kunde bittet, ein System mit Retrieval-Augmented Generation zu prüfen, verbringe ich die erste Stunde mit dem Modell und den Rest der Woche mit dem Retrieval. Fast jeder Vorfall, den ich in regulierten Unternehmen gesehen habe, hatte dasselbe Muster: Das Modell hat sich wie vorgesehen verhalten, das Problem war das Material, das man ihm gegeben hat. Ein Textabschnitt aus einer Richtlinie, die vor zwei Jahren zurückgezogen wurde. Eine Passage aus einer Akte, für die der Nutzer nie freigegeben war. Eine selbstbewusste Antwort ohne Quelle, die irgendjemand hätte öffnen können. Nichts davon ist ein Modellfehler. Es ist ein Fehler der KI Governance in der Retrieval-Schicht.
Warum RAG-Fehler ein Problem der KI Governance sind
Ein Sprachmodell kennt deine Regeln nicht. Es kennt den Text in seinem Kontextfenster. Was dort landet, ob geschützt, veraltet oder irrelevant, verarbeitet es, und es klingt dabei sicher. Man nennt das Halluzination. Die ehrliche Diagnose lautet: Das System hat dem Modell schlechtes Material gegeben.
Deshalb ist das Retrieval in unserer Governance-Schicht eine Komponente wie jedes Modell: registriert, überwacht, mit einer definierten Reaktion, wenn es sich falsch verhält. Kontrolle vor Modell. Das Modell kannst du nächstes Jahr austauschen. Die Retrieval-Regeln, die Herkunftsdaten und die Evaluationssets bleiben.
Zugriffsrechte gelten im Retrieval oder gar nicht
Die Regel, die ich jedem Team mitgebe, ist einfach: Das Modell darf nie sehen, was der Nutzer nicht sehen darf. Nicht nachträglich gefiltert, nicht durch eine Anweisung im Prompt versteckt, sondern ausgeschlossen, bevor die Anfrage den Vektorspeicher erreicht. In der Praxis heißt das dreierlei.
Vererbte Berechtigungen. Jeder Textabschnitt trägt die Zugriffsliste seines Quelldokuments, beim Indexieren übernommen und bei jeder Änderung der Quelle aktualisiert.
Identität in der Anfrage. Die Suche läuft als der fragende Nutzer, und der Berechtigungsfilter wird innerhalb der Suche angewendet, nicht auf die Ergebnisliste.
Protokollierte Sichtbarkeit. Jeder Abschnitt, der ins Kontextfenster gelangt, wird mit Nutzer-ID, Dokument-ID, Version und der Regel protokolliert, die ihn erlaubt hat.
Nachträgliches Filtern scheitert leise. Wer fünfzig Abschnitte holt und die geschützten danach aussortiert, hat das Ranking bereits durch Dokumente geformt, die der Nutzer nicht sehen darf, und ein einziger Fehler im Filter gibt alle frei. Vorab filtern kostet Trefferquote und etwas Arbeit am Index. In einer Bank ist dieser Tausch keine Diskussion.
Die Herkunft reist mit jedem Textabschnitt
Ein Abschnitt ohne Herkunft ist ein Gerücht. Für jedes Stück Text, das wir indexieren, sind diese Felder Pflicht.
Quelle. System, Dokumentkennung und der Pfad, den ein Prüfer öffnen kann.
Version und Hash. Damit zwei Personen, die dieselbe Antwort mit sechs Monaten Abstand lesen, nachweisen können, ob sich das Dokument geändert hat.
Gültig ab und gültig bis. Wann die Regel galt und wann sie aufgehört hat zu gelten.
Verantwortliche Stelle. Der zuständige Fachbereich, weil jemand antworten muss, wenn das Dokument falsch ist.
Klassifizierung. Öffentlich, intern, vertraulich oder personenbezogen.
Diese Metadaten sind keine Dekoration. Die Zitatprüfung, die Regel für veraltete Dokumente und der Prüfpfad laufen alle darauf. Fehlen die Metadaten, kommt der Abschnitt nicht in den Index. Keine Herkunft, kein Retrieval, so wie keine Registrierung keinen Einsatz bedeutet.
Zitatprüfung: Trägt die Passage die Aussage?
Modelle zitieren flüssig, und genau das ist das Problem. Eine Fußnote sieht wie ein Beleg aus, auch wenn die zitierte Passage etwas anderes sagt. Deshalb durchläuft jede Antwort in einem regulierten Prozess zwei Prüfungen.
Die automatische Prüfung zerlegt die Antwort in Aussagen und fragt für jede, ob der zitierte Abschnitt sie tatsächlich stützt. Das übernimmt ein zweites Modell mit einem anderen Prompt und ohne Zugriff auf den Gesprächsverlauf, und sein Ergebnis ist ein Wert, kein Urteil. Aussagen unterhalb der Schwelle werden als ungeprüft markiert. Die gesamte Antwort wird zurückgehalten, wenn mehr als ein festgelegter Anteil der Aussagen durchfällt oder wenn eine durchgefallene Aussage einen Betrag, eine Frist oder eine rechtliche Pflicht betrifft.
Die menschliche Stichprobe ist der Teil, den alle gern überspringen würden. Ein fester Anteil der Antworten pro Woche, gewichtet zu niedrigen Werten und neuen Quellen hin, geht an eine Prüferin oder einen Prüfer aus dem Fachbereich, dem die Dokumente gehören. Festgehalten wird, ob das Zitat die Aussage stützt, ob es das richtige Dokument ist und ob man selbst anders geantwortet hätte. Die Abweichungsquote zwischen Prüfmodell und Menschen wird überwacht. Driftet sie, bekommt der Verantwortliche für das Retrieval ein Ticket. Überschreitet sie eine zweite Schwelle, wird der Anwendungsfall pausiert.
Das Prinzip dahinter: Eine RAG-Antwort ohne prüfbare Quelle gilt standardmäßig als ungeprüft. Nicht als falsch, als ungeprüft. Die Oberfläche sagt das, und kein nachgelagerter Prozess darf sie als Tatsache behandeln.
Veraltete Richtlinien und das geplante „Ich weiß es nicht“
Richtlinien in Banken und Versicherungen haben Versionen, Übergangsfristen und Nachfolger. Das muss der Index wissen. Ein Abschnitt, dessen Gültigkeit abgelaufen ist, wird ausgeschlossen, es sei denn, die Frage zielt ausdrücklich auf einen historischen Stand, und selbst dann trägt das Zitat den Gültigkeitszeitraum. Dokumente, deren Prüftermin überschritten ist und die keinen Nachfolger haben, lösen eine Meldung an die verantwortliche Stelle aus. Eine abgelaufene Regel wird nie stillschweigend als gültig zitiert.
Und wenn das Retrieval nichts über der Relevanzschwelle findet oder nur Abschnitte, die die Zitatprüfung verwirft, lautet die richtige Ausgabe: Ich weiß es nicht, hier ist die Stelle, die du fragen kannst. Dieses Ergebnis entwerfe ich bewusst, ich teste es und ich zähle es. Ein System, das nie sagt, dass es etwas nicht weiß, ist nicht gut informiert. Es ist schlecht kontrolliert.
Pseudonymisiertes Retrieval für personenbezogene Daten
Viele der wertvollsten internen Fragen berühren personenbezogene Daten: eine Schadenakte, eine Beschwerde, eine Kredithistorie. Wir behandeln das Retrieval wie das Training: Das Modell arbeitet mit IDs, nicht mit Namen. Identifikatoren werden vor dem Indexieren durch Pseudonyme ersetzt, und die Zuordnung liegt in einem getrennten System, das weder das Modell noch der Vektorspeicher erreichen kann. Die Antwort kommt mit IDs zurück, und die Anwendung löst sie nur für einen Nutzer auf, der die Person dahinter sehen darf, und protokolliert diese Auflösung.
Das passt zu den roten, grauen und grünen Zonen, mit denen ich bei Kunden arbeite. Rohe personenbezogene Daten in einem allgemeinen Index sind rot. Pseudonymisiertes Retrieval mit Zugriffskontrolle, protokollierter Auflösung und dokumentiertem Zweck ist grau mit Tendenz zu grün, und der einzige Aufbau, den ich gleichzeitig vor einem Datenschutzbeauftragten und einer Aufsicht vertreten würde. Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, mit Data Governance und Nachvollziehbarkeit im Zentrum. Herkunft pro Abschnitt und pseudonymisiertes Retrieval sind konkrete Bausteine dafür.
Evaluationssets aus echten internen Fragen
Öffentliche Benchmarks sagen dir, wie ein Modell auf den Dokumenten anderer Leute abschneidet. Deine Aufsicht interessiert sich für deine. Deshalb bauen wir das Evaluationsset aus Fragen, die Mitarbeiter tatsächlich gestellt haben, aus den Protokollen entnommen und von personenbezogenen Daten bereinigt, plus die harten Fälle, die der Fachbereich mitbringt: Antworten, die sich letztes Jahr geändert haben, Dokumente, die sich widersprechen, Fragen, die kein Dokument beantwortet.
Jede Frage hat eine erwartete Quelle, eine erwartete Antwort oder ein erwartetes „Ich weiß es nicht“ und ein erwartetes Zugriffsergebnis für mindestens zwei Nutzerrollen. Das Set läuft bei jeder Änderung an Index, Prompts, Embedding-Modell oder Generator. Die Freigabe ist blockiert, wenn die Zugriffsverletzungen nicht bei null liegen oder die Zitatstützung unter den vorherigen Lauf fällt. Jede Abweichung aus der menschlichen Prüfung, die sich als Systemfehler herausstellt, wird ein neuer Testfall.
Offene Fragen
Aufsicht im großen Maßstab. Menschliche Stichproben funktionieren bei Hunderten Antworten pro Tag. Bei Hunderttausenden: Welche Antworten verdienen einen Menschen, und woher wissen wir, dass die Stichprobe nicht genau für die Fehler blind ist, die zählen?
Robustheit des Prüfmodells. Das Modell, das Zitate prüft, ist selbst ein Modell. Wie stark korrelieren seine Fehler mit denen des Generators, und wie messen wir das ohne ein drittes Modell?
Interpretierbarkeit des Retrievals. Ein Ähnlichkeitswert ist keine Begründung. Können wir einem Prüfer lesbar erklären, warum ein Abschnitt gefunden wurde und ein anderer nicht?
Ehrlichkeit unter Druck. Wenn Fachanwender ein „Ich weiß es nicht“ bestrafen, wie verhindern wir, dass dieses Feedback über Prompts, Feintuning oder Ranking dem System das Abstandnehmen abtrainiert?
Häufige Fragen
Reicht es, gefundene Dokumente nach der Suche nach Berechtigung zu filtern?
Nein. Der Filter muss Teil der Anfrage sein, damit geschützte Dokumente das Ranking nie beeinflussen und nie ins Kontextfenster gelangen. Nachträgliches Filtern hängt davon ab, dass ein Stück Code niemals versagt, und das ist keine akzeptable Kontrolle.
Wer prüft die Zitate in einem RAG-System?
Zwei Ebenen: ein automatischer Prüfer, der bewertet, ob jede zitierte Passage die Aussage stützt, und eine wöchentliche Stichprobe, die Menschen aus dem Fachbereich prüfen, dem die Dokumente gehören. Steigende Abweichung zwischen beiden pausiert den Anwendungsfall.
Was passiert, wenn das System keine verlässliche Quelle findet?
Es sagt das und nennt einen menschlichen Ansprechpartner. Jede Antwort ohne Quelle, die der Nutzer öffnen kann, wird als ungeprüft angezeigt und darf nicht als Grundlage für eine Entscheidung dienen.
RAG ist ein Governance-Problem: Zugriffsrechte, Herkunft und Zitatprüfung
In einer Bank oder einer Versicherung passieren die meisten Ehrlichkeits- und Datenschutzfehler eines RAG-Systems im Retrieval, nicht im Modell. So kontrolliere ich diesen Schritt.
Wenn mich ein Kunde bittet, ein System mit Retrieval-Augmented Generation zu prüfen, verbringe ich die erste Stunde mit dem Modell und den Rest der Woche mit dem Retrieval. Fast jeder Vorfall, den ich in regulierten Unternehmen gesehen habe, hatte dasselbe Muster: Das Modell hat sich wie vorgesehen verhalten, das Problem war das Material, das man ihm gegeben hat. Ein Textabschnitt aus einer Richtlinie, die vor zwei Jahren zurückgezogen wurde. Eine Passage aus einer Akte, für die der Nutzer nie freigegeben war. Eine selbstbewusste Antwort ohne Quelle, die irgendjemand hätte öffnen können. Nichts davon ist ein Modellfehler. Es ist ein Fehler der KI Governance in der Retrieval-Schicht.
Warum RAG-Fehler ein Problem der KI Governance sind
Ein Sprachmodell kennt deine Regeln nicht. Es kennt den Text in seinem Kontextfenster. Was dort landet, ob geschützt, veraltet oder irrelevant, verarbeitet es, und es klingt dabei sicher. Man nennt das Halluzination. Die ehrliche Diagnose lautet: Das System hat dem Modell schlechtes Material gegeben.
Deshalb ist das Retrieval in unserer Governance-Schicht eine Komponente wie jedes Modell: registriert, überwacht, mit einer definierten Reaktion, wenn es sich falsch verhält. Kontrolle vor Modell. Das Modell kannst du nächstes Jahr austauschen. Die Retrieval-Regeln, die Herkunftsdaten und die Evaluationssets bleiben.
Zugriffsrechte gelten im Retrieval oder gar nicht
Die Regel, die ich jedem Team mitgebe, ist einfach: Das Modell darf nie sehen, was der Nutzer nicht sehen darf. Nicht nachträglich gefiltert, nicht durch eine Anweisung im Prompt versteckt, sondern ausgeschlossen, bevor die Anfrage den Vektorspeicher erreicht. In der Praxis heißt das dreierlei.
Nachträgliches Filtern scheitert leise. Wer fünfzig Abschnitte holt und die geschützten danach aussortiert, hat das Ranking bereits durch Dokumente geformt, die der Nutzer nicht sehen darf, und ein einziger Fehler im Filter gibt alle frei. Vorab filtern kostet Trefferquote und etwas Arbeit am Index. In einer Bank ist dieser Tausch keine Diskussion.
Die Herkunft reist mit jedem Textabschnitt
Ein Abschnitt ohne Herkunft ist ein Gerücht. Für jedes Stück Text, das wir indexieren, sind diese Felder Pflicht.
Diese Metadaten sind keine Dekoration. Die Zitatprüfung, die Regel für veraltete Dokumente und der Prüfpfad laufen alle darauf. Fehlen die Metadaten, kommt der Abschnitt nicht in den Index. Keine Herkunft, kein Retrieval, so wie keine Registrierung keinen Einsatz bedeutet.
Zitatprüfung: Trägt die Passage die Aussage?
Modelle zitieren flüssig, und genau das ist das Problem. Eine Fußnote sieht wie ein Beleg aus, auch wenn die zitierte Passage etwas anderes sagt. Deshalb durchläuft jede Antwort in einem regulierten Prozess zwei Prüfungen.
Die automatische Prüfung zerlegt die Antwort in Aussagen und fragt für jede, ob der zitierte Abschnitt sie tatsächlich stützt. Das übernimmt ein zweites Modell mit einem anderen Prompt und ohne Zugriff auf den Gesprächsverlauf, und sein Ergebnis ist ein Wert, kein Urteil. Aussagen unterhalb der Schwelle werden als ungeprüft markiert. Die gesamte Antwort wird zurückgehalten, wenn mehr als ein festgelegter Anteil der Aussagen durchfällt oder wenn eine durchgefallene Aussage einen Betrag, eine Frist oder eine rechtliche Pflicht betrifft.
Die menschliche Stichprobe ist der Teil, den alle gern überspringen würden. Ein fester Anteil der Antworten pro Woche, gewichtet zu niedrigen Werten und neuen Quellen hin, geht an eine Prüferin oder einen Prüfer aus dem Fachbereich, dem die Dokumente gehören. Festgehalten wird, ob das Zitat die Aussage stützt, ob es das richtige Dokument ist und ob man selbst anders geantwortet hätte. Die Abweichungsquote zwischen Prüfmodell und Menschen wird überwacht. Driftet sie, bekommt der Verantwortliche für das Retrieval ein Ticket. Überschreitet sie eine zweite Schwelle, wird der Anwendungsfall pausiert.
Das Prinzip dahinter: Eine RAG-Antwort ohne prüfbare Quelle gilt standardmäßig als ungeprüft. Nicht als falsch, als ungeprüft. Die Oberfläche sagt das, und kein nachgelagerter Prozess darf sie als Tatsache behandeln.
Veraltete Richtlinien und das geplante „Ich weiß es nicht“
Richtlinien in Banken und Versicherungen haben Versionen, Übergangsfristen und Nachfolger. Das muss der Index wissen. Ein Abschnitt, dessen Gültigkeit abgelaufen ist, wird ausgeschlossen, es sei denn, die Frage zielt ausdrücklich auf einen historischen Stand, und selbst dann trägt das Zitat den Gültigkeitszeitraum. Dokumente, deren Prüftermin überschritten ist und die keinen Nachfolger haben, lösen eine Meldung an die verantwortliche Stelle aus. Eine abgelaufene Regel wird nie stillschweigend als gültig zitiert.
Und wenn das Retrieval nichts über der Relevanzschwelle findet oder nur Abschnitte, die die Zitatprüfung verwirft, lautet die richtige Ausgabe: Ich weiß es nicht, hier ist die Stelle, die du fragen kannst. Dieses Ergebnis entwerfe ich bewusst, ich teste es und ich zähle es. Ein System, das nie sagt, dass es etwas nicht weiß, ist nicht gut informiert. Es ist schlecht kontrolliert.
Pseudonymisiertes Retrieval für personenbezogene Daten
Viele der wertvollsten internen Fragen berühren personenbezogene Daten: eine Schadenakte, eine Beschwerde, eine Kredithistorie. Wir behandeln das Retrieval wie das Training: Das Modell arbeitet mit IDs, nicht mit Namen. Identifikatoren werden vor dem Indexieren durch Pseudonyme ersetzt, und die Zuordnung liegt in einem getrennten System, das weder das Modell noch der Vektorspeicher erreichen kann. Die Antwort kommt mit IDs zurück, und die Anwendung löst sie nur für einen Nutzer auf, der die Person dahinter sehen darf, und protokolliert diese Auflösung.
Das passt zu den roten, grauen und grünen Zonen, mit denen ich bei Kunden arbeite. Rohe personenbezogene Daten in einem allgemeinen Index sind rot. Pseudonymisiertes Retrieval mit Zugriffskontrolle, protokollierter Auflösung und dokumentiertem Zweck ist grau mit Tendenz zu grün, und der einzige Aufbau, den ich gleichzeitig vor einem Datenschutzbeauftragten und einer Aufsicht vertreten würde. Der EU AI Act, seit August 2024 in Kraft, führt seine Pflichten über die kommenden Jahre stufenweise ein, mit Data Governance und Nachvollziehbarkeit im Zentrum. Herkunft pro Abschnitt und pseudonymisiertes Retrieval sind konkrete Bausteine dafür.
Evaluationssets aus echten internen Fragen
Öffentliche Benchmarks sagen dir, wie ein Modell auf den Dokumenten anderer Leute abschneidet. Deine Aufsicht interessiert sich für deine. Deshalb bauen wir das Evaluationsset aus Fragen, die Mitarbeiter tatsächlich gestellt haben, aus den Protokollen entnommen und von personenbezogenen Daten bereinigt, plus die harten Fälle, die der Fachbereich mitbringt: Antworten, die sich letztes Jahr geändert haben, Dokumente, die sich widersprechen, Fragen, die kein Dokument beantwortet.
Jede Frage hat eine erwartete Quelle, eine erwartete Antwort oder ein erwartetes „Ich weiß es nicht“ und ein erwartetes Zugriffsergebnis für mindestens zwei Nutzerrollen. Das Set läuft bei jeder Änderung an Index, Prompts, Embedding-Modell oder Generator. Die Freigabe ist blockiert, wenn die Zugriffsverletzungen nicht bei null liegen oder die Zitatstützung unter den vorherigen Lauf fällt. Jede Abweichung aus der menschlichen Prüfung, die sich als Systemfehler herausstellt, wird ein neuer Testfall.
Offene Fragen
Häufige Fragen
Reicht es, gefundene Dokumente nach der Suche nach Berechtigung zu filtern?
Nein. Der Filter muss Teil der Anfrage sein, damit geschützte Dokumente das Ranking nie beeinflussen und nie ins Kontextfenster gelangen. Nachträgliches Filtern hängt davon ab, dass ein Stück Code niemals versagt, und das ist keine akzeptable Kontrolle.
Wer prüft die Zitate in einem RAG-System?
Zwei Ebenen: ein automatischer Prüfer, der bewertet, ob jede zitierte Passage die Aussage stützt, und eine wöchentliche Stichprobe, die Menschen aus dem Fachbereich prüfen, dem die Dokumente gehören. Steigende Abweichung zwischen beiden pausiert den Anwendungsfall.
Was passiert, wenn das System keine verlässliche Quelle findet?
Es sagt das und nennt einen menschlichen Ansprechpartner. Jede Antwort ohne Quelle, die der Nutzer öffnen kann, wird als ungeprüft angezeigt und darf nicht als Grundlage für eine Entscheidung dienen.
Mehr zum Thema: KI Governance · EU AI Act · KI Berater
Recent Posts
Recent Comments