Smart riskieren statt dumm riskieren: warum Wachstum Mut braucht | Umair Zaffar
Umair Zaffar Oktober 20, 2026 0 Comments

EU AI Act Artikel 9: Risikomanagementsystem technisch umgesetzt

EU AI Act Artikel 9 verlangt für Hochrisiko-Systeme ein Risikomanagementsystem über den gesamten Lebenszyklus, und wir bei SIFAMO setzen es als Risikoregister pro Modell um, dessen Maßnahmen das Gateway durchsetzt und dessen Restrisiko der Business Owner unterschreibt.

Artikel 9 ist der Artikel, den die meisten Projekte mit einem Word-Dokument erledigen wollen: einmal vor dem Go-live ausgefüllt, nie wieder angefasst. Genau das lässt der Text nicht zu, denn er verlangt einen kontinuierlichen Prozess, keinen Bericht. Adressiert sind Anbieter von Hochrisiko-Systemen, also auch die Bank, die ihr Kreditmodell selbst baut oder ein gekauftes wesentlich verändert. Ich bin Engineer, kein Jurist. Deshalb geht es hier darum, wie aus der Pflicht ein lebendes Artefakt wird. Die Grundlagen zu Fristen und Rollen stehen in meinem Überblick EU AI Act in der Praxis.

Zur Einordnung: Der EU AI Act ist seit dem 1. August 2024 in Kraft. Verbote und KI-Kompetenz gelten seit Februar 2025, die Pflichten für GPAI-Modelle seit August 2025, die Transparenzpflichten nach Artikel 50 seit August 2026. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach der Verschiebung durch die Änderungsverordnung (EU) 2026/1744 (Digital Omnibus) ab dem 2. Dezember 2027, für Anhang-I-Produkte ab dem 2. August 2028. Artikel 9 gehört zu diesen Hochrisiko-Pflichten. Der Omnibus hat Fristen verschoben, keine Pflicht gestrichen.

Was Artikel 9 verlangt

Artikel 9 KI-Verordnung steht in Kapitel III, Abschnitt 2. Er regelt nicht, welches Risiko ein System haben darf, sondern wie der Anbieter mit Risiken umgeht:

  • Art. 9 Abs. 1: Der Anbieter muss ein Risikomanagementsystem einrichten, anwenden, dokumentieren und aufrechterhalten.
  • Art. 9 Abs. 2: Das System ist ein „kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird“ und regelmäßig überprüft und aktualisiert werden muss. Vier Schritte: bekannte und vernünftigerweise vorhersehbare Risiken für Gesundheit, Sicherheit und Grundrechte bei bestimmungsgemäßer Verwendung ermitteln und analysieren (a); Risiken bei vernünftigerweise vorhersehbarer Fehlanwendung abschätzen und bewerten (b); weitere Risiken aus der Beobachtung nach dem Inverkehrbringen gemäß Art. 72 bewerten (c); geeignete und gezielte Maßnahmen ergreifen (d).
  • Art. 9 Abs. 3: Erfasst sind nur Risiken, die sich durch Entwicklung, Design oder angemessene technische Informationen vernünftigerweise mindern oder beseitigen lassen.
  • Art. 9 Abs. 4: Die Maßnahmen müssen die Wechselwirkungen mit den übrigen Anforderungen dieses Abschnitts berücksichtigen: Daten, Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 10 bis 15).
  • Art. 9 Abs. 5: Das Restrisiko muss je Gefahr und insgesamt als vertretbar bewertet werden. Dafür gilt eine Rangfolge: Risiken durch Design und Entwicklung beseitigen oder verringern, soweit technisch machbar; nicht beseitigbare Risiken durch Minderungs- und Kontrollmaßnahmen begrenzen; die Betreiber nach Art. 13 informieren und, wo nötig, schulen. Dabei sind Kenntnisse, Erfahrung und Einsatzumfeld der Betreiber zu berücksichtigen.
  • Art. 9 Abs. 6 bis 8: Das System muss getestet werden, um die geeignetsten Maßnahmen zu finden und eine gleichbleibende Leistung für die Zweckbestimmung sicherzustellen. Tests können unter Realbedingungen nach Art. 60 stattfinden. Sie laufen während der Entwicklung und in jedem Fall vor dem Inverkehrbringen, gegen vorab festgelegte Metriken und probabilistische Schwellenwerte.
  • Art. 9 Abs. 9: Der Anbieter prüft, ob das System Personen unter 18 Jahren oder andere schutzbedürftige Gruppen nachteilig beeinflussen kann.
  • Art. 9 Abs. 10: Wer nach anderem Unionsrecht bereits ein internes Risikomanagement betreiben muss, etwa eine Bank, darf die Anforderungen von Artikel 9 in diese Verfahren integrieren.

Das technische Beispiel

Eine Bank betreibt im Privatkundenkredit ein Modell zur Vorprüfung. Es entscheidet nicht über den Kredit. Es liest den pseudonymisierten Antrag, die Produktwahl und eine strukturierte Zusammenfassung der eingereichten Unterlagen und schlägt eine Route vor: Schnellspur über das bestehende Regelwerk, Standardprüfung durch einen Sachbearbeiter oder Spezialprüfung durch ein erfahrenes Team. Die Kreditentscheidung trifft danach das Regelwerk oder ein Mensch.

Warum ist das trotzdem Hochrisiko? Anhang III Nr. 5 Buchstabe b erfasst Systeme zur Bewertung der Kreditwürdigkeit natürlicher Personen. Ein Routing-Modell bewertet nicht formal die Bonität, aber die Route bestimmt, wer den Antrag sieht, wie schnell und mit welcher Voreinstellung. Art. 6 Abs. 3 kennt eine Ausnahme für enge Verfahrensaufgaben und vorbereitende Tätigkeiten. Wir verlassen uns nicht darauf, weil die Route das Ergebnis vorprägt. Also behandeln wir das Modell als Hochrisiko-System, und Artikel 9 gilt in voller Länge.

Der Datenfluss: Die Antragsplattform ruft nie das Modell, sondern das Gateway mit einer Use-Case-ID. Das Gateway prüft Registereintrag und Datenzone, ersetzt Namen, Kontonummern und Adressen durch IDs, ruft das Modell, bewertet die Signale und schreibt das Evidence Log. Die Pflicht aus Artikel 9 beißt an drei Stellen: bei den Daten, die das Modell sehen darf (rote Zone nie, graue Zone nur pseudonymisiert und im Scope), bei den Routen mit Wirkung auf Menschen und bei der Fehlanwendung durch die eigene Belegschaft, wenn ein Sachbearbeiter die Route als Bonitätsurteil liest.

So setzen wir es um

Wir bei SIFAMO behandeln das Risikomanagementsystem nicht als Dokument neben dem System, sondern als Teil des Registereintrags, den der Governance Layer zur Laufzeit liest. Jedes Modell hat im Register ein Risikoregister mit eigener Version. Vereinfacht sieht das so aus:

{
  "model_id": "DE-B-2026-0021",
  "purpose": "Kreditvorprüfung: Routing von Anträgen (Schnellspur, Standardprüfung, Spezialprüfung), keine Entscheidung",
  "risk_class": "hoch (Anhang III Nr. 5 b), Stufe 3 (intern)",
  "risk_register": {
    "version": "credit-routing-risk-v7",
    "hazards": [
      {"id": "H-03", "zone": "grau", "risk": "Proxy-Diskriminierung über Postleitzahl und Vorname",
       "measure": "Design: Merkmale entfernt; Gate: Bias-Lauf; Gateway: Regel G-11",
       "residual": "niedrig", "accepted_by": "Business Owner Kredit Privatkunden, 2026-06-15"},
      {"id": "H-07", "zone": "rot", "risk": "Rohe Kontodaten im Prompt",
       "measure": "Gateway: Zonenprüfung, Pseudonymisierung mit IDs", "residual": "sehr niedrig"},
      {"id": "H-12", "zone": "alle", "risk": "Sachbearbeiter liest Route als Score (Fehlanwendung)",
       "measure": "Aufsichtsstufe 3 für Spezialprüfung, Begründung sichtbar, Schulung", "residual": "mittel"}
    ],
    "overall_residual": "vertretbar",
    "reevaluate_on": ["model change", "prompt change", "index change", "expiry 2026-12-15"]
  }
}

Gefahren pro Datenzone identifizieren

Die Gefahrenanalyse nach Art. 9 Abs. 2 Buchstabe a und b führen wir entlang der drei Datenzonen. Rot sind rohe personenbezogene Daten: Was passiert, wenn sie ins Modell gelangen? Grau sind pseudonymisierte Daten mit Zugriffskontrolle: Welche Proxy-Merkmale bleiben, die Diskriminierung tragen können? Grün sind unkritische Daten: Welche Fehlanwendung ist trotzdem möglich? Die Zonen liefern die Sprache, in der das Gateway später prüft. Fehlanwendung nehmen wir wörtlich: Die häufigste ist nicht der Angreifer, sondern der Kollege, der aus dem Routing einen Score macht.

Maßnahmen auf Gateway-Regeln und Aufsichtsstufen abbilden

Jede Gefahr bekommt eine Maßnahme nach der Rangfolge aus Art. 9 Abs. 5. Zuerst Design: Postleitzahl, Vorname und Geburtsdatum stehen gar nicht im Eingabeschema. Dann Kontrolle: Was nicht per Design weg ist, wird zu einer Gateway-Regel mit eigener ID, etwa Zonenprüfung, Pseudonymisierung oder Enthaltung bei niedrigem Beleg, oder zu einer Aufsichtsstufe: Die Route Spezialprüfung ist Stufe 3 und geht nur mit vollständiger menschlicher Prüfung und sichtbarer Begründung weiter, die Standardprüfung bekommt Stichproben mit blinder Nachprüfung, die Schnellspur Monitoring und den Abgleich mit dem Regelwerk. Zuletzt Information und Schulung: Das Betreiberhandbuch für die Sachbearbeiter sagt in einem Satz, was die Route ist und was nicht. Eine Maßnahme ohne Regel-ID oder Stufe im Register ist für uns keine Maßnahme, sondern eine Absicht.

Restrisiko akzeptiert der Business Owner

Art. 9 Abs. 5 verlangt eine Bewertung des Restrisikos je Gefahr und insgesamt. Wer bewertet, lässt der Text offen. Wir haben entschieden: Der Business Owner, also die Leitung des Kreditgeschäfts, akzeptiert das Restrisiko mit Namen und Datum im Register, die Risikofunktion prüft die Bewertung, die IT bestätigt, dass die Maßnahmen verdrahtet sind. Ich bestehe auf dem Business Owner, weil nur dort die Verantwortung für die Kunden liegt. Eine IT-Abteilung, die ein Diskriminierungsrisiko akzeptiert, hat nichts zu akzeptieren.

Testen gegen vorab festgelegte Schwellen

Die Absätze 6 bis 8 sind bei uns die Gates vor dem Deployment: ein Evaluationsset, das der Fachseite gehört, Regressionstests pro Fall, Angriffsszenarien für diesen Use Case und der Bias-Lauf mit variierten geschützten Merkmalen. Metriken und Schwellen stehen vor dem Lauf im Register, nicht danach. Für Art. 9 Abs. 9 enthält das Evaluationsset eigene Fälle für junge Erwachsene ohne Kredithistorie und für Menschen mit geringen Deutschkenntnissen.

Re-Evaluation bei jeder Änderung und am Ablaufdatum

Hier wird das Register lebendig. Jede Änderung an Modell, Prompt oder Retrieval-Index ändert die Versionsfelder im Registereintrag, und das Gateway routet keine Version ohne freigegebenes Risikoregister. Dazu kommt das Ablaufdatum: Spätestens dann läuft die vollständige Neubewertung, sonst verliert das Modell seine Route. Und Art. 9 Abs. 2 Buchstabe c, die Beobachtung nach dem Inverkehrbringen, speisen wir aus dem Evidence Log: Prüferaktionen mit Begründungskategorie, Drift-Alerts und Out-of-Scope-Versuche werden monatlich gegen das Risikoregister gehalten. Taucht ein Muster auf, das keiner Gefahr zugeordnet ist, wird es eine neue. Der Kill Switch des Business Owners steht als letzte Maßnahme im Register.

Was der Prüfer sieht: das versionierte Risikoregister mit Zone, Maßnahme, Regel-ID oder Stufe, Restrisiko und Unterschrift pro Gefahr, dazu die Testergebnisse gegen die vorab festgelegten Schwellen und die Historie der Neubewertungen. Art. 9 Abs. 10 nutzen wir, indem die Risikofunktion der Bank diese Einträge in ihr bestehendes Risikoinventar nach MaRisk zieht. Mehr zu diesem Ansatz unter KI Governance.

Typische Fehler

  • Das Risikomanagementsystem ist ein Dokument. Einmal vor dem Go-live geschrieben, nie an eine Version gebunden. Beim ersten Prompt-Wechsel beschreibt es ein System, das nicht mehr existiert.
  • Maßnahmen ohne Durchsetzung. „Mitarbeiter werden sensibilisiert“ steht als Maßnahme neben einem Diskriminierungsrisiko. Eine Maßnahme, die nicht als Gateway-Regel, Aufsichtsstufe oder Gate existiert, lässt sich nicht nachweisen.
  • Schwellen werden nach dem Test festgelegt. Dann besteht jedes Modell. Art. 9 Abs. 8 verlangt die Reihenfolge andersherum.

Checkliste EU AI Act Artikel 9

  • Für jedes Hochrisiko-Modell existiert ein versioniertes Risikoregister, verknüpft mit Modell-, Prompt- und Index-Version im Registereintrag.
  • Gefahren sind je Datenzone identifiziert, inklusive vernünftigerweise vorhersehbarer Fehlanwendung durch eigene Mitarbeiter und Antragsteller.
  • Jede Maßnahme ist einer Gateway-Regel, einer Aufsichtsstufe, einem Gate oder einer Schulung zugeordnet und folgt der Rangfolge aus Art. 9 Abs. 5.
  • Das Restrisiko ist je Gefahr und insgesamt bewertet und vom Business Owner mit Namen und Datum akzeptiert, mit Gegenprüfung der Risikofunktion.
  • Metriken und Schwellenwerte sind vor den Tests festgelegt und dokumentiert; Testergebnisse liegen pro Fall vor.
  • Minderjährige und schutzbedürftige Gruppen sind in der Gefahrenanalyse und im Evaluationsset ausdrücklich adressiert.
  • Jede Änderung an Modell, Prompt oder Daten löst eine Neubewertung aus, das Ablaufdatum erzwingt eine vollständige Wiederholung, und Betriebssignale fließen in festem Rhythmus zurück.

Offene Fragen

  • Was heißt „vertretbar“? Der Text nennt keinen Maßstab für das akzeptable Restrisiko. Die harmonisierte Norm zum Risikomanagement ist noch nicht verabschiedet.
  • Vorhersehbarkeit bei Sprachmodellen. Art. 9 Abs. 2 setzt voraus, dass sich Risiken vernünftigerweise vorhersehen lassen. Bei Sprachmodellen bleibt ein Rest, den kein Register abdeckt. Interpretierbarkeitsforschung ist hier der einzige Weg, den ich sehe.
  • Routing oder Bewertung? Ob ein Vorprüfungsmodell unter Anhang III Nr. 5 b fällt oder unter die Ausnahme in Art. 6 Abs. 3, ist nicht entschieden. Wir wählen die strengere Lesart.

Häufige Fragen

Gilt das auch für uns als Betreiber?

Artikel 9 adressiert den Anbieter. Als Betreiber nach Art. 26 musst du die Betriebsanleitung befolgen, die Aufsicht sicherstellen und den Betrieb überwachen, aber kein eigenes Risikomanagementsystem nach Artikel 9 führen. Sobald du das System selbst entwickelst, unter eigenem Namen einsetzt oder wesentlich veränderst, wirst du nach Art. 25 zum Anbieter.

Reicht unser bestehendes Risikomanagement nach MaRisk?

Art. 9 Abs. 10 erlaubt die Integration, ersetzt aber nicht die Inhalte. Die vier Schritte, die Rangfolge der Maßnahmen, die Tests gegen vorab festgelegte Schwellen und das Restrisiko je Gefahr müssen im bestehenden Verfahren nachweisbar sein, in der Praxis als Risikoinventar, das Modelle mit Version und Ablaufdatum als eigene Objekte kennt.

Wie oft müssen wir neu bewerten?

Bei jeder Änderung an Modell, Prompt oder Daten, und unabhängig davon zu einem festen Datum. Wir arbeiten mit dem Ablaufdatum der Registrierung, bei kundenwirksamen Modellen nach wenigen Monaten. Ein Risikoregister, das nur bei Releases geöffnet wird, erfüllt Absatz 2 Buchstabe c nicht.

Dieser Beitrag ist Teil der Serie zum EU AI Act Artikel für Artikel, alle Artikel im Überblick.

Mehr zum Thema: EU AI Act · Alle Artikel · KI Governance · KI Berater

Leave Comment