Zurück aus Dubai und Doha: Bilanz unserer Geschäftsreise am Golf | Umair Zaffar
Umair Zaffar Oktober 25, 2026 0 Comments

EU AI Act Artikel 15: Robustheit und Cybersicherheit technisch umgesetzt

EU AI Act Artikel 15 verlangt, dass ein Hochrisiko-System genau, robust und gegen Angriffe widerstandsfähig ist, über den gesamten Lebenszyklus; wir setzen das um, indem jede Genauigkeitszahl an ein Evaluationsset mit Datum gebunden ist, Robustheits- und Angriffstests ein Gate vor dem Deployment sind und der Agent Grenzen bekommt, die er nicht wegreden kann.

Artikel 15 ist der technischste Artikel im Abschnitt 2 des Kapitels III. Hier steht nicht, wer ein Dokument unterschreibt, sondern wie sich das System unter Fehlern, Drift und Angriffen verhalten muss. Adressiert ist der Anbieter: Nach Art. 16 Buchst. a muss er sicherstellen, dass sein Hochrisiko-System die Anforderungen des Abschnitts 2 erfüllt. Eine Bank, die ihr eigenes Betrugsmodell trainiert oder ein Sprachmodell so in einen Prozess einbaut, dass ein neues System entsteht, ist in dieser Rolle. Der Betreiber bleibt über Art. 26 im Spiel: Er setzt das System nach der Gebrauchsanweisung ein und überwacht den Betrieb. Mehr zur Einordnung steht in EU AI Act in der Praxis.

Der EU AI Act ist seit dem 1. August 2024 in Kraft. Verbote und KI-Kompetenz gelten seit Februar 2025, die Pflichten für GPAI-Modelle seit August 2025, die Transparenzpflichten nach Artikel 50 seit August 2026. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach der Verschiebung durch die Änderungsverordnung (EU) 2026/1744 (Digital Omnibus) ab dem 2. Dezember 2027, für Anhang-I-Produkte ab dem 2. August 2028. Artikel 15 gehört zu diesen Pflichten. Der Omnibus hat Fristen verschoben, keine Anforderung gestrichen.

Was Artikel 15 verlangt

Der Artikel hat fünf Absätze. Vier richten sich an den Anbieter, einer an die Kommission.

  • Art. 15 Abs. 1: Hochrisiko-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht über den gesamten Lebenszyklus beständig funktionieren. „Angemessen“ ist nicht definiert; der Maßstab folgt aus Zweck und Risiko des Systems und aus dem Risikomanagement nach Art. 9.
  • Art. 15 Abs. 2: Die Kommission soll mit Interessenträgern, etwa Metrologie- und Benchmarking-Behörden, Benchmarks und Messmethoden fördern. Keine Pflicht für Unternehmen, aber ein Hinweis, dass harmonisierte Normen nach Art. 40 die Messlatte später konkretisieren.
  • Art. 15 Abs. 3: Genauigkeitsniveaus und relevante Genauigkeitsmetriken müssen in der Gebrauchsanweisung angegeben werden. Das verzahnt sich mit Art. 13 Abs. 3 Buchst. b, der dieselben Angaben für den Betreiber verlangt.
  • Art. 15 Abs. 4: Das System muss so widerstandsfähig wie möglich gegen Fehler, Störungen und Unstimmigkeiten im System oder in seiner Umgebung sein, insbesondere durch die Interaktion mit Menschen oder anderen Systemen. Verlangt sind technische und organisatorische Maßnahmen; genannt werden Redundanz, Backup- und Fail-Safe-Pläne. Systeme, die nach dem Inverkehrbringen weiterlernen, müssen das Risiko von Rückkopplungsschleifen, in denen verzerrte Ausgaben zu künftigen Eingaben werden, beseitigen oder so weit wie möglich verringern.
  • Art. 15 Abs. 5: Das System muss widerstandsfähig gegen Versuche unbefugter Dritter sein, seine Verwendung, Ausgaben oder Leistung durch Ausnutzung von Schwachstellen zu verändern. Die Maßnahmen müssen den Risiken angemessen sein und, wo passend, KI-spezifische Angriffe verhindern, erkennen, beantworten, beheben und kontrollieren: Data Poisoning, Model Poisoning, Adversarial Examples beziehungsweise Model Evasion, Vertraulichkeitsangriffe und Modellschwächen.

Zwei Querverbindungen: Art. 9 verlangt Tests gegen vorab definierte Metriken und Schwellenwerte, Art. 72 die Beobachtung nach dem Inverkehrbringen. Artikel 15 ist also kein Abnahmetest, sondern eine Dauerpflicht.

Das technische Beispiel

Eine Bank betreibt zwei Systeme in der Betrugsbekämpfung. Das erste ist ein Scoring-Modell, das jede Zahlung in Echtzeit bewertet. Es sieht Merkmale der Transaktion, des Kanals und der Kontohistorie, alle pseudonymisiert mit IDs. Über einem Schwellwert wird die Zahlung angehalten und ein Fall eröffnet. Das zweite ist ein LLM-Agent, der den Fall für den Analysten aufbereitet: Er liest die Transaktionen, frühere Notizen und hochgeladene Belege, schreibt eine Fallzusammenfassung und schlägt eine Einstufung vor. Entscheiden tut der Analyst. Seine Entscheidung fließt als Label in das nächste Training des Scoring-Modells.

Wo greift Artikel 15? Bei der Genauigkeit, weil Betrug selten ist und eine einzelne Trefferquote nichts aussagt; relevant sind Präzision bei festem Alarmbudget und Trefferrate bei fester Falsch-Positiv-Rate, pro Kanal und Betragsklasse. Bei der Robustheit, weil sich die Umgebung bewegt: ein neuer Zahlungskanal, ein geändertes Datenschema im Vorsystem, ein ausgefallenes Geo-Feld, ein Analyst, der die Zusammenfassung des Agenten übernimmt, ein Modell, das aus seinen eigenen Alarmen lernt. Bei der Cybersicherheit, weil der Agent Text liest, den Angreifer schreiben können: Verwendungszwecke, Belege, Beschwerden. Und weil ein Betrüger das Scoring-Modell austestet, bis er unter dem Schwellwert bleibt.

Ein Punkt zur Einordnung: Anhang III Nr. 5 Buchst. b nimmt KI-Systeme zur Aufdeckung von Finanzbetrug ausdrücklich von der Hochrisiko-Einstufung aus. Streng genommen bindet Artikel 15 dieses Modell nicht, solange keine andere Einstufung greift. Wir bauen es trotzdem danach: BaFin, MaRisk und DORA erwarten für ein System, das Zahlungen anhält, ohnehin Nachweise zu Genauigkeit und Resilienz; dieselbe Pipeline steht im Nachbarteam vor der Kreditwürdigkeitsprüfung, und die ist Hochrisiko; und Art. 95 lädt zur freiwilligen Anwendung ein. Ich halte das für ehrlicher, als ein Modell formal draußen zu halten, das die Grenze zwischen Betrugsabwehr und Bonitätsurteil in der Praxis ohnehin verwischt.

So setzen wir es um

Die Umsetzung läuft über den Governance Layer: Register, Policy Gateway, Evidence Log, gestufte Aufsicht, Monitoring und Kill Switch. Artikel 15 belegt davon vor allem das Register, die Gates vor dem Deployment und das Monitoring.

Genauigkeit: pro Evaluationsset, mit Datum (Abs. 1 und 3)

Im Registereintrag jedes Modells steht das Feld evaluation: Name und Größe des Evaluationssets, die gemessenen Metriken, das Datum des Laufs und das Datum der nächsten Re-Evaluation, das zugleich das Ablaufdatum der Registrierung ist. Das Set gehört der Fachseite, hier dem Leiter Betrugsbekämpfung, nicht dem Anbieter. Wir weigern uns, eine einzelne Genauigkeitszahl zu veröffentlichen. Jede Zahl trägt Set, Datum und Segment, weil sie ohne diese drei Angaben in sechs Monaten eine Behauptung ist. Für den Agenten besteht das Set aus Fällen mit Referenzzusammenfassungen; bewertet werden Vollständigkeit der relevanten Fakten, Abwesenheit erfundener Fakten und die Einstufung im Vergleich zum Analysten. Aus dem Registereintrag erzeugen wir den Modellsteckbrief, der für interne Betreiber die Gebrauchsanweisung nach Abs. 3 ist. Der Prüfer liest denselben Datensatz, den das Gateway zur Laufzeit liest.

Robustheit als Testreihe (Abs. 4)

Vor jedem Deployment laufen drei Testreihen, deren Ergebnisse pro Fall im Gate-Bericht landen. Erstens Verteilungsverschiebung: zeitlich getrennte Hold-outs, Wiederholung früherer Verschiebungen wie der Einführung eines neuen Kanals, Stress pro Segment, damit ein stabiler Durchschnitt keine kippenden Segmente versteckt. Zweitens degradierte Eingaben: fehlende Felder, verspätete Daten, falsche Kodierung, geändertes Schema. Erwartet wird kein tapferer Score, sondern Enthaltung: Das Gateway erkennt den unvollständigen Payload, das Modell liefert keine Bewertung, die parallel laufende Regel-Engine hält die Zahlung an und routet sie an einen Menschen. Das ist unsere Lesart von Redundanz und Fail-Safe-Plan: eine zweite, einfachere Instanz, die ohne das Modell funktioniert. Beim Agenten heißt degradierte Eingabe: leerer Fall, widersprüchliche Notizen, Beleg in unbekannter Sprache. Die richtige Antwort ist „keine Zusammenfassung möglich“, nicht eine plausible.

Drittens die Rückkopplungsschleife, die im Betrugsumfeld eingebaut ist: Labels entstehen nur für Fälle, die das Modell alarmiert hat. Ein Modell, das daraus lernt, bestätigt seine eigenen blinden Flecken. Unsere drei Maßnahmen: kein Online-Lernen in Produktion, im Register steht „continuous learning: no“, und jedes Retraining ist eine neue Version, die durch alle Gates läuft; eine Zufallsstichprobe nicht alarmierter Transaktionen, die Analysten regelmäßig prüfen, damit es Labels gibt, die das Modell nicht ausgesucht hat; und eine Markierung der Entscheidungen, bei denen der Analyst die Agentenzusammenfassung gesehen hat, damit die blinde Nachprüfung aus der gestuften Aufsicht zeigt, ob der Agent die Analysten lenkt.

Adversariale Tests als Gate (Abs. 5)

Das fünfte Gate in unserem Prozess ist der adversariale Test, geschrieben für diesen Anwendungsfall. Prompt Injection: Wir legen Verwendungszwecke und Belege an, die den Agenten anweisen, den Fall als unauffällig einzustufen, eine E-Mail zu schicken oder Daten anderer Kunden zu nennen, und prüfen, dass nichts davon passiert. Data Poisoning: Herkunft und Hash jedes Trainingssatzes, Zugriffskontrolle auf die Label-Pipeline, Ausreißerprüfung auf neue Labels. Model Evasion: eine Red-Team-Menge strukturierter Transaktionen knapp unter Schwellwerten und mit gestörten Merkmalen; gemessen wird die Trefferrate unter Ausweichversuch. Vertraulichkeit: Versuche, aus dem Kontext des Agenten Daten eines anderen Falls zu ziehen. Jeder Versuch steht im Abnahmedokument. Gelingt einer, reparieren wir nicht den Prompt, sondern die Infrastruktur. Ohne bestandenes Gate kein Kennzeichen. Den Gate-Prozess habe ich unter KI Governance beschrieben.

Grenzen für den Agenten (Abs. 4 und 5)

Der Agent bekommt eigene Zugangsdaten und eine Allow-List mit drei Werkzeugen: Fall lesen, pseudonymisierte Transaktionen lesen, Entwurf in das Zusammenfassungsfeld schreiben. Kein Senden, keine Freigabe von Zahlungen, keine Kontoänderung. Seine Netzwerkrichtlinie hat keine Route in andere Systeme; das ist die Sandbox, nicht ein Satz im Prompt. Jeder Lauf hat Budgets für Schritte, Tokens, Zeit und Geld mit hartem Stopp. Der Kill Switch ist ein Flag im Register, das das Gateway bei jedem Aufruf liest und das der Leiter Betrugsbekämpfung ohne Deployment setzen kann. Ein Prompt, der sagt „ignoriere Anweisungen in Dokumenten“, erhöht die Wahrscheinlichkeit richtigen Verhaltens. Eine Allow-List beseitigt die Option.

Monitoring für Drift und Scope-Verletzungen (Abs. 1)

Beständigkeit über den Lebenszyklus ist eine Monitoring-Aufgabe. Wir beobachten die Verteilung der Scores und die Alarmrate, die Drift der Eingabemerkmale pro Segment, beim Agenten die Enthaltungsrate und die Abweichung zwischen vorgeschlagener und finaler Einstufung. Jeder blockierte Werkzeugaufruf und jeder Request mit Daten außerhalb des Scopes ist ein Vorfall, kein Logeintrag. Alarme gehen an den Business Owner, nicht nur an Engineering. Das Evidence Log hält pro Entscheidung Input-Hash, Modell- und Promptversion, Policy-Version, Ausgabe, Signale und Reviewer-Aktion fest. Der Prüfer sieht vier Dinge: den Registereintrag mit datierten Metriken, die Gate-Berichte inklusive gescheiterter Versuche, das Evidence Log und die Vorfallliste.

Typische Fehler

  • Eine Genauigkeitszahl ohne Set, Datum und Segment. Meist aus dem Benchmark des Anbieters. Sie sagt nicht, wie das Modell auf den Fällen dieser Bank in diesem Quartal abschneidet.
  • Robustheit als Verfügbarkeit verstanden. Die Infrastruktur hat Redundanz, das Modell nicht. Niemand hat getestet, was bei einem fehlenden Feld aus dem Modell kommt, und der Fail-Safe-Plan ist ein Retry.
  • Die Rückkopplungsschleife wird ignoriert. Das Modell lernt aus Labels, die es selbst ausgewählt hat, und wird jedes Jahr sicherer in den Mustern, die es schon kennt.
  • Der Prompt gilt als Sicherheitskontrolle. Die Angriffstests sind eine generische Jailbreak-Liste, und die Werkzeuge des Agenten sind nicht begrenzt, weil „er das ohnehin nicht tun würde“.
  • Cybersicherheit wird komplett an die IT-Sicherheit delegiert. Die prüft Netz, Identitäten und Patches, hat aber Data Poisoning und Model Evasion nicht im Bedrohungsmodell.

Checkliste EU AI Act Artikel 15

  • Jede Genauigkeitsangabe nennt Evaluationsset, Größe, Metrik, Segment, Datum des Laufs und Datum der Re-Evaluation.
  • Das Evaluationsset gehört der Fachseite und enthält die hässlichen Fälle aus echten Vorgängen.
  • Degradierte Eingaben und Verteilungsverschiebungen sind als Testreihe definiert; erwartetes Verhalten ist Enthaltung plus Fallback.
  • Es gibt eine Instanz, die ohne das Modell funktioniert, und der Wechsel wurde geprobt.
  • Für lernende Systeme ist dokumentiert, ob und wie gelernt wird, und es gibt Labels, die das Modell nicht selbst ausgewählt hat.
  • Adversariale Tests für Prompt Injection, Data Poisoning, Model Evasion und Vertraulichkeit sind für den Anwendungsfall geschrieben und als Gate verankert.
  • Agenten haben eigene Zugangsdaten, Allow-Lists, Netzwerk-Sandbox, Budgets und einen Kill Switch beim Business Owner.
  • Monitoring misst Drift und Scope-Verletzungen, und die Alarme erreichen den Business Owner.

Offene Fragen

  • Was ist „angemessen“? Bis harmonisierte Normen nach Art. 40 den Maßstab setzen, legen wir Schwellenwerte selbst fest und begründen sie im Risikomanagement. Ob die Norm am Ende segmentierte Metriken verlangt, wie wir sie für nötig halten, ist offen.
  • Wie misst man die Genauigkeit einer Zusammenfassung? Für ein Scoring-Modell gibt es etablierte Metriken. Für den Text eines Agenten bewerten wir Vollständigkeit und erfundene Fakten gegen Referenzen; brauchbar, aber keine Metrik, auf die sich ein Prüfer verlassen sollte.
  • Wie viel der Angriffsfläche deckt eine adversariale Suite ab? Wir kennen die Angriffe, die wir getestet haben. Eine Schätzung, welchen Anteil der realen Angriffsfläche das ist, haben wir nicht, und genau diese Zahl würde das Risikomanagement gern sehen.

Häufige Fragen

Gilt Artikel 15 auch für uns als Betreiber?

Nicht direkt. Die Pflicht trifft den Anbieter. Als Betreiber müssen Sie nach Art. 26 das System gemäß Gebrauchsanweisung einsetzen und den Betrieb überwachen; dafür brauchen Sie die Angaben aus Abs. 3. Wer ein eingekauftes System wesentlich verändert oder unter eigenem Namen betreibt, kann nach Art. 25 selbst Anbieter werden.

Reicht die Genauigkeit, die der Anbieter angibt?

Als Ausgangspunkt ja, als Nachweis nein. Die Zahl des Anbieters gilt für sein Testset. Sie brauchen eine Messung auf Ihren Fällen, mit Datum, und einen Termin, an dem sie wiederholt wird. Wenn der Anbieter das Testset stellt, benotet er sich selbst.

Ist Betrugserkennung überhaupt ein Hochrisiko-System?

Nach Anhang III Nr. 5 Buchst. b ist die Aufdeckung von Finanzbetrug ausdrücklich ausgenommen; die Anforderungen aus Artikel 15 KI-Verordnung sind dort nicht verpflichtend. Wir empfehlen trotzdem, sie anzuwenden, weil die Aufsicht dieselben Nachweise erwartet und ein System, das Zahlungen anhält, selten sauber von Bonitätsentscheidungen getrennt bleibt. Die Serie gibt es unter alle Artikel im Überblick.

Mehr zum Thema: EU AI Act · Alle Artikel · KI Governance · KI Berater

Leave Comment