Die KI kontrolliert Banken? Was der EU AI Act verlangt und warum Excel nicht reicht | Umair Zaffar

EU AI Act in der Praxis: Was Unternehmen jetzt tun müssen

Der EU AI Act ist das erste KI-Gesetz weltweit, das wirklich Hand und Fuß hat. Diese Seite erklärt aus Sicht eines Praktikers, was er von Unternehmen verlangt, wie er mit DSGVO, BaFin, DORA und MaRisk zusammenspielt und wie man ihn umsetzt, ohne das eigene KI-Projekt kaputt zu regulieren.

Ich erlebe in Kundengesprächen zwei Reaktionen auf den EU AI Act. Die einen ignorieren ihn, weil die Fristen verschoben wurden. Die anderen versuchen, die Prüfung zu bestehen, bevor sie überhaupt etwas entwickelt haben, und entwickeln deshalb gar nicht. Beides ist falsch. Der AI Act ist ein Qualitätsrahmen. Wer ihn von Anfang an mitdenkt, baut Systeme, die auch in fünf Jahren noch laufen dürfen.

Was der EU AI Act regelt

  • Risikobasierter Ansatz: Verbotene Praktiken, Hochrisiko-Systeme mit umfangreichen Pflichten, Systeme mit Transparenzpflichten und Systeme mit minimalem Risiko. Die Einordnung des eigenen Use Case ist der erste Schritt.
  • Pflichten für Hochrisiko-Systeme: Risikomanagement, Data Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Genauigkeit und Robustheit, Registrierung.
  • Typische Hochrisiko-Fälle: Kreditwürdigkeitsprüfung, Bewerberauswahl, Zugang zu Versicherungsleistungen, kritische Infrastruktur, Teile der öffentlichen Verwaltung.
  • Zeitplan: Das Gesetz gilt seit 2024 gestaffelt. Mit dem Digital Omnibus on AI wurden die Hochrisiko-Pflichten auf den 2. Dezember 2027 verschoben, für Systeme nach Anhang I auf August 2028. Die Zeit sollte man zur Vorbereitung nutzen, nicht zum Abwarten.

EU AI Act, BaFin, DORA, MaRisk: das Zusammenspiel in Banken

Für Finanzunternehmen kommt der AI Act nicht allein. Die BaFin prüft, ob eine Bank sauber arbeitet, und damit auch, ob eine KI-Kreditentscheidung erklärbar war und ein Mensch sie nachvollziehen konnte. DORA sorgt dafür, dass IT-Systeme widerstandsfähig und sicher bleiben. MaRisk setzt die Mindestanforderungen an das Risikomanagement. Zusammen ergeben sie einen Rahmen, der in vielen Häusern heute noch mit Excel-Tabellen abgearbeitet wird. Erfüllt, nicht erfüllt, Tabelle vorzeigen, Audit bestehen. Das kostet Zeit und Geld, das sich sparen lässt, wenn man die Anforderungen in eine technische Schicht überträgt.

Das Beispiel, das alles erklärt

Zwei Kreditanträge über 100.000 Euro, identische Daten, einer heißt Ahmed, der andere Stefan. Die KI lehnt Ahmed ab. Der AI Act verlangt, dass diese Entscheidung nachvollziehbar ist. Hat das Modell aus historischen Daten gelernt, dass Ahmeds häufiger abgelehnt wurden, liegt ein Bias vor, und ein Mensch muss eingreifen. Human in the Loop ist kein Schlagwort, sondern eine Stelle im Prozess, an der jemand wirklich hinschaut. Genau das muss das System protokollieren können.

So setzen wir den EU AI Act um

  • Use-Case-Inventar und Risikoklassifizierung aller eingesetzten und geplanten KI-Systeme.
  • Data Governance: dokumentierte Herkunft, Qualität und Verarbeitung der Trainingsdaten, Pseudonymisierung statt personenbezogener Daten.
  • Governance Layer: Registrierung, Protokollierung, Grenzen, Eskalation, audit-ready Dokumentation.
  • Menschliche Aufsicht an definierten Stellen mit echter Eingriffsmöglichkeit.
  • Nachweisführung für Aufsicht, Revision und Kunden, ohne dass jemand Tabellen pflegen muss.

Bremse oder Vorteil?

Ja, Deutschland und Europa sind bei der KI-Entwicklung langsamer als die Konkurrenz. In anderen Ländern gibt es diese Bremse nicht, dafür ist es dort komplett unkontrolliert. Am Ende ist Deutschland das Land, bei dem alle einkaufen, weil hier mit Kopf, mit Verstand und mit Regulierung gebaut wird. Unsere Auslandsaufträge kommen genau deshalb: Die Kunden wollen eine deutsche Firma, die weiß, wie man Systeme baut, die ein Audit bestehen. Der AI Act ist dafür kein Hindernis, sondern die Eintrittskarte.

Weiterlesen: Beiträge zum EU AI Act

Über Umair Zaffar

Ich habe 2017 als freiberuflicher Softwareentwickler angefangen, mit einem ersten Projekt bei einer Versicherung in Hannover. 2019 habe ich mit meinem Mitgründer Ayman Kalaie die sifamo GmbH gegründet, eigenfinanziert und ohne Kredite. Heute arbeiten rund 30 Berater, Architekten und Entwickler an den Standorten Berlin und Frankfurt am Main, über der GmbH steht die SFM Holding mit SIFAMO Events als Veranstalter des SIFAMO AI Summit. Seit 2023 liegt unser Schwerpunkt auf KI im regulierten Umfeld. Auf meinem YouTube-Kanal und hier im Blog teile ich, was wir dabei lernen: ungefiltert, mit Zahlen und ohne Beratersprech.

Häufige Fragen

Gilt der EU AI Act schon?

Ja, gestaffelt seit 2024. Verbote und Transparenzpflichten greifen bereits, die Pflichten für Hochrisiko-Systeme ab Dezember 2027 beziehungsweise August 2028. Wer heute Hochrisiko-Systeme plant, sollte die Anforderungen jetzt einbauen.

Ist unser Use Case Hochrisiko?

Wenn er über den Zugang von Menschen zu Krediten, Jobs, Versicherungen, Bildung oder staatlichen Leistungen mitentscheidet, sehr wahrscheinlich ja. Die genaue Einordnung ist der erste Schritt jeder Beratung.

Was passiert bei Verstößen?

Der AI Act sieht empfindliche Bußgelder vor, in Banken kommt die Aufsicht der BaFin hinzu. Wichtiger als die Strafe ist der Vertrauensverlust bei Kunden. Wie man ihn vermeidet, besprechen wir gern, siehe KI Governance oder die Kontaktseite.

Ihr wollt euren Use Case nach EU AI Act einordnen und einen Umsetzungsplan, der nicht in Excel endet? Schreibt mir über die Kontaktseite, per E-Mail an contact@sifamo.com oder direkt auf LinkedIn.