KI ist kein Trend mehr: warum Angst der falsche Berater ist | Umair Zaffar
Umair Zaffar Oktober 27, 2026 0 Comments

EU AI Act Artikel 5: Verbotene Praktiken als Guardrails technisch umgesetzt

EU AI Act Artikel 5 verbietet acht KI-Praktiken, von manipulativer Beeinflussung über Social Scoring bis zur Emotionserkennung am Arbeitsplatz, und wir bei SIFAMO machen daraus Regeln, die das Gateway prüft: Klassifizierung bei der Registrierung, gesperrte Merkmalsklassen und Datenkombinationen, Review bei jeder Zweckänderung, Nachweis im Evidence Log.

Artikel 5 ist der Teil des AI Act, bei dem Banken und Versicherer am schnellsten abwinken: Wir manipulieren niemanden, wir betreiben kein Social Scoring. Das stimmt für die Absicht, seltener für die Systeme. Ein Modell, das Kundenkontakte optimiert, findet von selbst heraus, dass Menschen in Geldnot auf Druck reagieren. Adressiert sind alle: Anbieter, die ein System in Verkehr bringen oder in Betrieb nehmen, und Betreiber, die es verwenden. Die Bußgelder sind die höchsten des Gesetzes (Art. 99 Abs. 3). Ich bin Engineer, kein Jurist, und mir geht es darum, wie aus einem Verbot eine Regel wird, die eine Maschine prüfen kann. Die Grundlagen stehen in meinem Überblick EU AI Act in der Praxis.

Zur Einordnung: Der EU AI Act ist seit dem 1. August 2024 in Kraft. Verbote und KI-Kompetenz gelten seit Februar 2025, die Pflichten für GPAI-Modelle seit August 2025, die Transparenzpflichten nach Artikel 50 seit August 2026. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach der Verschiebung durch die Änderungsverordnung (EU) 2026/1744 (Digital Omnibus) ab dem 2. Dezember 2027, für Anhang-I-Produkte ab dem 2. August 2028. Artikel 5 gehört zur ersten Phase: Die Verbote gelten seit dem 2. Februar 2025, der Omnibus hat daran nichts geändert.

Was Artikel 5 verlangt

Artikel 5 KI-Verordnung steht in Kapitel II. Er verlangt kein Managementsystem, er zieht Grenzen. Art. 5 Abs. 1 verbietet das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen für acht Praktiken:

  • Buchst. a, Manipulation: unterschwellige Techniken außerhalb des Bewusstseins oder absichtlich manipulative oder täuschende Techniken, die das Verhalten wesentlich verändern, indem sie die Fähigkeit zu einer informierten Entscheidung beeinträchtigen, und die erheblichen Schaden verursachen oder wahrscheinlich verursachen. Rechtmäßige Werbung fällt nach Erwägungsgrund 29 nicht an sich darunter.
  • Buchst. b, Ausnutzen von Schwächen: Systeme, die Schwächen aufgrund des Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzen, mit dem Ziel oder der Wirkung einer wesentlichen Verhaltensänderung und erheblichem Schaden als Folge oder wahrscheinlicher Folge. Eine Schädigungsabsicht ist nicht nötig.
  • Buchst. c, Social Scoring: Bewertung oder Einstufung von Personen oder Gruppen über einen Zeitraum anhand ihres sozialen Verhaltens oder persönlicher Eigenschaften, wenn der Score zu Benachteiligung in Zusammenhängen führt, die mit dem Entstehungskontext der Daten nichts zu tun haben (i), oder zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung (ii). Die Bonitätsprüfung für einen Kredit ist nicht gemeint; sie ist Hochrisiko nach Anhang III Nr. 5 Buchst. b.
  • Buchst. d, Straftatenprognose: Risikobewertung, ob eine Person eine Straftat begeht, allein auf Basis von Profiling oder Persönlichkeitsmerkmalen; ausgenommen die Unterstützung einer menschlichen Bewertung auf Basis objektiver, überprüfbarer Tatsachen.
  • Buchst. e, Gesichtsdatenbanken: Aufbau oder Erweiterung von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungskameras.
  • Buchst. f, Emotionserkennung: Ableitung von Emotionen natürlicher Personen am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen.
  • Buchst. g, biometrische Kategorisierung: Ableitung von Rasse, politischer Meinung, Gewerkschaftszugehörigkeit, Religion oder Weltanschauung, Sexualleben oder sexueller Orientierung aus biometrischen Daten; ausgenommen rechtmäßig erworbene Datensätze und die Strafverfolgung.
  • Buchst. h, biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zur Strafverfolgung, mit drei engen Ausnahmen: Opfer und Vermisste, konkrete Gefahr für Leben oder Terroranschlag, Verdächtige bei Straftaten nach Anhang II.
  • Art. 5 Abs. 2 bis 7 regeln nur diese Ausnahme: Grundrechte-Folgenabschätzung nach Art. 27, Registrierung nach Art. 49, vorherige richterliche oder behördliche Genehmigung, Meldungen, Jahresberichte. Für Banken und Versicherer ohne Belang. Art. 5 Abs. 8: Verbote nach anderem Unionsrecht bleiben unberührt.

Der AI Act Explorer zeigt zusätzlich eine Änderung mit zwei weiteren Buchstaben (ba) und (bb) zu sexualisierten Deepfakes und Missbrauchsdarstellungen, laut Explorer gültig ab dem 2. Dezember 2026; für dieses Beispiel ohne Belang. Wichtig: a und b beschreiben Wirkungen, keine Techniken. c beschreibt einen Kontextwechsel.

Das technische Beispiel

Eine Bank betreibt eine Kundenanalytik-Plattform mit drei Modellen: einer Segmentierung nach Verhalten, einem Next-Best-Action-Modell, das pro Kontakt Kanal, Zeitpunkt und Botschaft vorschlägt, und einem Modell im Forderungsmanagement, das bei Zahlungsrückstand die Ansprache steuert: Erinnerung, Anruf, Ratenangebot, Inkasso. Alle drei lesen dieselben Daten: Kontoumsätze, Produktnutzung, Kontakthistorie, Beschwerden, App-Verhalten. Nichts daran ist verboten. Das Verbot sitzt nicht im Zweck, sondern in drei Driftpfaden, die ich regelmäßig sehe.

Erster Pfad, Buchst. b. Das Collections-Modell wird auf Zahlungseingang optimiert. Es lernt, dass Kunden mit ausgeschöpftem Dispo, Rücklastschriften und nächtlicher App-Nutzung auf Fristdruck stärker reagieren, schickt ihnen häufiger härtere Nachrichten und bietet Raten später an. Das sind Menschen in einer besonderen wirtschaftlichen Situation. Nehmen sie unter dem Druck einen weiteren Kredit auf, ist das erheblicher Schaden. Niemand hat das programmiert. Die Zielfunktion hat es gefunden.

Zweiter Pfad, Buchst. c. Die Segmentierung wird zum Kundenwert-Score aus Zahlungsverhalten, Beschwerdehäufigkeit, Tonfall in Chats und Filialbesuchen über Jahre. Erst nutzt ihn das Marketing, dann der Service für Wartezeiten, dann die Kulanzabteilung. Am Ende entscheidet Beschwerdeverhalten über die Kulanz bei einem Kreditkartenstreit. Das ist der Kontextwechsel aus Buchst. c.

Dritter Pfad, Buchst. f. Die Bank führt Sprachanalyse im Callcenter ein, um die Stimmung der Kunden zu erkennen. Der Hersteller liefert dasselbe für die Mitarbeiterseite mit: Stresslevel pro Agent, Ampel im Dashboard der Teamleitung. Das ist Emotionserkennung am Arbeitsplatz, verboten, egal wie das Feature heißt. Die Kundenseite fällt nicht unter Buchst. f, ist aber Hochrisiko nach Anhang III Nr. 1 Buchst. c und nach Art. 50 Abs. 3 offenzulegen.

Der Datenfluss ist bei allen drei derselbe: Die Plattform ruft das Gateway mit einer Use-Case-ID, das Gateway prüft Registrierung und Datenzone, pseudonymisiert, ruft das Modell und schreibt das Evidence Log. Dort setzen wir an.

So setzen wir es um

Ein Verbot lässt sich nicht testen wie eine Genauigkeit. Aber die Bedingungen, unter denen ein System in verbotenes Gebiet rutscht, lassen sich als Daten beschreiben: welche Merkmale es sieht, welche Aktion es auslöst, auf wen es wirkt, woher die Daten stammen. Genau das tun wir in unserem Governance Layer. Der Registereintrag des Collections-Modells, vereinfacht:

{
  "use_case_id": "DE-B-2026-0211",
  "owner": "Leitung Forderungsmanagement",
  "purpose": "Kanal, Zeitpunkt und Vorlage für Zahlungserinnerungen wählen",
  "risk_class": "begrenzt",
  "art5_screen": {"version": 3, "result": "a-h nein", "signed": ["Business Owner", "Compliance"], "date": "2026-10-14"},
  "subjects": ["Kunde"], "actions": ["Kontakt steuern"], "data_contexts": ["Zahlung"],
  "blocked_feature_classes": ["Alter", "Behinderung", "wirtschaftliche Notlage", "Gesundheit"],
  "output": "Vorlagen-ID aus freigegebener Liste",
  "expiry": "2027-04-14"
}

Klassifizierung bei der Registrierung

Jeder Use Case bekommt bei der Registrierung eine Klasse: verboten, Hochrisiko, begrenzt, minimal. Davor läuft der Artikel-5-Screen: acht Fragen entlang der Buchstaben a bis h, jede mit Ja oder Nein und kurzer Begründung. Dazu drei Felder, die das Gateway später liest: Betroffene (Kunde, Mitarbeiter, Dritte), Aktionsklasse (etwa Kontakt steuern oder Emotion ableiten) und Datenkontexte (etwa Zahlung oder Beschwerde). Business Owner und Compliance unterschreiben. Ein verbotener Use Case bekommt keine Route, sondern einen Eintrag mit Status abgelehnt. Der bleibt: Dass jemand Emotionserkennung für das Team beantragt hat und abgelehnt wurde, ist selbst ein Nachweis.

Scope-Regeln im Gateway

Die Registrierung ist eine Absicht. Durchgesetzt wird sie im Gateway, pro Aufruf:

  • Gesperrte Merkmalsklassen. Im Datenkatalog sind Felder getaggt, die auf Schwächen nach Buchst. b hindeuten: Altersgruppen, Hinweise auf Behinderung, Notlage-Indikatoren wie Dispo-Ausschöpfung, Rücklastschriften und Sozialleistungseingänge. Ein Use Case mit Aktionsklasse Kontakt steuern darf sie nicht empfangen. Das Gateway entfernt sie aus dem Payload und protokolliert das. Das Collections-Modell darf wissen, dass ein Rückstand besteht, aber nicht, wie verzweifelt der Kunde ist.
  • Gesperrte Datenkombinationen. Kommt ein Feld aus einem Kontext, für den der Use Case nicht registriert ist, lehnt das Gateway den Aufruf ab. Der Kulanz-Use-Case bekommt keine Beschwerdehistorie, der Service keinen Zahlungsstatus. Das ist unsere Antwort auf Buchst. c: Der Kontextwechsel wird unterbunden, nicht nur untersagt.
  • Gesperrte Kombination aus Aktion und Betroffenen. Emotion ableiten plus Mitarbeiter ist im Gateway nicht konfigurierbar, ohne Ausnahme-Flag, auch nicht für Sicherheitsgründe. Wer diese Ausnahme ernsthaft braucht, startet ein Projekt der Arbeitsmedizin mit eigener Registrierung.
  • Freigegebene Vorlagen. Das Collections-Modell wählt aus Nachrichtenvorlagen, die Fachbereich und Compliance abgenommen haben, und schreibt keinen freien Text an Kunden. Ein Modell, das keine künstliche Dringlichkeit formulieren kann, erfüllt Buchst. a durch Konstruktion.

Review bei Zweckänderung

Der gefährlichste Moment ist nicht der Go-live, sondern die zweite Verwendung: Der Score aus dem Marketing wandert in die Kulanz. Darum ist jede Änderung an Zweck, Betroffenen, Aktionsklasse oder Datenkontext eine neue Registrierung mit neuem Screen und neuer Unterschrift. Das Ablaufdatum erzwingt den Screen spätestens dann erneut, mit Blick auf das, was das Modell inzwischen tut, nicht auf das, was beantragt wurde.

Nachweis, dass geprüft wurde

Das Evidence Log hält pro Entscheidung die Policy-Version, die Version des Artikel-5-Screens und die entfernten Felder. Das Monitoring liest daraus Out-of-Scope-Versuche und Verteilungen: Konzentriert sich die Kontaktintensität auf Segmente, die mit den gesperrten Merkmalen korrelieren, geht ein Alarm an den Business Owner. Proxies sind real. Der Prüfer sieht alle Use Cases mit Klasse, Screen, Unterschriften und Datum, die abgelehnten Anträge und pro Entscheidung die Regel, die galt.

Wo das Gesetz Spielraum lässt, wählen wir die engere Lesart: Wirtschaftliche Notlage ist für uns eine besondere wirtschaftliche Situation nach Buchst. b, bereichsübergreifende Scores behandeln wir wie Social Scoring. Die Kosten der Regel sind ein paar gesperrte Felder. Die Kosten des Irrtums stehen in Art. 99 Abs. 3.

Typische Fehler

  • Artikel 5 einmal abgehakt. „Wir machen das nicht“ als Satz in der KI-Richtlinie, kein Screen pro Use Case, kein Review bei Änderung.
  • Zielfunktion ohne Leitplanken. Zahlungseingang maximieren, ohne dem Modell die Merkmale zu entziehen, über die es Schwächen findet.
  • Der eine Kundenscore für alles. Einmal gebaut, von fünf Abteilungen genutzt, von niemandem verantwortet.
  • Mitarbeiter-Analytics als Coaching. Stressanalyse im Callcenter unter dem Etikett Qualitätssicherung. Das Etikett ändert die Rechtslage nicht.
  • Verbot nur im Prompt. „Setze Kunden nicht unter Druck“ ist eine Anweisung, keine Grenze.

Checkliste EU AI Act Artikel 5

  • Jeder KI-Use-Case hat eine dokumentierte Klasse und einen unterschriebenen Artikel-5-Screen entlang der Buchstaben a bis h.
  • Merkmale zu Alter, Behinderung oder wirtschaftlicher Notlage sind getaggt und für Use Cases mit Kontaktsteuerung technisch gesperrt.
  • Datenkontexte sind pro Use Case registriert; bereichsübergreifende Kombinationen lehnt das Gateway ab und protokolliert sie.
  • Emotionserkennung mit Bezug auf Mitarbeiter ist nicht konfigurierbar; bei Kunden ist sie als Hochrisiko registriert und wird offengelegt.
  • Kundenkommunikation aus Modellen nutzt freigegebene Vorlagen.
  • Jede Änderung an Zweck, Betroffenen, Aktion oder Datenkontext löst Screen und Unterschrift neu aus; das Ablaufdatum erzwingt die Wiederholung.
  • Das Evidence Log enthält pro Entscheidung Screen-Version und entfernte Felder; abgelehnte Use Cases bleiben als Nachweis in der Registry.

Offene Fragen

  • Wo beginnt erheblicher Schaden? Für Mahnprozesse gibt es keine messbare Schwelle. Die Leitlinien der Kommission zu den verbotenen Praktiken vom Februar 2025 helfen bei der Auslegung, binden aber kein Gericht.
  • Emotion aus Text. Art. 3 Nr. 39 knüpft Emotionserkennung an biometrische Daten. Stimme ist biometrisch, Text nicht. Ob Frustrationserkennung aus Chatprotokollen von Mitarbeitern unter Buchst. f fällt, ist offen. Wir sperren sie trotzdem.
  • Proxies. Das Gateway kann Felder sperren, aber nicht verhindern, dass ein Modell aus erlaubten Daten eine Notlage rekonstruiert. Monitoring ist ein Pflaster; der eigentliche Hebel ist Forschung zu Interpretierbarkeit und Fairness unter Proxy-Merkmalen.

Häufige Fragen

Gilt das auch für uns als Betreiber?

Ja, ohne Einschränkung. Art. 5 Abs. 1 verbietet ausdrücklich auch die Verwendung. Wer ein gekauftes Callcenter-Tool mit Stimmungsanalyse für Mitarbeiter einschaltet, verstößt selbst, unabhängig vom Hersteller.

Ist unser Kredit-Scoring Social Scoring?

Nein, solange es für den Kreditzweck mit den dafür rechtmäßigen Daten erfolgt. Dann ist es Hochrisiko nach Anhang III Nr. 5 Buchst. b. Verboten wird es, wenn der Score aus fremden Kontexten gespeist wird oder dort zu Benachteiligung führt.

Reicht ein Verbot in unserer KI-Richtlinie?

Als Dokument ja, als Kontrolle nein. Die Richtlinie sagt, was niemand tun soll. Screen, gesperrte Felder und Log zeigen, dass es niemand getan hat. Das ist der Unterschied zwischen Absichtserklärung und KI Governance.

Dieser Beitrag ist Teil der Serie zum EU AI Act Artikel für Artikel, alle Artikel im Überblick.

Mehr zum Thema: EU AI Act · Alle Artikel · KI Governance · KI Berater

Leave Comment