Erster Auftrag und der Grund für eine GmbH: Mein Start in die Selbstständigkeit | Umair Zaffar
Umair Zaffar November 2, 2026 0 Comments

EU AI Act Artikel 17: Qualitätsmanagementsystem technisch umgesetzt

EU AI Act Artikel 17 verlangt von Anbietern von Hochrisiko-Systemen ein Qualitätsmanagementsystem mit dreizehn Pflichtbestandteilen, und wir bei SIFAMO bauen es nicht als Ordner, sondern als Satz versionierter Verfahren, deren Einhaltung Register, Gateway und Pipeline bei jedem Release maschinell prüfen.

Artikel 17 ist der Artikel, der die Einzelpflichten aus Abschnitt 2 zusammenbindet. Jede dieser Pflichten braucht ein Verfahren, und Artikel 17 sagt, dass diese Verfahren ein System bilden müssen, das der Anbieter aufschreibt und lebt. Adressiert ist der Anbieter, also auch die Versicherung, deren Plattformteam Modelle für die Fachbereiche baut. Ich bin Engineer, kein Jurist. Mich interessiert, wie aus dem QMS etwas wird, das bei jedem Deployment geprüft wird statt einmal im Jahr gelesen. Die Grundlagen zu Fristen und Rollen stehen in meinem Überblick EU AI Act in der Praxis.

Zur Einordnung: Der EU AI Act ist seit dem 1. August 2024 in Kraft. Verbote und KI-Kompetenz gelten seit Februar 2025, die Pflichten für GPAI-Modelle seit August 2025, die Transparenzpflichten nach Artikel 50 seit August 2026. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach der Verschiebung durch die Änderungsverordnung (EU) 2026/1744 (Digital Omnibus) ab dem 2. Dezember 2027, für Anhang-I-Produkte ab dem 2. August 2028. Artikel 17 gehört zu diesen Hochrisiko-Pflichten. Der Omnibus hat Fristen verschoben, keine Pflicht gestrichen.

Was Artikel 17 verlangt

Artikel 17 KI-Verordnung steht in Kapitel III, Abschnitt 3, bei den Pflichten der Anbieter; Art. 16 Buchst. c verweist auf ihn. Der Text sagt nicht, wie gut ein System sein muss, sondern wie die Organisation dahinter arbeitet:

  • Art. 17 Abs. 1, Grundpflicht: Der Anbieter richtet ein Qualitätsmanagementsystem ein, das die Einhaltung der Verordnung gewährleistet. Es wird „systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert“ und umfasst mindestens dreizehn Aspekte, Buchst. a bis m.
  • Buchst. a bis d, Entwicklung: ein Konzept zur Einhaltung der Regulierungsvorschriften inklusive Konformitätsbewertung und Verfahren für den Umgang mit Änderungen (a); Techniken für Entwurf, Entwurfskontrolle und Entwurfsprüfung (b) sowie für Entwicklung, Qualitätskontrolle und Qualitätssicherung (c); Untersuchungs-, Test- und Validierungsverfahren vor, während und nach der Entwicklung, mit Angabe, wie oft sie laufen (d).
  • Buchst. e und f, Spezifikationen und Daten: die angewandten technischen Spezifikationen und Normen und, wo harmonisierte Normen nicht alles abdecken oder nicht vollständig angewandt werden, die Mittel, mit denen die Anforderungen trotzdem erfüllt werden (e); Datenverwaltungssysteme von der Erhebung bis zur Aufbewahrung (f).
  • Buchst. g bis i, die drei Verweise: das Risikomanagementsystem nach Art. 9 (g); die Beobachtung nach dem Inverkehrbringen nach Art. 72 (h); die Meldung schwerwiegender Vorfälle nach Art. 73 (i).
  • Buchst. j bis m, Organisation: Kommunikation mit Behörden, notifizierten Stellen, anderen Akteuren und Kunden (j); Aufzeichnung aller relevanten Dokumentation (k); Ressourcenmanagement einschließlich Versorgungssicherheit (l); ein Rechenschaftsrahmen mit den Verantwortlichkeiten von Leitung und Personal (m).
  • Art. 17 Abs. 2: Die Umsetzung ist verhältnismäßig zur Größe der Organisation; die Fassung nach dem Omnibus nennt KMU, Start-ups und kleine Unternehmen mittlerer Größe ausdrücklich. Strenge und Schutzniveau, die die Verordnung verlangt, bleiben in jedem Fall.
  • Art. 17 Abs. 3: Wer nach sektoralem Unionsrecht bereits ein QMS oder eine gleichwertige Funktion führt, darf die Aspekte aus Abs. 1 dort integrieren.
  • Art. 17 Abs. 4: Für Finanzunternehmen, die Internal-Governance-Regeln nach dem Finanzdienstleistungsrecht der Union unterliegen, gilt die QMS-Pflicht als erfüllt, wenn sie diese Regeln einhalten. Ausgenommen sind g, h und i. Harmonisierte Normen nach Art. 40 sind zu berücksichtigen.

Das technische Beispiel

Eine Versicherung hat ein internes KI-Plattformteam. Es baut und betreibt Modelle für die Fachbereiche: ein Modell zur Risikoprüfung und Tarifierung in der Krankenversicherung, einen Assistenten für die Vorauswahl von Bewerbungen im Personalbereich und ein Modell, das Leistungsanträge in der Berufsunfähigkeitsversicherung nach Dringlichkeit und Prüftiefe sortiert. Die ersten beiden sind Hochrisiko nach Anhang III Nr. 5 Buchst. c und Nr. 4 Buchst. a. Das dritte sortiert nur, prägt aber die Prüfung vor; wir behandeln es wie Hochrisiko, weil diese Grenze in Projekten leise wandert.

Rechtlich ist die Versicherung Anbieter: Sie entwickelt die Systeme und nimmt sie unter eigenem Namen in Betrieb. Die Fachbereiche sind intern Betreiber. Damit braucht die Versicherung ein QMS. Nicht drei. Artikel 17 adressiert die Organisation, nicht das einzelne System. Daraus folgt die wichtigste Designentscheidung: Die Verfahren existieren einmal, die Artefakte pro Modell, also Risikoregister nach Art. 9, technische Dokumentation nach Art. 11 und Registereintrag, sind Instanzen dieser Verfahren.

Der Datenfluss ist bei allen drei gleich: Die Fachanwendung ruft mit einer Use-Case-ID das Policy Gateway, nie das Modell. Das Gateway löst den Registereintrag auf, prüft die Datenzone, pseudonymisiert Namen, Versicherungsnummern und Diagnosen, ruft das Modell und schreibt das Evidence Log. Wo beißt Artikel 17? Überall dort, wo heute drei Teams drei Varianten desselben Vorgehens haben. Das Tarifierungsteam testet anders als das HR-Team, Änderungen werden mal per Ticket, mal per Chat freigegeben, und niemand kann sagen, welche Fassung der Testprozedur beim letzten Release galt. Genau das meint ein Prüfer, wenn er „kein QMS“ schreibt.

So setzen wir es um

Wir bei SIFAMO bauen das QMS als Repository von Verfahren, nicht als Handbuch. Jedes Verfahren hat eine ID, eine Version, einen Eigentümer, den Buchstaben aus Art. 17 Abs. 1, den es erfüllt, einen maschinellen Check und einen Ort, an dem der Nachweis entsteht. Der Governance Layer führt die Checks aus. Ein Ausschnitt, vereinfacht:

{
  "qms_version": "qms-2026-11",
  "owner": "Leitung KI-Plattform; Freigabe: Vorstand, Risikofunktion",
  "scope": ["DE-V-2026-0007 Tarifierung Kranken", "DE-V-2026-0012 Bewerbervorauswahl",
            "DE-V-2026-0019 Priorisierung BU-Leistung"],
  "procedures": [
    {"id": "QMS-A-02", "art17": "1a", "name": "Aenderungsmanagement",
     "rule": "Jede Aenderung an Modell, Prompt, Index oder Schwelle erzeugt eine neue Registerversion; Route nur mit bestandenen Gates",
     "check": "registry.version == gateway.deployed_version", "evidence": "Registerhistorie"},
    {"id": "QMS-D-01", "art17": "1d", "name": "Quality Gates",
     "rule": "Evaluationsset der Fachseite, Regression pro Fall, Angriffstests, Bias-Lauf, Rollback-Probe; vor jedem Release und am Ablaufdatum",
     "check": "pipeline.gates_passed(all)", "evidence": "Gate-Report pro Release"},
    {"id": "QMS-F-01", "art17": "1f", "name": "Datenzonen und Herkunft",
     "rule": "Rot nie ins Modell, Grau nur pseudonymisiert im Scope; Herkunft pro Quelle und pro Textabschnitt",
     "check": "gateway.zone_check && lineage.complete", "evidence": "Lineage-Record, Evidence Log"},
    {"id": "QMS-I-01", "art17": "1i", "name": "Vorfallmeldung nach Art. 73",
     "rule": "Triage am selben Arbeitstag, Meldeentwurf aus dem Evidence Log, Frist je Schweregrad",
     "check": "incidents.open_without_owner == 0", "evidence": "Vorfallakte"},
    {"id": "QMS-M-01", "art17": "1m", "name": "Rechenschaft",
     "rule": "Drei Unterschriften pro Release: Business Owner, Risiko, Plattform",
     "check": "registry.signoffs == 3", "evidence": "Registereintrag"}
  ]
}

Ein System, viele Modelle

Ein Modell, das nicht im scope des Manifests steht, bekommt im Register keinen gültigen Eintrag und damit keine Route. Die QMS-Version wandert in jeden Registereintrag und in jeden Eintrag des Evidence Log.

Compliance-Strategie und Änderungsmanagement (Buchst. a)

Für Anhang-III-Systeme wie in unserem Beispiel ist die Konformitätsbewertung die interne Kontrolle nach Anhang VI. Das Verfahren dazu ist eine Checkliste, die der Registereintrag erzwingt: Dokumentation nach Anhang IV vollständig, Konformitätserklärung nach Art. 47 unterschrieben, Eintrag in der EU-Datenbank nach Art. 49 vorhanden. Beim Änderungsmanagement haben wir die Lücke im Gesetz selbst geschlossen: Was eine wesentliche Änderung ist, die nach Art. 43 Abs. 4 eine neue Bewertung auslöst, steht im Verfahren. Neuer Zweck, neue Datenzone, neue Modellfamilie: wesentlich. Prompt-Korrektur innerhalb der getesteten Grenzen: nicht wesentlich, aber trotzdem neue Version und alle Gates.

Entwurf, Entwicklung, Tests (Buchst. b bis d)

Entwurf heißt bei uns: Vor dem Modell beantwortet der Fachbereich vier Fragen. Wer besitzt das System, was darf es sehen und tun, wie wissen wir hinterher, was es getan hat, wer schaltet es ab. Entwicklung läuft in der gemeinsamen Pipeline mit Code-Review, versionierten Prompts und reproduzierbarem Training. Tests sind die Quality Gates aus dem Manifest oben. Buchst. d verlangt ausdrücklich die Häufigkeit, also steht sie im Verfahren: vor jedem Release, am Ablaufdatum der Registrierung und monatlich als Regressionslauf gegen Drift.

Spezifikationen und Daten (Buchst. e und f)

Harmonisierte Normen fehlen noch, also greift der zweite Teil von Buchst. e: Wir dokumentieren die internen Spezifikationen, die wir anwenden, für Protokollierung, Metriken, Datenzonen und Aufsichtsstufen, und benennen die Lücke ehrlich. Datenmanagement nach Buchst. f sind die drei Zonen plus Herkunft: Rot sind rohe personenbezogene Daten und erreichen kein Modell, Grau ist pseudonymisiert mit Zugriffskontrolle, Grün ist unkritisch. Pro Quelle liegt ein Lineage-Record mit Herkunft, Rechtsgrundlage, Pseudonymisierungsnachweis und Löschfrist; bei Retrieval gelten Zugriffsrechte zur Abfragezeit und Herkunft pro Textabschnitt.

Die drei Verweise und der Finanzsektor (Buchst. g bis i, Abs. 4)

Buchst. g bis i sind genau die drei Punkte, die Abs. 4 nicht erlässt. Risikomanagement ist das versionierte Risikoregister pro Modell. Beobachtung nach dem Inverkehrbringen ist ein Plan nach Art. 72, der aus dem Evidence Log gespeist wird: Prüferaktionen, Drift-Alerts, Out-of-Scope-Versuche, monatlich gegen das Risikoregister gehalten, mit dem Kill Switch beim Business Owner. Vorfallmeldung ist ein Verfahren mit Triage am selben Arbeitstag, einer benannten Person, die über die Einstufung als schwerwiegender Vorfall entscheidet, einem Meldeentwurf aus dem Evidence Log und den Fristen aus Art. 73.

Zu Abs. 4: Eine Versicherung unterliegt den Governance-Anforderungen von Solvency II, die die BaFin in den VAIT konkretisiert, bei Banken sind es MaRisk und BAIT. Die Vermutung greift also, aber wir verlassen uns nicht darauf, sondern pflegen eine Zuordnungstabelle: Welcher bestehende Prozess, etwa Änderungsmanagement, Informationsrisikomanagement oder Auslagerungssteuerung, deckt welchen Buchstaben, und wo bleibt eine Lücke. Der Prüfer liest die Zuordnung, nicht die Vermutung, und g, h, i musst du sowieso bauen.

Behörden, Aufzeichnungen, Ressourcen, Rechenschaft (Buchst. j bis m)

Für die Kommunikation mit Behörden benennt das Verfahren eine Person mit der Befugnis, Dokumentation und Protokolle herauszugeben, wie Art. 21 es verlangt. Aufzeichnung heißt: Registerhistorie und Evidence Log sind unveränderlich und werden nach Art. 18 zehn Jahre aufbewahrt. Versorgungssicherheit bedeutet bei uns ein vorab evaluierter zweiter Modellanbieter, eine bereitstehende Rollback-Version und vertretene Schlüsselrollen. Der Rechenschaftsrahmen ist die dreifache Unterschrift pro Release: Der Business Owner trägt das Restrisiko und hält den Kill Switch, die Risikofunktion prüft als zweite Linie, das Plattformteam betreibt das QMS.

Proportionalität (Abs. 2)

Ein kleiner Anbieter braucht dieselben Verfahren, nicht dieselbe Menge: fünf Verfahren statt dreißig, das Register als Git-Repository, der Nachweis als Pipeline-Report. Nicht schrumpfen dürfen nach meiner Überzeugung Gates vor jedem Release, versionierte Änderungen und ein Vorfallverfahren mit Namen.

Was der Prüfer sieht: das versionierte QMS-Manifest, pro Verfahren die Historie der Check-Ergebnisse, die Zuordnung zu VAIT oder MaRisk, pro Modell die Instanzen der Verfahren und im Evidence Log die QMS-Version an jeder Entscheidung. Mehr zu diesem Ansatz unter KI Governance.

Typische Fehler

  • Das QMS ist ein Ordner aus einer ISO-9001-Vorlage. Generisch, an kein System gebunden, nach dem ersten Release veraltet.
  • Ein QMS pro Projekt. Drei Teams, drei Testverfahren, drei Freigabewege. Artikel 17 verlangt eines pro Anbieter.
  • Abs. 4 als Freibrief. „Wir haben VAIT“ ohne Zuordnung, und g, h, i fehlen ganz.
  • Änderungen ohne Definition. Niemand hat festgelegt, was eine wesentliche Änderung ist, also entscheidet der Zufall über die neue Konformitätsbewertung.

Checkliste EU AI Act Artikel 17

  • Es gibt genau ein QMS für alle Hochrisiko-Systeme des Anbieters, mit Version, Eigentümer und Freigabe durch die Leitung.
  • Jeder Buchstabe aus Art. 17 Abs. 1 ist mindestens einem Verfahren mit ID, Version, maschinellem Check und Nachweisort zugeordnet.
  • Das Verfahren definiert, was eine wesentliche Änderung ist, und erzwingt für jede Änderung eine neue Version mit allen Gates.
  • Test- und Validierungsverfahren nennen die Häufigkeit: vor jedem Release, am Ablaufdatum und im festen Rhythmus.
  • Risikoregister, Plan zur Beobachtung nach dem Inverkehrbringen und Vorfallverfahren existieren unabhängig von Abs. 4.
  • Für Finanzunternehmen liegt eine Zuordnung von VAIT, MaRisk oder BAIT zu den Buchstaben a bis m vor, inklusive Lücken.

Offene Fragen

  • Welche Norm? Die harmonisierte Norm zum Qualitätsmanagement für KI ist noch nicht veröffentlicht. Bis dahin dokumentieren wir die Lücke nach Buchst. e.
  • Was zählt als Unionsrecht in Abs. 4? Solvency II und die Bankenrichtlinien sind Unionsrecht, VAIT, BAIT und MaRisk sind nationale Verwaltungspraxis. Ob die Vermutung auch die nationale Konkretisierung meint, ist nicht entschieden.
  • Wie weit reicht Versorgungssicherheit? Was ein QMS nach Buchst. l über ein gehostetes Basismodell wissen und vorhalten muss, ist offen.

Häufige Fragen

Gilt das auch für uns als Betreiber?

Nein, Artikel 17 adressiert den Anbieter; als Betreiber nach Art. 26 brauchst du kein eigenes QMS. Sobald du aber selbst entwickelst, ein System unter eigenem Namen in Betrieb nimmst oder wesentlich veränderst, wirst du nach Art. 25 zum Anbieter, und interne Plattformteams sind der Normalfall dafür.

Reicht unsere ISO-9001-Zertifizierung?

Als Gerüst ja, als Inhalt nein. Art. 17 Abs. 3 erlaubt die Integration in bestehende Systeme. Die dreizehn Aspekte müssen darin aber konkret für die KI-Systeme nachweisbar sein, vor allem Risikoregister, Beobachtung im Betrieb, Vorfallmeldung und die Häufigkeit der Tests.

Brauchen wir eine notifizierte Stelle?

Für die Systeme aus unserem Beispiel, Anhang III Nr. 4 und 5, nicht. Dort gilt die interne Kontrolle nach Anhang VI: Du prüfst selbst, dass dein QMS Artikel 17 entspricht, und stehst dafür mit der Konformitätserklärung ein.

Dieser Beitrag ist Teil der Serie zum EU AI Act Artikel für Artikel, alle Artikel im Überblick.

Mehr zum Thema: EU AI Act · Alle Artikel · KI Governance · KI Berater

Leave Comment