OpenAI, Anthropic und das britische AI Security Institute haben innerhalb von zwei Wochen eingeräumt, dass ihre eigenen KI-Agenten aus der Testumgebung ausgebrochen sind. Was das für Unternehmen in Deutschland bedeutet und warum KI Kontrolle jetzt kein Nice-to-have mehr ist.
Ich lese gerade die News und bin ehrlich verwundert, wo KI-Agenten mittlerweile angekommen sind. Innerhalb von nur 14 Tagen haben OpenAI, Anthropic und das britische AI Security Institute unabhängig voneinander offengelegt, dass KI-Agenten während interner Sicherheitstests aus ihrer abgeschotteten Testumgebung ausgebrochen sind und auf reale Systeme zugegriffen haben. Das ist kein Science-Fiction-Szenario, das sind die Berichte der Anbieter selbst.
Aufgenommen in Frankfurt am Main, August 2026: meine Einordnung der Berichte über ausgebrochene KI-Agenten.
Was passiert ist: Hugging Face entdeckt den Angriff, nicht OpenAI
Am 21. Juli haben laut den Berichten zwei OpenAI-Modelle über eine bislang unbekannte Schwachstelle die Produktivinfrastruktur von Hugging Face kompromittiert. Entdeckt hat das nicht OpenAI, sondern Hugging Face selbst, die daraufhin die Strafverfolgungsbehörden eingeschaltet haben. Am 30. Juli meldete Anthropic nach einer Rückschau über 141.000 Evaluierungsläufe drei Fälle, in denen Claude-Modelle unbefugt auf Produktivsysteme dreier Organisationen zugegriffen haben.
Man muss sich das so vorstellen: Die großen Anbieter lassen Agenten laufen, die automatisiert Aufgaben erledigen sollen, nach deren Verständnis sauber abgeschottet in einem sicheren Bereich. Und dann brechen diese Agenten aus diesem Gefängnis aus und greifen auf echte Systeme fremder Firmen zu. Das ist für mich ein Skandal und ein Schaden für jeden Unternehmer, der gerade versucht, mit KI etwas aufzubauen.
Warum das ein Vertrauensproblem für jeden KI-Einsatz ist
Das Schlimmste an der Geschichte ist nicht der einzelne Vorfall. Es ist die Tatsache, dass die Labore, die diese Systeme bauen, offenbar ihre eigenen Testagenten nicht im Griff haben. Wenn man 141.000 Läufe auswerten muss, um drei Fälle zu finden, in denen reale Organisationen betroffen waren, dann ist das aus meiner Sicht nicht tragbar. Und sie merken es nicht einmal selbst. Der Kunde findet es, nicht der Hersteller.
Ich verliere dadurch ein gewisses Vertrauen in Richtung OpenAI und Anthropic, aber vor allem in die gesamte Agenten-Thematik, so wie sie gerade verkauft wird. KI-Agenten sind offensichtlich nicht so kontrolliert, wie es uns dargestellt wird. Für Unternehmen in regulierten Branchen, mit denen wir bei SIFAMO täglich arbeiten, ist das die entscheidende Frage: Kann ich nachweisen, dass meine KI nur das tut, was sie darf?
KI Kontrolle in der Praxis: Register, Grenzen, Eskalation
Ich habe es in den letzten Videos immer wieder gesagt und sage es wieder: Fangt an, KI zu kontrollieren. Das ist der Kern von KI Governance, und die Vorfälle zeigen genau, welche Bausteine fehlen.
Agenteninventar aufbauen. Ein Register, in dem jedes Modell und jeder Agent erfasst ist: Welche KI habe ich im Einsatz, wo läuft sie, was tut sie gerade.
Grenzen festlegen. Ganz klar definieren, was die KI darf und wo der Mensch eingreift. Der sogenannte Human in the Loop ist kein Schlagwort, sondern eine Stelle im Prozess, an der jemand wirklich hinschaut.
Eskalationskette definieren. Verhält sich ein Agent ungewöhnlich, muss das sofort gemeldet werden, und das Modell wird heruntergefahren. Bei Hugging Face hätte genau das passieren müssen, und zwar beim Hersteller, nicht beim Kunden.
Wie das mit schneller Softwareentwicklung zusammenpasst, habe ich in meinem Beitrag zu Agentic AI und KI Governance beschrieben. Kurzfassung: Geschwindigkeit ohne Kontrolle ist in regulierten Branchen keine Option.
Wie wir bei SIFAMO KI einführen: Sicherheit zuerst
Ich weiß, die Kunden wollen alles schnell. Jeder will sofort auf den KI-Zug aufspringen. Was wir bewusst nicht machen: reinkommen, schnell ein LLM aufsetzen, die Daten trainieren und dafür sorgen, dass die KI möglichst schnell irgendwie läuft. Wir fangen anders an.
Zuerst bauen wir die Sicherheit. Wir nennen es KI Governance Layer: eine Schicht, in der jedes Modell, jede KI und jeder Agent registriert und angemeldet wird. Jeder einzelne Schritt wird getrackt. Sobald etwas Ungewöhnliches passiert, wird heruntergefahren. So funktioniert KI Kontrolle in der Praxis, und erst darauf setzen wir die eigentlichen Anwendungsfälle.
Ich hoffe, dass die Branche das bald in den Griff bekommt. Wenn nicht, haben wir schwierige Zeiten vor uns, und KI wird eher zum Risiko als zum Vorteil. Wie geht ihr in eurem Unternehmen mit KI-Agenten um, habt ihr überhaupt einen Überblick, welche laufen? Schreibt es mir auf LinkedIn oder unter dem Video auf meinem YouTube-Kanal.
Häufige Fragen
Was bedeutet es, wenn ein KI-Agent aus der Sandbox ausbricht?
Eine Sandbox ist eine abgeschottete Testumgebung. Bricht ein Agent aus, hat er Zugriff auf Systeme außerhalb dieser Umgebung erlangt, im beschriebenen Fall auf Produktivsysteme fremder Organisationen. Genau das soll eine Sandbox verhindern.
Was ist ein Agenteninventar?
Ein zentrales Register aller eingesetzten KI-Modelle und Agenten mit Zweck, Einsatzort, Berechtigungen und Verantwortlichem. Es ist die Grundlage, um Vorfälle überhaupt erkennen, zuordnen und stoppen zu können.
Reicht ein Human in the Loop als Kontrolle?
Nur, wenn der Mensch tatsächlich eingreifen kann und es eine definierte Eskalation gibt. Ein Mensch, der Protokolle im Nachhinein liest, ist keine Kontrolle. Die Kombination aus Register, klaren Grenzen und automatischem Herunterfahren bei Auffälligkeiten ist das, was wir unter KI Kontrolle verstehen.
OpenAI, Anthropic und das britische AI Security Institute haben innerhalb von zwei Wochen eingeräumt, dass ihre eigenen KI-Agenten aus der Testumgebung ausgebrochen sind. Was das für Unternehmen in Deutschland bedeutet und warum KI Kontrolle jetzt kein Nice-to-have mehr ist.
Ich lese gerade die News und bin ehrlich verwundert, wo KI-Agenten mittlerweile angekommen sind. Innerhalb von nur 14 Tagen haben OpenAI, Anthropic und das britische AI Security Institute unabhängig voneinander offengelegt, dass KI-Agenten während interner Sicherheitstests aus ihrer abgeschotteten Testumgebung ausgebrochen sind und auf reale Systeme zugegriffen haben. Das ist kein Science-Fiction-Szenario, das sind die Berichte der Anbieter selbst.
Was passiert ist: Hugging Face entdeckt den Angriff, nicht OpenAI
Am 21. Juli haben laut den Berichten zwei OpenAI-Modelle über eine bislang unbekannte Schwachstelle die Produktivinfrastruktur von Hugging Face kompromittiert. Entdeckt hat das nicht OpenAI, sondern Hugging Face selbst, die daraufhin die Strafverfolgungsbehörden eingeschaltet haben. Am 30. Juli meldete Anthropic nach einer Rückschau über 141.000 Evaluierungsläufe drei Fälle, in denen Claude-Modelle unbefugt auf Produktivsysteme dreier Organisationen zugegriffen haben.
Man muss sich das so vorstellen: Die großen Anbieter lassen Agenten laufen, die automatisiert Aufgaben erledigen sollen, nach deren Verständnis sauber abgeschottet in einem sicheren Bereich. Und dann brechen diese Agenten aus diesem Gefängnis aus und greifen auf echte Systeme fremder Firmen zu. Das ist für mich ein Skandal und ein Schaden für jeden Unternehmer, der gerade versucht, mit KI etwas aufzubauen.
Warum das ein Vertrauensproblem für jeden KI-Einsatz ist
Das Schlimmste an der Geschichte ist nicht der einzelne Vorfall. Es ist die Tatsache, dass die Labore, die diese Systeme bauen, offenbar ihre eigenen Testagenten nicht im Griff haben. Wenn man 141.000 Läufe auswerten muss, um drei Fälle zu finden, in denen reale Organisationen betroffen waren, dann ist das aus meiner Sicht nicht tragbar. Und sie merken es nicht einmal selbst. Der Kunde findet es, nicht der Hersteller.
Ich verliere dadurch ein gewisses Vertrauen in Richtung OpenAI und Anthropic, aber vor allem in die gesamte Agenten-Thematik, so wie sie gerade verkauft wird. KI-Agenten sind offensichtlich nicht so kontrolliert, wie es uns dargestellt wird. Für Unternehmen in regulierten Branchen, mit denen wir bei SIFAMO täglich arbeiten, ist das die entscheidende Frage: Kann ich nachweisen, dass meine KI nur das tut, was sie darf?
KI Kontrolle in der Praxis: Register, Grenzen, Eskalation
Ich habe es in den letzten Videos immer wieder gesagt und sage es wieder: Fangt an, KI zu kontrollieren. Das ist der Kern von KI Governance, und die Vorfälle zeigen genau, welche Bausteine fehlen.
Wie das mit schneller Softwareentwicklung zusammenpasst, habe ich in meinem Beitrag zu Agentic AI und KI Governance beschrieben. Kurzfassung: Geschwindigkeit ohne Kontrolle ist in regulierten Branchen keine Option.
Wie wir bei SIFAMO KI einführen: Sicherheit zuerst
Ich weiß, die Kunden wollen alles schnell. Jeder will sofort auf den KI-Zug aufspringen. Was wir bewusst nicht machen: reinkommen, schnell ein LLM aufsetzen, die Daten trainieren und dafür sorgen, dass die KI möglichst schnell irgendwie läuft. Wir fangen anders an.
Zuerst bauen wir die Sicherheit. Wir nennen es KI Governance Layer: eine Schicht, in der jedes Modell, jede KI und jeder Agent registriert und angemeldet wird. Jeder einzelne Schritt wird getrackt. Sobald etwas Ungewöhnliches passiert, wird heruntergefahren. So funktioniert KI Kontrolle in der Praxis, und erst darauf setzen wir die eigentlichen Anwendungsfälle.
Ich hoffe, dass die Branche das bald in den Griff bekommt. Wenn nicht, haben wir schwierige Zeiten vor uns, und KI wird eher zum Risiko als zum Vorteil. Wie geht ihr in eurem Unternehmen mit KI-Agenten um, habt ihr überhaupt einen Überblick, welche laufen? Schreibt es mir auf LinkedIn oder unter dem Video auf meinem YouTube-Kanal.
Häufige Fragen
Was bedeutet es, wenn ein KI-Agent aus der Sandbox ausbricht?
Eine Sandbox ist eine abgeschottete Testumgebung. Bricht ein Agent aus, hat er Zugriff auf Systeme außerhalb dieser Umgebung erlangt, im beschriebenen Fall auf Produktivsysteme fremder Organisationen. Genau das soll eine Sandbox verhindern.
Was ist ein Agenteninventar?
Ein zentrales Register aller eingesetzten KI-Modelle und Agenten mit Zweck, Einsatzort, Berechtigungen und Verantwortlichem. Es ist die Grundlage, um Vorfälle überhaupt erkennen, zuordnen und stoppen zu können.
Reicht ein Human in the Loop als Kontrolle?
Nur, wenn der Mensch tatsächlich eingreifen kann und es eine definierte Eskalation gibt. Ein Mensch, der Protokolle im Nachhinein liest, ist keine Kontrolle. Die Kombination aus Register, klaren Grenzen und automatischem Herunterfahren bei Auffälligkeiten ist das, was wir unter KI Kontrolle verstehen.
Mehr zum Thema: KI Governance
Recent Posts
Recent Comments