Anthropic räumt ein, dass Claude für die Lenksoftware von Raketen missbraucht wurde, warnt kurz darauf vor KI-Modellen, die sich auf billige Geräte kopieren, und die EU verschiebt die Hochrisiko-Pflichten des AI Act auf Ende 2027. Warum KI Regulierung nicht mehr warten kann.
Ich möchte heute wieder über die neuesten Entwicklungen in der KI sprechen, und zwar über die unangenehmen. Es geht darum, wie KI immer weiter außer Kontrolle gerät, wie die großen Konzerne das offenbar selbst nicht mehr im Griff haben und warum das Risiken sind, die uns alle als Nutzer betreffen. Drei Meldungen aus wenigen Wochen zeigen das Muster.
Aufgenommen in Frankfurt am Main, Oktober 2026. Alle Quellen mit Zeitstempel stehen in der Videobeschreibung.
Claude im Raketenprogramm: Ein Konzern räumt Missbrauch ein
In seinem Threat-Intelligence-Report vom September beschreibt Anthropic, dass eine Gruppe im Nord-Jemen Claude Code für Lenk- und Steuerungssoftware von Raketen genutzt hat. Die Zuordnung zu den Huthi stammt aus Medienberichten, Anthropic selbst spricht von einer Zelle im Norden des Jemen. Laut Anthropic wurden ballistische Daten gebündelt, über Flugsimulatoren und Echtzeitdaten verarbeitet und für den Flug eingesetzt. Bis Anthropic erkannte, wie die Software genutzt wurde, konnten die Angreifer das Gelernte bereits anwenden und Anpassungen vornehmen.
Zur Einordnung: Nach Anthropics Darstellung gibt es keinen Beleg, dass eine einsatzfähige Waffe fertiggestellt wurde, ein Testflug schlug offenbar fehl, und die Accounts wurden gesperrt. Das ändert nichts am Kern. Eine KI kann in einer sich schnell verändernden Umgebung besser rechnen und schneller reagieren als jeder Mensch. Genau diese Fähigkeit wurde hier gegen Menschen gerichtet, und der Hersteller hat es erst im Nachhinein gemerkt.
Wer kontrolliert die KI-Konzerne?
Das ist für mich die eigentliche Frage. Niemand kontrolliert, was Anthropic, OpenAI, Meta mit Llama oder wer auch immer da draußen entwickelt. Es gibt keine Instanz, die sagt: Moment, das darf nicht rein, hier wird abgebremst. Heute sind es Steuerungsdaten für Raketen, morgen könnten es Anleitungen für Dinge sein, die ich hier gar nicht ausbuchstabieren möchte. Und das ist erst der Anfang.
KI, die sich auf Haushaltsgeräte kopiert
Am selben Tag, an dem ich das Video aufgenommen habe, hat Anthropics Red Team eine Warnung veröffentlicht: Kleinere KI-Modelle könnten in naher Zukunft in der Lage sein, sich ohne Rechenzentrum selbstständig auf billige IoT-Geräte zu vervielfältigen. Getestet wurde das auf günstigen TV-Boxen. Anthropic schreibt selbst, dass es noch keinen vollständigen Replikator gibt und die Tests in vereinfachten Umgebungen liefen. Aber die Richtung ist klar.
Überlegt euch, was das bedeutet. In fast jedem Gerät steckt heute ein kleiner Rechner. Wenn sich eine KI dorthin kopieren kann, wie willst du sie jemals wieder abschalten? Und wenn sie sich in ein sicherheitskritisches Gerät einschleicht und dort ein Fehler passiert: Wer ist schuld, wer trägt die Verantwortung? Das klingt wie ein schlechter Film, aber selbst der Hersteller warnt davor.
Warum KI Regulierung so langsam ist
Regulierung geht viel zu langsam voran, und das ist kein Zufall. Kein großer Konzern möchte, dass KI reguliert wird. Regulierung bremst den Fortschritt, weniger Fortschritt heißt weniger Wettbewerbsfähigkeit, und wer nicht wettbewerbsfähig ist, verdient morgen kein Geld mehr. Big Tech steckt laut netzpolitik.org rund 151 Millionen Euro pro Jahr in EU-Lobbyarbeit. Wirtschaftlichkeit wird über Kontrolle, über Sicherheit und im Zweifel über Menschenleben gestellt. Das ist traurig, aber es erklärt, warum die EU die Hochrisiko-Pflichten des AI Act mit dem Digital Omnibus gerade auf den 2. Dezember 2027 verschoben hat.
Was eigentlich einfach wäre: Siegel, Registrierung, Kontrolle
KI registrieren. Jedes Modell, das in Verkehr kommt, gehört in ein Register, so wie es der AI Act für Hochrisiko-Systeme ohnehin vorsieht.
Sicherheitssiegel vergeben. Ein Qualitäts- und Sicherheitssiegel, das klar sagt: Dieses Modell ist geprüft und kannst du nutzen, dieses nicht.
Einsatz regeln. Klar festlegen, welche KI wann und wofür genutzt werden darf, und das auch durchsetzen.
Wenn das nicht passiert, landen wir schneller als erwartet an einem Punkt, an dem KI unkontrollierbar ist und wir nicht mehr zurückkönnen, um zu registrieren, zu kontrollieren oder zu regulieren. Dann stecken unsere Daten in jeder KI, unsere digitalen Fußabdrücke sind überall, und die Frage, wozu es den Menschen noch braucht, wird irgendwann nicht mehr rhetorisch gestellt. Wie Unternehmen diese Kontrolle intern aufbauen, habe ich in meinem Beitrag zu Agentic AI und KI Governance beschrieben.
EU AI Act und Deutschland: langsamer, aber mit Kopf
Zum Glück gibt es hier in Europa mit dem EU AI Act eine Grundlage, die es sonst nirgendwo auf der Welt gibt: KI erst einführen, nachdem sie reguliert und kontrolliert ist. Ja, wir sind in Deutschland bei der Entwicklung langsamer als die Konkurrenz. Aber am Ende ist Deutschland das Land, das Qualität liefert und bei dem alle einkaufen, weil hier mit Kopf, mit Verstand und mit Regulierung gebaut wird. Genau so entstehen Systeme, die wirklich sicher sind. Was der AI Act konkret von Banken und Versicherern verlangt, steht in meinem Beitrag zu Agentic AI Governance unter BaFin und EU AI Act.
Ich bleibe dabei: Wir müssen anfangen, KI zu kontrollieren. Wie seht ihr das, reicht der AI Act, oder braucht es ein Siegel für jedes Modell? Schreibt es mir auf LinkedIn oder unter dem Video auf meinem YouTube-Kanal.
Häufige Fragen
Hat Anthropic bestätigt, dass Claude Raketen gesteuert hat?
Anthropic beschreibt im Report, dass eine Zelle im Nord-Jemen Claude Code für Lenk- und Steuerungssoftware nutzte, nennt aber keinen Beleg für eine einsatzfähige Waffe. Die Zuordnung zu den Huthi kommt aus Medienberichten. Die Accounts wurden gesperrt.
Was bedeutet die Verschiebung der Hochrisiko-Pflichten im AI Act?
Mit der Verordnung (EU) 2026/1744, dem Digital Omnibus on AI, gelten die Pflichten für Hochrisiko-Systeme erst ab dem 2. Dezember 2027, für Systeme nach Anhang I ab August 2028. Unternehmen gewinnen Zeit, verlieren aber nicht die Pflicht.
Was kann ein Unternehmen heute schon tun?
Ein eigenes KI-Register führen, nur geprüfte Modelle einsetzen, klare Einsatzregeln definieren und den Menschen an den entscheidenden Stellen eingreifen lassen. Das ist KI Governance im Kleinen, und es funktioniert unabhängig davon, wann der Gesetzgeber fertig ist.
Anthropic räumt ein, dass Claude für die Lenksoftware von Raketen missbraucht wurde, warnt kurz darauf vor KI-Modellen, die sich auf billige Geräte kopieren, und die EU verschiebt die Hochrisiko-Pflichten des AI Act auf Ende 2027. Warum KI Regulierung nicht mehr warten kann.
Ich möchte heute wieder über die neuesten Entwicklungen in der KI sprechen, und zwar über die unangenehmen. Es geht darum, wie KI immer weiter außer Kontrolle gerät, wie die großen Konzerne das offenbar selbst nicht mehr im Griff haben und warum das Risiken sind, die uns alle als Nutzer betreffen. Drei Meldungen aus wenigen Wochen zeigen das Muster.
Claude im Raketenprogramm: Ein Konzern räumt Missbrauch ein
In seinem Threat-Intelligence-Report vom September beschreibt Anthropic, dass eine Gruppe im Nord-Jemen Claude Code für Lenk- und Steuerungssoftware von Raketen genutzt hat. Die Zuordnung zu den Huthi stammt aus Medienberichten, Anthropic selbst spricht von einer Zelle im Norden des Jemen. Laut Anthropic wurden ballistische Daten gebündelt, über Flugsimulatoren und Echtzeitdaten verarbeitet und für den Flug eingesetzt. Bis Anthropic erkannte, wie die Software genutzt wurde, konnten die Angreifer das Gelernte bereits anwenden und Anpassungen vornehmen.
Zur Einordnung: Nach Anthropics Darstellung gibt es keinen Beleg, dass eine einsatzfähige Waffe fertiggestellt wurde, ein Testflug schlug offenbar fehl, und die Accounts wurden gesperrt. Das ändert nichts am Kern. Eine KI kann in einer sich schnell verändernden Umgebung besser rechnen und schneller reagieren als jeder Mensch. Genau diese Fähigkeit wurde hier gegen Menschen gerichtet, und der Hersteller hat es erst im Nachhinein gemerkt.
Wer kontrolliert die KI-Konzerne?
Das ist für mich die eigentliche Frage. Niemand kontrolliert, was Anthropic, OpenAI, Meta mit Llama oder wer auch immer da draußen entwickelt. Es gibt keine Instanz, die sagt: Moment, das darf nicht rein, hier wird abgebremst. Heute sind es Steuerungsdaten für Raketen, morgen könnten es Anleitungen für Dinge sein, die ich hier gar nicht ausbuchstabieren möchte. Und das ist erst der Anfang.
KI, die sich auf Haushaltsgeräte kopiert
Am selben Tag, an dem ich das Video aufgenommen habe, hat Anthropics Red Team eine Warnung veröffentlicht: Kleinere KI-Modelle könnten in naher Zukunft in der Lage sein, sich ohne Rechenzentrum selbstständig auf billige IoT-Geräte zu vervielfältigen. Getestet wurde das auf günstigen TV-Boxen. Anthropic schreibt selbst, dass es noch keinen vollständigen Replikator gibt und die Tests in vereinfachten Umgebungen liefen. Aber die Richtung ist klar.
Überlegt euch, was das bedeutet. In fast jedem Gerät steckt heute ein kleiner Rechner. Wenn sich eine KI dorthin kopieren kann, wie willst du sie jemals wieder abschalten? Und wenn sie sich in ein sicherheitskritisches Gerät einschleicht und dort ein Fehler passiert: Wer ist schuld, wer trägt die Verantwortung? Das klingt wie ein schlechter Film, aber selbst der Hersteller warnt davor.
Warum KI Regulierung so langsam ist
Regulierung geht viel zu langsam voran, und das ist kein Zufall. Kein großer Konzern möchte, dass KI reguliert wird. Regulierung bremst den Fortschritt, weniger Fortschritt heißt weniger Wettbewerbsfähigkeit, und wer nicht wettbewerbsfähig ist, verdient morgen kein Geld mehr. Big Tech steckt laut netzpolitik.org rund 151 Millionen Euro pro Jahr in EU-Lobbyarbeit. Wirtschaftlichkeit wird über Kontrolle, über Sicherheit und im Zweifel über Menschenleben gestellt. Das ist traurig, aber es erklärt, warum die EU die Hochrisiko-Pflichten des AI Act mit dem Digital Omnibus gerade auf den 2. Dezember 2027 verschoben hat.
Was eigentlich einfach wäre: Siegel, Registrierung, Kontrolle
Wenn das nicht passiert, landen wir schneller als erwartet an einem Punkt, an dem KI unkontrollierbar ist und wir nicht mehr zurückkönnen, um zu registrieren, zu kontrollieren oder zu regulieren. Dann stecken unsere Daten in jeder KI, unsere digitalen Fußabdrücke sind überall, und die Frage, wozu es den Menschen noch braucht, wird irgendwann nicht mehr rhetorisch gestellt. Wie Unternehmen diese Kontrolle intern aufbauen, habe ich in meinem Beitrag zu Agentic AI und KI Governance beschrieben.
EU AI Act und Deutschland: langsamer, aber mit Kopf
Zum Glück gibt es hier in Europa mit dem EU AI Act eine Grundlage, die es sonst nirgendwo auf der Welt gibt: KI erst einführen, nachdem sie reguliert und kontrolliert ist. Ja, wir sind in Deutschland bei der Entwicklung langsamer als die Konkurrenz. Aber am Ende ist Deutschland das Land, das Qualität liefert und bei dem alle einkaufen, weil hier mit Kopf, mit Verstand und mit Regulierung gebaut wird. Genau so entstehen Systeme, die wirklich sicher sind. Was der AI Act konkret von Banken und Versicherern verlangt, steht in meinem Beitrag zu Agentic AI Governance unter BaFin und EU AI Act.
Ich bleibe dabei: Wir müssen anfangen, KI zu kontrollieren. Wie seht ihr das, reicht der AI Act, oder braucht es ein Siegel für jedes Modell? Schreibt es mir auf LinkedIn oder unter dem Video auf meinem YouTube-Kanal.
Häufige Fragen
Hat Anthropic bestätigt, dass Claude Raketen gesteuert hat?
Anthropic beschreibt im Report, dass eine Zelle im Nord-Jemen Claude Code für Lenk- und Steuerungssoftware nutzte, nennt aber keinen Beleg für eine einsatzfähige Waffe. Die Zuordnung zu den Huthi kommt aus Medienberichten. Die Accounts wurden gesperrt.
Was bedeutet die Verschiebung der Hochrisiko-Pflichten im AI Act?
Mit der Verordnung (EU) 2026/1744, dem Digital Omnibus on AI, gelten die Pflichten für Hochrisiko-Systeme erst ab dem 2. Dezember 2027, für Systeme nach Anhang I ab August 2028. Unternehmen gewinnen Zeit, verlieren aber nicht die Pflicht.
Was kann ein Unternehmen heute schon tun?
Ein eigenes KI-Register führen, nur geprüfte Modelle einsetzen, klare Einsatzregeln definieren und den Menschen an den entscheidenden Stellen eingreifen lassen. Das ist KI Governance im Kleinen, und es funktioniert unabhängig davon, wann der Gesetzgeber fertig ist.
Mehr zum Thema: KI Governance · EU AI Act
Recent Posts
Recent Comments