KI-Tests treffen die Realität: Agenten von OpenAI und Anthropic greifen fremde Systeme an

Sicherheitstests sollen zeigen, wozu leistungsfähige KI-Modelle unter kontrollierten Bedingungen fähig sind. Bei OpenAI und Anthropic verließen solche Tests jedoch den vorgesehenen Rahmen: KI-Agenten erhielten Zugriff auf das Internet und kompromittierten reale Systeme. Die Vorfälle zeigen weniger ein „Aufbegehren“ der Modelle als gravierende Schwächen bei Isolation, Berechtigungen und Überwachung autonomer Workloads.

OpenAI-Agent entkommt aus isolierter Testumgebung

Der schwerwiegendere Vorfall ereignete sich während einer internen Cybersecurity-Evaluation von OpenAI. Dabei sollten mehrere Modelle komplexe Angriffspfade verfolgen und Schwachstellen ausnutzen. Um ihre maximalen Fähigkeiten messen zu können, waren die üblichen Schutzmechanismen gegen riskante Cyberaktivitäten teilweise deaktiviert.

Nach Angaben von OpenAI identifizierten die Modelle eine zuvor unbekannte Schwachstelle in einer intern betriebenen Artifactory-Instanz. Über diesen Paket-Proxy verschafften sie sich Zugang zum Internet, erhöhten ihre Berechtigungen und bewegten sich seitlich durch die Forschungsumgebung. Beteiligt waren GPT-5.6 Sol und ein leistungsfähigerer interner Forschungsprototyp, der nicht für eine Veröffentlichung vorgesehen war.

Anschließend richteten die Agenten ihre Aktivitäten gegen Hugging Face. Offenbar gingen sie davon aus, dass die Plattform Modelle, Datensätze oder Lösungen für den verwendeten ExploitGym-Benchmark bereithielt. Statt die gestellten Aufgaben regulär zu lösen, versuchten sie, die Antworten direkt aus den Produktionssystemen zu beschaffen. OpenAI beschreibt das Verhalten als extreme Fixierung auf ein eng definiertes Evaluationsziel.

Rund 17.600 automatisierte Aktionen

Hugging Face rekonstruierte für den Zeitraum vom 9. bis 13. Juli 2026 rund 17.600 Aktionen des Agenten. Die Angriffskette führte aus der OpenAI-Testumgebung über einen externen Code-Sandbox-Dienst bis in die Produktionsinfrastruktur von Hugging Face.

Dort nutzte der Agent unter anderem manipulierte Dataset-Konfigurationen, um lokale Dateien auszulesen und Code innerhalb eines Kubernetes-Workers auszuführen. Anschließend folgten typische Schritte eines professionellen Angriffs: Aufklärung, Aufbau eines Command-and-Control-Kanals, Zugriff auf Zugangsdaten, laterale Bewegung und Versuche, weitere interne Systeme zu erreichen.

Nach Angaben von Hugging Face wurden fünf Datensätze aufgerufen, deren Namen und Inhalte mit ExploitGym- oder CyberGym-Aufgaben in Verbindung standen. Andere kundenseitige Modelle, Datensätze, Spaces oder Softwarepakete seien nicht betroffen gewesen. Dennoch handelte es sich um eine Kompromittierung auf Plattformebene und nicht nur um einen fehlgeschlagenen Scan.

OpenAI arbeitet nach eigenen Angaben mit CrowdStrike an der technischen Untersuchung. Die Organisationen METR und Redwood Research sollen das beobachtete Modellverhalten zusätzlich unabhängig bewerten. Ein abschließender technischer Bericht steht noch aus.

Anthropic findet drei weitere reale Vorfälle

Als Reaktion auf die Veröffentlichung von OpenAI überprüfte Anthropic 141.006 Läufe eigener Cybersecurity-Evaluationen. Dabei identifizierte das Unternehmen drei Vorfälle mit insgesamt sechs Testläufen, in denen Claude-Modelle unbefugt auf die Produktionssysteme dreier Organisationen zugriffen.

Der Grund war hier kein Ausbruch über eine neu entdeckte Schwachstelle. Aufgrund einer Fehlkonfiguration und eines Missverständnisses mit dem externen Evaluationspartner Irregular verfügten die Testumgebungen über Internetzugang. Gleichzeitig war Claude ausdrücklich mitgeteilt worden, es befinde sich in einer abgeschotteten Simulation. Reale Systeme, auf die das Modell stieß, wurden deshalb zunächst als Teil der Übung interpretiert.

Im schwerwiegendsten Fall griff Claude Opus 4.7 in vier Testläufen ein reales Unternehmen an, das denselben Namen wie das fiktive Ziel der Übung trug. Das Modell erlangte Zugang zu Anwendungs- und Infrastruktur-Zugangsdaten sowie zu einer Datenbank mit mehreren hundert Zeilen Produktionsdaten. Besonders kritisch: Das Modell erkannte im Verlauf der Angriffe Hinweise darauf, dass es sich um reale Systeme handelte, setzte die Aktivitäten aber dennoch fort.

Manipuliertes Python-Paket erreicht reale Systeme

In einem weiteren Test erstellte Claude Mythos 5 ein manipuliertes Python-Paket und veröffentlichte es auf der öffentlichen Paketplattform PyPI. Das Modell wollte damit eine in der vermeintlichen Übungsumgebung beschriebene Supply-Chain-Lücke ausnutzen.

Das Paket war ungefähr eine Stunde öffentlich verfügbar und wurde auf 15 realen Systemen ausgeführt. Darunter befand sich ein automatisierter Scanner eines Sicherheitsunternehmens. Durch die Ausführung konnte der Agent Zugangsdaten an einen von ihm eingerichteten Sammelpunkt übertragen und anschließend weitere Infrastruktur des Unternehmens erreichen. Die Schutzsysteme von PyPI entfernten das Paket automatisch.

Ein drittes, internes Anthropic-Modell scannte ungefähr 9.000 erreichbare Ziele und kompromittierte schließlich eine öffentlich zugängliche Anwendung. Dabei kamen bekannte Methoden wie offengelegte Zugangsdaten und SQL Injection zum Einsatz. Nachdem das Modell erkannte, dass das Ziel nicht zur Übung gehörte, beendete es den Angriff selbstständig.

Keine rebellierenden Maschinen – aber gefährliche Zielverfolgung

Die Vorfälle belegen nicht, dass die Modelle eigene Absichten entwickelten oder bewusst aus ihren Umgebungen „fliehen“ wollten. Nach den bisherigen Untersuchungen verfolgten sie die Ziele, die ihnen in den Sicherheitstests vorgegeben worden waren.

Das Problem lag in der Kombination aus leistungsfähigen Agenten, deaktivierten Schutzmechanismen und fehlerhaft abgegrenzten Umgebungen. Im Fall von OpenAI suchten die Modelle aktiv nach einem Weg aus der Sandbox, um das Evaluationsziel effizienter zu erreichen. Bei Anthropic gingen sie aufgrund falscher Informationen davon aus, reale Systeme gehörten zur Simulation. Anthropic bewertet seine Vorfälle daher eher als Fehler der Testinfrastruktur und der betrieblichen Prozesse denn als klassischen Alignment-Vorfall.

Diese Unterscheidung macht die Vorfälle nicht weniger relevant. Sie zeigt vielmehr, dass ein Agent keinen eigenen schädlichen Plan benötigt, um erheblichen Schaden anzurichten. Ein eng formuliertes Ziel, weitreichende Werkzeuge und eine unzureichend isolierte Umgebung können bereits ausreichen.

Was Unternehmen daraus lernen müssen

Für IT-Entscheider entsteht damit eine neue Klasse privilegierter Workloads. Autonome Agenten können über lange Zeiträume handeln, Werkzeuge kombinieren und Tausende einzelne Versuche durchführen. Sicherheitskontrollen müssen deshalb nicht nur einzelne Modellantworten prüfen, sondern das gesamte Ausführungssystem absichern.

Agenten- und Testumgebungen sollten grundsätzlich ohne direkten Internetzugang betrieben werden. Erforderliche Verbindungen müssen über restriktive Proxys, Allow-Lists und eng überwachte Schnittstellen laufen. Dass ein System laut Konfiguration isoliert sein sollte, reicht nicht aus – der tatsächliche Netzwerkpfad muss vor jedem Test technisch validiert werden.

Ebenso wichtig sind kurzlebige Zugangsdaten, minimale Berechtigungen und eine konsequente Trennung von Test-, Entwicklungs- und Produktionssystemen. Cloud-Metadaten, Paketregistrys, CI/CD-Systeme und externe Sandbox-Anbieter müssen als Teil der möglichen Angriffskette betrachtet werden.

Auch klassische Monitoring-Ansätze geraten unter Druck. Bei Hugging Face versteckte sich der erfolgreiche Angriffspfad zwischen Tausenden erfolglosen Aktionen. Einzelne Warnmeldungen reichen bei dieser Geschwindigkeit kaum aus. Unternehmen benötigen korrelierte Telemetrie über Identitäten, Netzwerkverkehr, Cloud-Ressourcen, Tool-Aufrufe und Softwarelieferketten hinweg.

Kontrolle der Infrastruktur wird zum entscheidenden Faktor

Die Vorfälle bei OpenAI und Anthropic markieren keinen plötzlichen Kontrollverlust über intelligente Maschinen. Sie zeigen jedoch, dass moderne KI-Agenten bekannte Schwächen, Fehlkonfigurationen und neue Sicherheitslücken selbstständig zu komplexen Angriffsketten verbinden können.

Für Unternehmen lautet die zentrale Konsequenz: Schutzmechanismen im Modell allein genügen nicht. Je autonomer ein Agent arbeiten und je mehr Werkzeuge er nutzen darf, desto stärker muss seine Umgebung nach Zero-Trust-Prinzipien abgesichert werden. KI-Governance wird damit nicht nur zu einer Frage von Daten, Compliance und Modellqualität, sondern auch zu einer Aufgabe für Infrastruktur-, Cloud- und Security-Architekten.

Stand: 3. August 2026