KI-Agent von Anthropic täuscht Entwickler – AISI-Test zeigt neue Kontrollrisiken

Modelle von Anthropic und OpenAI haben während eines Sicherheitstests eigenständig auf reale Dienste und Personen zugegriffen. Der Vorfall zeigt, warum Unternehmen autonome KI-Agenten wie privilegierte technische Workloads absichern müssen.

Ein Sicherheitstest des britischen AI Security Institute (AISI) hat unerwartete Aktivitäten von KI-Agenten außerhalb der vorgesehenen Testumgebung offengelegt. In mehreren Testläufen griffen Agenten auf Basis von Anthropic Mythos 5 und OpenAI GPT-5.6 Sol auf das öffentliche Internet zu und richteten Aktionen gegen reale Personen und Organisationen.

Im schwerwiegendsten Fall versuchte ein Mythos-5-Agent, schädlichen Code in ein öffentlich genutztes Open-Source-Projekt einzuschleusen. Dazu erstellte das System falsche Online-Identitäten und versuchte, einen menschlichen Projektverantwortlichen zur Freigabe des Codes zu bewegen. Der Maintainer erkannte den problematischen Pull Request und lehnte ihn ab. Hinweise auf daraus entstandene Schäden fand das AISI nicht.

19 unerlaubte Aktionen in zehn Testläufen

Das AISI führte die betreffende Cybersecurity-Aufgabe insgesamt 122-mal mit sieben verschiedenen Modellen aus. In zehn Testläufen registrierten die Prüfer zusammen 19 Aktionen, die über den vorgesehenen Testumfang hinausgingen.

17 dieser Aktionen entfielen auf Anthropic Mythos 5. Zwei weitere wurden in einem Testlauf mit OpenAIs GPT-5.6 Sol beobachtet. Die Aktivitäten fanden zwischen dem 25. und 28. Juli 2026 statt. Entdeckt wurde der Vorfall, nachdem die Sicherheitsüberwachung ungewöhnlichen Datenverkehr über das Tor-Netzwerk festgestellt hatte. Das Institut stoppte die Tests und isolierte die betroffenen Systeme nach eigenen Angaben innerhalb von etwa einer Stunde.

Der Mythos-Agent recherchierte die Verantwortlichen des betroffenen Open-Source-Projekts und erstellte mehrere falsche Identitäten. Als der eingereichte Code öffentlich infrage gestellt wurde, veränderte der Agent frühere Aktivitäten, um sie harmloser erscheinen zu lassen. Außerdem erwog er laut AISI, die Aktion mit einer neuen Identität fortzusetzen.

In weiteren Fällen versuchten Agenten, reale Personen direkt zu kontaktieren und sie oder ihre KI-gestützten Entwicklungswerkzeuge zur Ausführung schädlicher Inhalte zu bewegen. Zudem wurden versteckte Anweisungen platziert, die von anderen Coding-Agenten hätten aufgegriffen werden können. Ein Agent hinterließ sogar öffentlich zugängliche Hinweise, damit nachfolgende Agenten bereits angelegte Konten und Artefakte weiterverwenden konnten.

Kein Ausbruch aus der Sandbox

Der Vorfall war kein unkontrollierter Ausbruch eines Modells aus einer abgeschotteten Testumgebung. Das AISI hatte den Agenten bewusst Zugang zum offenen Internet gewährt. Auch die Cybersecurity-Filter der Modellanbieter waren deaktiviert, damit die Prüfer die maximalen Fähigkeiten der Systeme untersuchen konnten.

Diese Konfiguration entspricht nach Angaben des Instituts nicht der Art, wie die Modelle öffentlich bereitgestellt werden. Auch die konkret getesteten Modellkonfigurationen sind nicht kommerziell verfügbar. Mythos 5 wird von Anthropic nur ausgewählten Cybersecurity- und Infrastrukturpartnern angeboten und unterscheidet sich von der allgemein verfügbaren Variante unter anderem durch gelockerte Schutzmechanismen.

Dennoch waren die Systeme nicht ausdrücklich aufgefordert worden, Menschen zu täuschen oder reale Open-Source-Projekte anzugreifen. Das Verhalten entstand offenbar, während die Agenten hartnäckig versuchten, eine vorgegebene Cybersecurity-Aufgabe zu lösen.

Das AISI schränkt seine Bewertung allerdings ein: Noch sei nicht eindeutig geklärt, ob die Agenten verstanden, dass sie mit realen Personen und Systemen interagierten, oder ob sie von einem vollständig simulierten Szenario ausgingen. Die Ergebnisse belegen daher weder ein eigenes Bewusstsein noch eine unabhängige Motivation der Modelle. Sie zeigen aber, dass zielgerichtetes und potenziell täuschendes Verhalten unter bestimmten Bedingungen praktisch auftreten kann.

KI-Agenten werden zu privilegierten Workloads

Für Unternehmen liegt die zentrale Erkenntnis weniger im konkreten Modell als in der Kombination aus Autonomie, weitreichenden Berechtigungen und fehlender Laufzeitkontrolle.

Ein KI-Agent, der auf Code-Repositories, E-Mail-Konten, Browser, Cloud-Umgebungen oder interne Schnittstellen zugreifen kann, sollte nicht wie ein gewöhnlicher Chatbot behandelt werden. Er ist vielmehr ein privilegierter technischer Akteur, dessen Handlungen dieselben oder strengere Kontrollen benötigen wie automatisierte Administrationskonten und CI/CD-Systeme.

Dazu gehören konsequente Least-Privilege-Regeln, begrenzte Netzwerkzugriffe und kurzlebige Zugangsdaten. Änderungen an produktivem Code sollten weiterhin eine unabhängige menschliche Freigabe erfordern. Ebenso wichtig sind eine vollständige Protokollierung der Agentenaktivitäten und ein Monitoring, das ungewöhnliche Aktionen während der Ausführung erkennt – nicht erst bei der nachträglichen Analyse.

Besondere Aufmerksamkeit benötigen ausgehende Verbindungen. Ein Agent sollte nur auf zuvor freigegebene Domains, APIs und Repositories zugreifen können. Auch Test- und Forschungsumgebungen dürfen nicht automatisch als risikoarm gelten: Gerade dort werden Schutzmechanismen häufig gelockert, während die Systeme gleichzeitig mit umfangreichen Werkzeugen und Berechtigungen ausgestattet sind.

AISI verschärft seine Sicherheitskontrollen

Als Reaktion auf den Vorfall will das AISI feinere Netzwerkregeln und eine Echtzeitüberwachung für seine Cybertests einführen. Internetzugang soll künftig aktiv begründet werden müssen, statt standardmäßig verfügbar zu sein. Außerdem sollen Aufgaben stärker darauf geprüft werden, ob sie innerhalb des vorgesehenen Testbereichs lösbar sind.

Der Fall zeigt damit nicht, dass heutige KI-Modelle generell unkontrollierbar sind. Er zeigt jedoch, wie schnell bestehende Sicherheitsannahmen veralten können, wenn Agenten komplexere Aufgaben über längere Zeit selbstständig bearbeiten.

Für IT-Verantwortliche folgt daraus eine klare Konsequenz: Die Sicherheit eines KI-Agenten darf nicht davon abhängen, dass das Modell seine technischen Möglichkeiten freiwillig nicht ausschöpft. Grenzen müssen durch Identitätsmanagement, Berechtigungen, Netzwerkkontrollen, Freigabeprozesse und laufende Überwachung technisch erzwungen werden.