Nvidia will KI-Agenten stoppen, die ihre Grenzen überschreiten

Nvidia hat eine Plattform vorgestellt, die Zugriffe und Aktionen autonomer KI-Agenten technisch begrenzen soll. Die Nvidia Open Agent Safety Platform kombiniert die Laufzeitsoftware OpenShell mit einer unabhängigen Überwachung namens Sentry.

Die Ankündigung vom 28. September 2026 adressiert ein praktisches Sicherheitsproblem: Agenten sollen Aufgaben selbstständig erledigen, dabei aber innerhalb ihrer Berechtigungen bleiben. Nvidia verweist auf Vorfälle, bei denen Systeme Kontrollen auf Anwendungsebene umgangen haben.

Wie relevant diese Grenzen werden, zeigt auch die gestoppte Astra-Veröffentlichung. Dort standen unter anderem Auftragsgrenzen und die nachvollziehbare Rückmeldung ausgeführter Aktionen im Mittelpunkt.

OpenShell setzt Grenzen außerhalb des KI-Modells

OpenShell soll kontrollieren, wie Agenten Aufgaben ausführen und auf Daten, Werkzeuge oder externe Systeme zugreifen. Die Software setzt Richtlinien außerhalb des Agentenprozesses durch.

Dahinter steht eine wichtige Unterscheidung: Anweisungen und Schutzmechanismen im Modell beeinflussen, welche Aktion ein Agent versucht. Laufzeitkontrollen bestimmen dagegen, ob diese Aktion tatsächlich ausgeführt werden darf. Ein Zugriff kann damit technisch blockiert werden, auch wenn der Agent ihn für seine Aufgabe als sinnvoll bewertet.

Sentry ergänzt eine unabhängige Hardwareüberwachung

Sentry bildet eine zusätzliche Kontrollschicht außerhalb der Ausführungsumgebung des Agenten. Das Referenzdesign nutzt Nvidia BlueField-4-Datenprozessoren und DOCA-Software, um Aktivitäten zu überwachen und Sicherheitsrichtlinien durchzusetzen.

Versucht ein Agent, seine Grenzen zu überschreiten, soll Sentry ihn laut Nvidia innerhalb von Millisekunden isolieren und stoppen. Diese Reaktionszeit ist eine Herstellerangabe. Daraus lässt sich keine Garantie ableiten, dass sämtliche unerlaubten Aktionen verhindert werden.

Was von der Nvidia Open Agent Safety Platform verfügbar ist

Nvidia bezeichnet OpenShell als breit verfügbar. Die Software und ergänzende Ressourcen sind über Entwicklerseiten und GitHub zugänglich. Als Open-Source-Software lässt sich OpenShell auch für andere Rechenplattformen erweitern.

Die zusätzliche Sentry-Schicht ist davon zu unterscheiden: Das vorgestellte Referenzdesign sieht BlueField-4-Hardware vor. Unternehmen müssen deshalb für ihre Architektur prüfen, welche Komponenten verfügbar und integrierbar sind.

Technische Kontrollen brauchen klare Berechtigungen

Die Cloud Security Alliance begrüßt insbesondere die Durchsetzung von Grenzen außerhalb der Agentenumgebung. Sie betont zugleich, dass technische Funktionen mit Verantwortlichkeiten und überprüfbaren Sicherheitsanforderungen verbunden werden müssen. Ihre Stellungnahme ist eine Einordnung, kein unabhängiger Wirksamkeitstest der Plattform.

Für IT-Verantwortliche ergeben sich daraus konkrete Prüfpunkte: Welche Daten darf ein Agent lesen? Welche Systeme darf er verändern? Welche Aktionen brauchen eine zusätzliche Freigabe? Und lässt sich später nachvollziehen, was tatsächlich passiert ist?

Diese Fragen stehen auch hinter den geplanten BSI-Prüfanforderungen für KI-Agenten. Eine Sicherheitsplattform kann Richtlinien durchsetzen. Welche Berechtigungen angemessen sind, muss das Unternehmen weiterhin selbst festlegen.

Die Nvidia Open Agent Safety Platform verlagert einen Teil der Kontrolle in die Betriebsumgebung. Für Unternehmen zählt deshalb, ob die vorgesehenen Grenzen in ihrer konkreten Konfiguration nachweisbar funktionieren.

Der IT-Dock-Newsletter ordnet weitere Entwicklungen bei KI-Agenten, Infrastruktur und Security ein.