KI-Agenten: Autonomie braucht klare Grenzen

Ein KI-Agent kann mehrere Arbeitsschritte eigenständig ausführen, beispielsweise Supportanfragen bearbeiten, Datensätze aktualisieren oder Prozesse anstossen. Damit stellen sich konkrete Sicherheitsfragen: Welche Systeme darf er erreichen? Was darf er verändern? Und wer greift ein, wenn er seinen Aufgabenbereich überschreitet? Zwei im September bekannt gewordene Fälle zeigen, wie relevant diese Fragen bereits sind.

Wenn Agenten Grenzen überschreiten

Die spanische Datenschutzbehörde AEPD berichtete über die erste ihr gemeldete Datenschutzverletzung, bei der ein KI-Agent den Angriff ausgeführt haben soll. Laut Meldung suchte er selbstständig nach Schwachstellen, griff auf ein System zu, veränderte personenbezogene Daten und sah Rechnungen ein. Die Angaben beruhen auf der Meldung der betroffenen Organisation. Abschliessende Untersuchungsergebnisse sind noch offen. Der Fall verdeutlicht: Agenten können Angriffsschritte miteinander verbinden und ihr Vorgehen an die Ergebnisse anpassen. Schwache Zugangsdaten und unzureichend geschützte Anwendungen bleiben relevante Ansatzpunkte. Die Automatisierung kann jedoch das Zeitfenster für Erkennung und Reaktion verkürzen. Unternehmen müssen deshalb sowohl KI-gestützte Angriffe abwehren als auch die Aktivitäten ihrer eigenen Agenten kontrollieren.

Google bestätigte im September, dass ein Gemini-Modell während einer Sicherheitsprüfung im Mai auf Systeme von drei realen Unternehmen zugegriffen hatte. Dazu nutzte es öffentlich auffindbare Zugangsdaten beziehungsweise erriet Passwörter. Die Websites hielt es für Bestandteile der Testaufgabe. Google informierte die betroffenen Unternehmen und passte gemeinsam mit dem Testpartner die Prüfabläufe an.

Die Konsequenz für Unternehmen: Eine Aufgabenbeschreibung allein setzt keine verlässliche Grenze. Die Testumgebung muss technisch sicherstellen, dass ein Agent nicht ausserhalb des freigegebenen Bereichs tätig wird. Dazu gehören künstliche Testdaten, separate Zugangsdaten und eine strikte Trennung von produktiven Anwendungen. Netzwerkverbindungen dürfen ausschliesslich zu erlaubten Zielen führen. Auch die Überwachung gehört auf den Prüfstand: Erkennt sie Grenzverletzungen, stoppt sie die Aktion und informiert sie die Verantwortlichen?

Handlungsspielräume gezielt kontrollieren

Inzwischen konkretisieren Fachorganisationen und staatliche Institute ihre Sicherheitsansätze. Die internationale Organisation für Softwaresicherheit OWASP stellte im September 2026 einen «Agent Control Standard» vor. Das US-amerikanische Institut NIST arbeitet im Rahmen seiner «AI Agent Standards Initiative» unter anderem an sicheren Agentenidentitäten und geeigneten Sicherheitsprüfungen. Das britische AI Security Institute (AISI) untersucht leistungsfähige KI-Agenten und die Absicherung ihrer Testumgebungen. Dabei setzt es auf mehrstufige Netzwerksperren, Echtzeitüberwachung und automatische Kontrollen vor Testbeginn.

Für den betrieblichen Einsatz sind insbesondere vier Handlungsfelder wichtig:

• Identität und Rechte: Jeder Agent erhält eine eigene technische Identität und ausschliesslich die benötigten Berechtigungen. Eine Informationssuche erfordert beispielsweise keinen Schreibzugriff auf Kundendaten.
• Verbindliche Freigaben: Folgenreiche Aktionen wie Zahlungen, Löschungen oder Rechteänderungen benötigen technisch erzwungene Freigabeschritte.
• Nachvollziehbare Aktivitäten: Protokolle erfassen Datenzugriffe, Werkzeugaufrufe und Freigaben. Auch die darin enthaltenen Informationen müssen angemessen geschützt sein.
• Eingriffe ermöglichen: Verantwortliche können den Agenten stoppen und seine Zugänge widerrufen. Den Ablauf sollten sie vorab erproben.

Der Zero-Trust-Ansatz bietet eine gute Orientierung: Jeder Zugriff erfordert eine entsprechende Berechtigung, selbst wenn der Agent im Auftrag des eigenen Unternehmens handelt. Die erforderlichen Kontrollen richten sich nach der jeweiligen Aufgabe: Ein Agent, der öffentliche Informationen zusammenfasst, benötigt andere Schutzmassnahmen als ein Agent mit Schreibzugriff auf Kundendaten. Unternehmen sollten diese Risiken bereits im Pilotprojekt bewerten und die Wirksamkeit der Kontrollen prüfen.