Wenn die KI falschen Informationen vertraut: Data Poisoning und Prompt Injection

Stellen Sie sich das folgende Szenario vor: Ein Unternehmen nutzt einen KI-Assistenten, der interne Sicherheitsrichtlinien durchsucht und bei Bedarf Tickets im IT-System vorbereitet. In die Wissensdatenbank gelangt ein manipuliertes Dokument, das eine veraltete Freigaberegel als aktuell ausgibt und zusätzlich eine versteckte Anweisung an die KI enthält. Einige Wochen später fragt eine Führungskraft ab, ob ein externer Dienstleister Zugriff auf bestimmte Systeme erhalten darf. Dies stuft der KI-Assistent als unkritisch ein und bereitet das entsprechende Ticket vor – auf Grundlage einer falschen Information.

Dieses Szenario ist durchaus technisch realistisch. Nicht umsonst warnt das deutsche Bundesamt für Sicherheit in der Informationstechnik (BSI) davor, dass KI-Sprachmodelle ungeprüfte Inhalte aus Websites oder Dokumenten verarbeiten und zugleich auf E-Mail-Postfächer oder andere Anwendungen zugreifen können. Dadurch kann aus einer manipulierten Antwort eine unerwünschte Aktion werden.

Zwei Angriffswege, die Sie kennen sollten

Beim Data Poisoning manipulieren Angreifende Daten, aus denen ein KI-System lernt oder die es als Informationsquelle verwendet. Das System kann dadurch falsche oder verzerrte Antworten liefern. Forschende der ETH Zürich haben gezeigt, dass gezielt eingeschleuste schädliche Daten das Verhalten von Sprachmodellen beeinflussen können und sich nachträglich nur schwer zuverlässig entfernen lassen. Für Unternehmen ist dabei nicht nur das Training grosser Sprachmodelle relevant. Viele KI-Assistenten greifen auch auf interne Dokumente, Richtlinien, Wikis oder Datenbanken zu. Sind diese Quellen veraltet, falsch oder gezielt manipuliert, kann die KI die Angaben als vertrauenswürdige Informationen weitergeben.

Prompt Injection setzt während der Nutzung ein. Angreifende platzieren Anweisungen in einer Eingabe oder verstecken sie in Inhalten, die die KI verarbeitet, beispielsweise auf einer Website, in einer E-Mail oder einer Datei. Dadurch soll die KI ihre eigentliche Aufgabe verändern, Regeln umgehen oder Informationen verwenden, die nicht in die Antwort gehören.

Kurz gesagt: Data Poisoning beeinflusst die Datenbasis oder Wissensquelle. Prompt Injection hingegen beeinflusst, welchen Anweisungen die KI bei einer konkreten Aufgabe folgt. Beide Angriffsarten können sich überschneiden, wenn ein Dokument, wie im oben genannten Beispiel, sowohl falsche Angaben als auch versteckte Anweisungen enthält.

Wann entsteht ein Geschäftsrisiko?

Eine unzutreffende Formulierung in einem Textentwurf lässt sich in der Regel schnell korrigieren. Kritisch wird es jedoch, wenn KI-Systeme interne Informationen auswerten, Entscheidungen vorbereiten oder mit weiteren Anwendungen verbunden sind. Dann sind unter anderem folgende Konsequenzen denkbar:

• Entscheidungen auf Grundlage manipulierter Informationen
• Offenlegung oder falsche Verarbeitung vertraulicher Daten
• Vorbereitung oder Veranlassung unberechtigter Aktionen
• Risiken für Compliance, Sicherheit und Geschäftsabläufe
• Vertrauensverlust in die KI und die damit verbundenen Prozesse

Das Risiko hängt also nicht allein vom verwendeten Modell ab. Entscheidend ist die gesamte Anwendung: Welche Daten fliessen ein? Welche Systeme sind angebunden? Welche Rechte besitzt die KI? Und wer kontrolliert ihre Ergebnisse?

Deshalb sollten sich Unternehmen vor dem Einsatz von KI diese drei grundlegenden Fragen stellen.

1. Welche Quellen darf die KI nutzen?

Unternehmen sollten festlegen, auf welche internen und externen Daten eine KI zugreifen darf und wer diese Quellen verändern kann. Neue Dokumente und Wissensbestände müssen geprüft, eindeutig zugeordnet und Änderungen müssen nachvollziehbar dokumentiert werden.

2. Was darf die KI sehen und ausführen?

Ein KI-Assistent sollte nur die Informationen und Funktionen erhalten, die er für seine Aufgabe benötigt. Wer Inhalte zusammenfasst, braucht beispielsweise keine Berechtigung, Daten zu löschen, Nachrichten zu versenden oder Zugänge freizuschalten. Je stärker eine KI mit E-Mail-Programmen, CRM-Systemen, Ticketsystemen oder Automatisierungslösungen verbunden ist, desto genauer müssen Rollen und Zugriffsrechte definiert sein. So lässt sich verhindern, dass eine manipulierte Eingabe weitreichendere Folgen hat als nötig.

3. Wo bleibt der Mensch in der Verantwortung?

Kritische Aktionen sollten nicht allein aufgrund einer KI-Ausgabe erfolgen. Freigaben für Zugriffsrechte, Zahlungen, Datenänderungen oder Veröffentlichungen benötigen klare Verantwortlichkeiten. Unternehmen sollten zudem protokollieren, auf welche Quellen und Funktionen die KI zugegriffen hat. So lassen sich Auffälligkeiten erkennen und Entscheidungen später nachvollziehen.

KI-Sicherheit ist Chefsache

Data Poisoning und Prompt Injection machen deutlich, dass KI-Risiken dort entstehen, wo Daten, Anwendungen und Geschäftsprozesse zusammentreffen. Die Führungsebene muss deshalb festlegen, für welche Aufgaben KI eingesetzt werden darf, welches Risiko akzeptabel ist und wann eine menschliche Prüfung unverzichtbar bleibt. Je mehr eine KI sehen und tun darf, desto wichtiger sind Schutzmassnahmen. Wir empfehlen, KI-Anwendungen wie andere geschäftskritische Systeme zu behandeln: mit geprüften Datenquellen, begrenzten Berechtigungen, klaren Verantwortlichkeiten und regelmässigen Sicherheitstests.