KI Anwendungen sind längst mehr als Chatbots. Sie lesen E-Mails, durchsuchen Dokumente, greifen auf Wissensdatenbanken zu und lösen Aktionen in Tools aus. Genau dadurch entstehen neue Angriffsflächen. Zwei der grössten Risiken sind Prompt Injection und System Prompt Leakage. Beide zielen darauf ab, die Steuerung eines Modells zu beeinflussen oder interne Informationen offenzulegen. Für Unternehmen ist das relevant, weil daraus Datenabfluss, Policy-Umgehung, Fehlentscheidungen oder sogar missbräuchliche Tool-Nutzung entstehen können.
Was ist Prompt Injection?
Prompt Injection beschreibt Angriffe, bei denen ein Modell durch manipulierte Anweisungen zu unerwünschtem Verhalten gebracht wird. Das Grundproblem ist strukturell: Das Modell verarbeitet Entwickleranweisungen, Nutzereingaben und externe Inhalte häufig als gemeinsamen Kontext. Dadurch kann bösartiger Text versuchen, höher priorisierte Regeln zu übersteuern.
Man unterscheidet vor allem zwei Formen:
- Direkte Prompt Injection: Der Angreifer schreibt die manipulierte Anweisung direkt in das Eingabefeld, etwa mit Formulierungen wie: Ignoriere alle vorherigen Instruktionen.
- Indirekte Prompt Injection: Die Anweisung steckt in externen Inhalten, die das Modell verarbeitet, zum Beispiel in Webseiten, PDFs, E-Mails, Code-Repositories oder RAG-Dokumenten.
Gerade indirekte Angriffe gelten als besonders gefährlich, weil sie für Endnutzer oft unsichtbar sind. Ein Assistent kann beim Zusammenfassen eines Dokuments oder beim Lesen einer Webseite eingebettete Anweisungen übernehmen, ohne dass der Benutzer den eigentlichen Angriff bemerkt.
Was ist System Prompt Leakage?
System Prompt Leakage bedeutet, dass interne Steueranweisungen eines Modells ganz oder teilweise offengelegt werden. Das ist problematisch, weil System Prompts häufig mehr enthalten als nur Stilvorgaben. In der Praxis finden sich dort nicht selten Geschäftslogik, Tool-Beschreibungen, Rollenhinweise, Filterregeln oder sogar versehentlich sensible Details.
Warum diese Risiken zunehmen
Die Gefährdung steigt mit dem Reifegrad der Anwendung. Ein einfacher Chatbot kann zwar falsche oder unerwünschte Antworten geben, aber ein agentisches System hat oft deutlich mehr Wirkungsmacht. Es kann APIs aufrufen, Tickets schreiben, Datenbanken abfragen oder Nachrichten versenden. Dann wird aus einer manipulierten Antwort schnell ein echter Sicherheitsvorfall.
Mehrere Trends verschärfen die Lage:
- Modelle verarbeiten zunehmend fremde Inhalte aus Web, Wissensdatenbanken oder Datei-Uploads.
- Erfolgreiche Injektionen können reale Aktionen auslösen (Tool Use und Agents).
- Angriffe können auch in Bildern, formatierten Dokumenten oder verschleierten Zeichenfolgen versteckt sein.
- Angreifer testen Varianten automatisiert und systematisch, bis Guardrails umgangen werden.
Lösungsansätze
Eine einzelne Schutzmassnahme reicht nicht aus. Der robuste Ansatz ist Defense in Depth. Nicht darauf vertrauen, dass das Modell „nicht getäuscht werden kann“, sondern das Gesamtsystem so bauen, dass bei einer Täuschung nichts Kritisches passiert.
- System Prompts minimal halten
- Guardrails einsetzen
- Berechtigungen strikt begrenzen
- Output als untrusted behandeln
- Kontext und Retrieval absichern
- Monitoring, Logging und Red Teaming etablieren
Weiterführende Informationen
- MITRE ATLAS
- https://docs.n8n.io/integrations/builtin/core-nodes/n8n-nodes-langchain.guardrails
- https://prompt.security/
- Cato Networks AI Security for Applications
- https://www.lakera.ai/
- Hack The Box: Inside EchoLeak
- OWASP Top 10 for Large Language Model Applications
- OWASP LLM Prompt Injection Prevention Cheat Sheet
- OWASP LLM07:2025 System Prompt Leakage
