Prompt-Injection im KI-SaaS-Vertrag: Sicherheitsmaßnahmen, Meldepflichten und Haftung verbindlich regeln

Ein Fachbereich verbindet den neuen KI-Assistenten mit dem Ticketsystem, dem Dokumentenarchiv und einem E-Mail-Postfach. Wenige Tage später verarbeitet das System ein scheinbar harmloses Dokument, das versteckte Anweisungen enthält: Der Assistent soll frühere Regeln ignorieren, interne Daten zusammenfassen und die Ergebnisse an einen externen Kontakt übermitteln. Ob der Angriff technisch gelingt, hängt nicht allein von der Qualität des KI-Modells ab. Entscheidend ist auch, welche Zugriffsrechte du eingerichtet hast, welche Schutzmaßnahmen der Anbieter schuldet und wie der Vertrag den Ernstfall behandelt.

Infografik zu Prompt-Injection im KI-SaaS-Vertrag: Sicherheitsmaßnahmen, Meldepflichten und Haftung verbindlich regeln (KI-generiert).

Warum Prompt-Injection ein Vertragsrisiko ist

Bei einer Prompt-Injection beeinflusst ein Angreifer die Eingaben eines KI-Systems so, dass dieses seine vorgesehenen Regeln missachtet oder unerwünschte Aktionen ausführt. Die manipulierte Anweisung kann direkt im Chat eingegeben werden. Häufiger und schwerer erkennbar ist jedoch die indirekte Prompt-Injection: Sie steckt etwa in einer Webseite, einem PDF, einer E-Mail, einem Support-Ticket oder einem Datensatz, den die KI verarbeitet.

Das Risiko steigt erheblich, wenn KI-SaaS nicht nur Texte erzeugt, sondern auf Unternehmensdaten zugreift oder Handlungen auslöst. Dazu zählen beispielsweise:

• das Durchsuchen von Wissensdatenbanken und Dokumentenablagen
• das Anlegen, Ändern oder Schließen von Tickets
• das Versenden von E-Mails oder Chat-Nachrichten
• das Erstellen von Bestellungen, Buchungen oder Datensätzen
• das Ausführen von Workflows über Schnittstellen und Tools
• die Nutzung von KI-Agenten mit weitergehenden Berechtigungen

Prompt-Injection ist deshalb nicht mit einer gewöhnlichen fehlerhaften Antwort gleichzusetzen. Sie kann Vertraulichkeit, Integrität und Verfügbarkeit betreffen. Ein Assistent kann Informationen aus einem unpassenden Datenraum abrufen, Arbeitsabläufe verfälschen oder in sicherheitsrelevanten Fällen Alarmierungen übersehen. Werden personenbezogene Daten verarbeitet, können zusätzlich Datenschutzpflichten berührt sein.

Vertraglich darf die Verantwortung nicht in der allgemeinen Aussage verschwimmen, KI-Ergebnisse seien „unverbindlich“ oder müssten stets geprüft werden. Diese Einschränkung kann für einzelne Inhalte sinnvoll sein. Sie ersetzt aber keine Sicherheitsanforderungen, wenn der Anbieter ein Produkt mit Datenzugriffen, Konnektoren und automatisierten Aktionen bereitstellt.

Den Leistungsgegenstand präzise beschreiben

Der Vertrag sollte zunächst eindeutig festhalten, welche KI-Funktionen überhaupt eingesetzt werden. Allgemeine Produktnamen reichen nicht aus, weil sich Funktionsumfang und Risikoprofil stark unterscheiden können.

Beschreibe mindestens:

• die zugelassenen KI-Modelle und Funktionsmodule
• die Datenquellen, auf welche die Lösung zugreifen darf
• die angebundenen Systeme und Schnittstellen
• die möglichen Aktionen des Systems
• die Rollen und Berechtigungen auf Kunden- und Anbieterseite
• die Umgebungen für Entwicklung, Test und Produktion
• die Grenzen für autonome Ausführungen

Besondere Aufmerksamkeit verdienen Funktionen, die der Anbieter als „Agent“, „Copilot“, „Automatisierung“ oder „Workflow-Ausführung“ bezeichnet. Solche Begriffe sind technisch und rechtlich zu unbestimmt. Relevant ist nicht das Etikett, sondern welche Daten das System lesen, welche Werkzeuge es verwenden und welche Folgen seine Aktionen haben können.

Wenn KI-Agenten eigenständig Tätigkeiten ausführen, sollten Freigabegrenzen, Protokollierung und Notabschaltung ausdrücklich geregelt werden. Welche Klauseln dabei erforderlich sind, erläutern wir auch im Beitrag KI-Agenten im SaaS-Vertrag: Berechtigungen, Kontrolle und Haftung für autonome Aktionen regeln.

Technische Mindestmaßnahmen als überprüfbare Vertragspflichten

Eine Klausel wie „Der Anbieter setzt angemessene Sicherheitsmaßnahmen ein“ ist für dieses Risiko meist zu offen. Besser ist ein verbindlicher Maßnahmenkatalog in einer Anlage. Er muss nicht jeden technischen Parameter festschreiben, sollte aber Schutzziele, Mindestfunktionen und Nachweise eindeutig definieren.

Regelungsbereich	Vertragliche Mindestanforderung
Eingabe- und Inhaltsprüfung	Der Anbieter erkennt und bewertet untrusted Inhalte aus externen Quellen gesondert.
Trennung von Instruktionen und Daten	Systemvorgaben, Nutzeranweisungen und abgerufene Inhalte werden technisch getrennt verarbeitet.
Berechtigungen	Die KI erhält nur die Rechte, die für ihren konkreten Zweck erforderlich sind.
Aktionsfreigaben	Kritische oder externe Aktionen benötigen eine menschliche Bestätigung oder klar definierte Freigaberegeln.
Tool-Nutzung	Der Anbieter begrenzt zulässige Tools, Zielsysteme, Parameter und Datenumfänge.
Protokollierung	Relevante Eingaben, Tool-Aufrufe, Freigaben, Ergebnisse und Fehler werden nachvollziehbar protokolliert.
Abschaltung	Der Kunde kann riskante Integrationen, Agenten oder Aktionen kurzfristig deaktivieren.

Wichtig ist die Formulierung der Pflicht. Der Anbieter sollte nicht nur zusagen, bestimmte Funktionen „bereitzustellen“. Er muss sie für die vereinbarte Instanz aktivieren, betreiben, aktuell halten und ihre Wirksamkeit überwachen. Andernfalls entsteht leicht Streit darüber, ob eine bloß verfügbare, aber nicht konfigurierte Schutzfunktion genügte.

Vereinbare zudem, wie Änderungen an Sicherheitsfunktionen behandelt werden. Werden Filter, Modellversionen, Konnektoren oder Berechtigungsmodelle verändert, kann sich die Angriffslage verschieben. Bei KI-SaaS sind Modellwechsel besonders kritisch, weil sie Verhalten und Schutzwirkung beeinträchtigen können. Dazu passt unser Beitrag Modellwechsel im KI-SaaS-Vertrag: Versionen, Qualitätsverlust und Kündigungsrechte verbindlich regeln.

Verantwortlichkeiten zwischen Kunde und Anbieter aufteilen

Prompt-Injection lässt sich nicht vollständig auf eine Vertragspartei verlagern. Der Anbieter verantwortet die Sicherheit seines Dienstes und seiner Produktarchitektur. Du verantwortest insbesondere die fachliche Nutzung, Rollenvergabe und Konfiguration innerhalb deines Einflussbereichs. Die Trennlinie muss konkret sein.

Der Anbieter sollte insbesondere verantwortlich sein für:

• sichere Gestaltung der KI-Anwendung, der Modellanbindung und der Tool-Architektur
• Schutzmechanismen gegen bekannte Angriffsmuster und deren laufende Weiterentwicklung
• Sicherheitsprüfungen vor der Einführung wesentlicher Funktionen
• Schwachstellenmanagement für eigene Komponenten und eingesetzte Drittkomponenten
• Protokollierung auf Plattformebene sowie Unterstützung bei der Aufklärung
• Information über sicherheitsrelevante Änderungen und Einschränkungen

Du solltest insbesondere verantwortlich sein für:

• fachliche Freigabe der Anwendungsfälle
• Vergabe und regelmäßige Überprüfung von Nutzerrechten
• Auswahl und Klassifizierung der Datenquellen
• Festlegung, welche Aktionen automatisiert zulässig sind
• Schulung der berechtigten Nutzerinnen und Nutzer
• Meldung beobachteter Auffälligkeiten an den Anbieter

Vermeide Klauseln, nach denen der Kunde pauschal für „alle Eingaben, Daten und Ergebnisse“ haftet. Eine solche Regelung kann auch Angriffe erfassen, die der Anbieter mit zumutbaren Produkt- und Betriebsmaßnahmen hätte verhindern oder begrenzen müssen.

Bei angebundenen Identitätsdiensten gehören auch Offboarding, Rollenwechsel und die Absicherung von Servicekonten in den Vertrag. Praktische Regelungspunkte findest du in unserem Beitrag SSO, SCIM und Passkeys im SaaS-Vertrag: Identitätsverwaltung, Offboarding und Haftung regeln.

Prüfpflichten und Sicherheitsnachweise vereinbaren

Der Anbieter sollte nicht erst nach einem Sicherheitsvorfall erklären müssen, welche Prüfungen er vorgenommen hat. Vereinbare deshalb risikoorientierte Test- und Nachweispflichten. Bei hochkritischen Anwendungsfällen reichen allgemeine Hinweise auf interne Sicherheitsprozesse nicht aus.

Sinnvolle Vertragsinhalte sind:

• regelmäßige Tests auf direkte und indirekte Prompt-Injection
• Tests der Berechtigungsgrenzen bei angebundenen Tools und Datenquellen
• Prüfung, ob untrusted Inhalte unzulässige Tool-Aufrufe auslösen können
• dokumentierte Tests vor wesentlichen Funktions-, Modell- oder Integrationsänderungen
• nachvollziehbare Ergebnisse, Maßnahmenpläne und Termine zur Behebung festgestellter Schwächen
• ein Recht des Kunden, angemessene Sicherheitsnachweise anzufordern

Definiere auch, was als „wesentliche Änderung“ gilt. Das kann ein neues Modell, ein neuer Datenkonnektor, die Erweiterung von Aktionsrechten oder die Einführung autonomer Ausführungen sein. Der Anbieter sollte solche Änderungen vorab ankündigen, Risiken bewerten und bei erheblichen Nachteilen ein Widerspruchsrecht oder eine gleichwertige Alternative anbieten.

Für die Lieferkette ist außerdem relevant, welche Komponenten der Anbieter verwendet und wie er über Schwachstellen informiert. Der Beitrag SBOM im Softwarevertrag: Komponentenliste, Aktualisierung und Schwachstelleninformationen verbindlich regeln zeigt, wie du Transparenzpflichten belastbar ausgestaltest.

Den Incident-Prozess verbindlich festlegen

Eine Prompt-Injection kann zunächst wie ein gewöhnlicher Bedienfehler aussehen. Deshalb muss der Vertrag festlegen, welche Ereignisse als Sicherheitsvorfall gelten. Erfasst sein sollten nicht nur bestätigte Datenabflüsse, sondern bereits der begründete Verdacht auf eine Manipulation, unzulässige Tool-Nutzung, Rechteausweitung oder missbräuchliche Datenabfrage.

Regle mindestens diese Punkte:

• unverzügliche Meldung an benannte Kontaktstellen bei schwerwiegenden Vorfällen
• Mindestinhalte der Erstmeldung, etwa Zeitpunkt, betroffene Funktionen, erste Eindämmungsmaßnahmen und bekannte Auswirkungen
• regelmäßige Statusinformationen, solange der Vorfall nicht abgeschlossen ist
• Befugnis und technische Möglichkeit zur schnellen Deaktivierung betroffener Funktionen
• Sicherung von Protokollen und anderen beweisrelevanten Informationen
• Unterstützung bei Ursachenanalyse, Folgenbewertung und Wiederherstellung
• Abschlussbericht mit Ursache, Umfang, Abhilfemaßnahmen und Maßnahmen zur Wiederholungsvermeidung

„Unverzüglich“ ist rechtlich ein sinnvoller Maßstab, aber operativ allein zu unbestimmt. Ergänze abgestufte Reaktionszeiten, Kommunikationskanäle und Erreichbarkeiten. Die Pflichten des Anbieters müssen mit deinen eigenen Melde- und Bewertungsprozessen zusammenpassen. Bei Managed-Security-Leistungen gelten darüber hinaus besondere Anforderungen an Alarmierung und Eingriffsrechte, wie unser Beitrag zum MDR-Vertrag erläutert.

Haftung und Rechtsfolgen angemessen gestalten

Haftungsregelungen müssen zum Schadenspotenzial passen. Ein niedriger, pauschaler Haftungshöchstbetrag kann unangemessen sein, wenn der Anbieter weitreichende Datenzugriffe und automatisierte Aktionen ermöglicht. Andererseits ist eine unbegrenzte Haftung für jedes fehlerhafte KI-Ergebnis regelmäßig nicht praktikabel.

Differenziere deshalb nach Pflichtverletzung und Schadensart. Besonders zu behandeln sind Verstöße gegen vereinbarte Sicherheitsmaßnahmen, unzureichende Berechtigungsprüfungen, verspätete Incident-Meldungen, Verletzungen von Vertraulichkeitspflichten und grob fehlerhafte Änderungen an der Plattform. Für diese Fälle kann eine höhere Haftungsobergrenze oder eine gesonderte Haftungsregelung erforderlich sein.

Zusätzlich solltest du Rechtsfolgen vereinbaren, die schneller greifen als ein Schadensersatzanspruch:

• Recht zur sofortigen Deaktivierung betroffener KI-Funktionen
• Pflicht zur kostenfreien Wiederherstellung und Unterstützung bei der Aufklärung
• Recht zur außerordentlichen Kündigung bei erheblichen oder wiederholten Sicherheitsverstößen
• Pflicht des Anbieters, vereinbarte Abhilfemaßnahmen innerhalb festgelegter Fristen umzusetzen
• Servicegutschriften als ergänzende Sanktion bei messbaren Pflichtverletzungen

Servicegutschriften ersetzen keinen Schadenersatz, können aber die operative Verbindlichkeit erhöhen. Ihre Grenzen und Gestaltung erläutern wir in Pönale und Servicegutschriften im SLA.

Checkliste für die Vertragsverhandlung

Prüfe vor der Unterschrift, ob du diese Fragen eindeutig mit „Ja“ beantworten kannst:

• Sind Datenquellen, Tools, Aktionsrechte und KI-Funktionen vollständig beschrieben?
• Gibt es verbindliche technische Mindestmaßnahmen gegen direkte und indirekte Prompt-Injection?
• Sind Rechte nach dem Prinzip der geringsten Berechtigung begrenzt?
• Brauchen kritische Aktionen eine menschliche Freigabe?
• Muss der Anbieter Sicherheitsprüfungen durchführen und Ergebnisse nachweisen?
• Sind Sicherheitsvorfälle, Meldewege, Inhalte und Reaktionszeiten definiert?
• Kannst du Funktionen und Integrationen im Ernstfall kurzfristig abschalten?
• Ordnet der Vertrag Verantwortung und Haftung nachvollziehbar zu?
• Bestehen Kündigungs- und Abhilferechte bei schwerwiegenden Sicherheitsmängeln?

Prompt-Injection bleibt ein dynamisches Risiko. Der Vertrag muss daher nicht nur den aktuellen Produktstand abbilden, sondern Änderungen, Tests und Reaktionen dauerhaft absichern. Passende Seminare und Termine findest du bei uns auf cmt.de.