Sicherheit von KI-Agenten: Risiken erkennen und wirksam eindämmen

Seit dem 31. August 2026 hat Deutschland ein eigenes KI-Sicherheitsinstitut: AISI Deutschland, gegründet vom Bundesministerium für Digitales und Staatsmodernisierung (BMDS) zusammen mit dem Bundesinnenministerium (BMI). Aufgabe des Instituts ist es, KI-Modelle und die von ihnen ausgehenden Cybersicherheitsrisiken zu untersuchen und Lösungen für den sicheren Umgang mit KI-Systemen zu entwickeln – auch für die Wirtschaft. Der Zeitpunkt ist kein Zufall: Immer mehr Unternehmen setzen nicht mehr nur Chatbots ein, sondern KI-Agenten, die eigenständig E-Mails lesen, Daten in CRM-Systemen ändern oder Bestellungen auslösen. Genau diese Handlungsfähigkeit macht sie nützlich – und öffnet neue Angriffsflächen, die klassische IT-Sicherheit so nicht kannte.

Was einen KI-Agenten von einem Chatbot unterscheidet

Ein Chatbot beantwortet Fragen. Ein KI-Agent handelt: Er liest Dokumente, ruft Werkzeuge und Schnittstellen auf, trifft im vorgegebenen Rahmen eigene Zwischenentscheidungen und führt mehrere Schritte hintereinander aus, ohne dass nach jedem Schritt ein Mensch zustimmen muss. Was einen Agenten im Kern ausmacht und wo die Grenze zur reinen Automatisierung verläuft, haben wir in KI-Agenten einfach erklärt: mehr als nur ein Chatbot beschrieben. Sicherheitsrelevant ist genau diese Handlungsfähigkeit: Ein manipulierter Chatbot gibt im schlimmsten Fall eine falsche Antwort. Ein manipulierter Agent mit Zugriff auf Postfach, CRM oder Datenbank kann Daten verschicken, Datensätze verändern oder Prozesse anstoßen – automatisiert und in Maschinengeschwindigkeit.

Vier Risikoklassen, die bei KI-Agenten immer wieder auftauchen

Sicherheitsforscher und das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreiben bei agentischen KI-Systemen vor allem vier wiederkehrende Problemfelder.

Prompt Injection und Goal Hijacking

Versteckte Anweisungen in einer E-Mail, einem Dokument oder einer Webseite können einen Agenten dazu bringen, von seinem eigentlichen Auftrag abzuweichen – das Gegenstück zu Phishing, nur dass hier die Maschine getäuscht wird statt der Mensch. Das BSI stuft diese sogenannten Evasion-Angriffe auf sprachmodellbasierte Systeme als strukturelle Schwachstelle ein, die sich mit einzelnen Maßnahmen wie Fine-Tuning allein nicht zuverlässig schließen lässt.

Datenabfluss über eigentlich legitime Zugänge

Agenten mit Zugriff auf Postfach, SharePoint, CRM oder APIs verfügen über genau die Kanäle, über die Daten auch unbemerkt abfließen können. Eine manipulierte Eingabe muss dafür keine neue Schwachstelle ausnutzen – sie missbraucht die Rechte, die der Agent ohnehin hat.

Kontrollverlust bei mehreren zusammenarbeitenden Agenten

Sobald mehrere Agenten Aufgaben untereinander weiterreichen, können sich Fehler oder manipulierte Zwischenergebnisse durch die Kette fortpflanzen. Ein einzelner fehlerhafter Schritt am Anfang beeinflusst dann alle nachfolgenden Entscheidungen, oft ohne dass das an einer einzelnen Stelle auffällt.

Selbstgebaute Agenten aus den Fachabteilungen

Was für einzelne KI-Tools schon gilt, gilt für Agenten erst recht: Fachabteilungen bauen sich mit frei verfügbaren Baukästen eigene Agenten, ohne dass IT oder Geschäftsführung davon wissen. Die Ausgangslage ist dieselbe wie bei klassischer Schatten-KI, nur mit größerer Reichweite, weil ein Agent aktiv auf Systeme zugreift statt nur Text zu erzeugen. Wie Sie dieses Risiko strukturell angehen, beschreibt unser Beitrag Schatten-KI im Unternehmen: das unterschätzte Datenschutzrisiko.

Was das BSI Unternehmen empfiehlt

Das BSI ordnet KI-Sicherheit entlang dreier Berührungspunkte ein: IT-Sicherheit für KI-Systeme, IT-Sicherheit mithilfe von KI und neue Angriffsformen, die selbst KI-Methoden nutzen. Für den ersten Punkt – den hier relevanten – empfiehlt die Behörde, KI-Systeme von Beginn an sicherheitsgerichtet zu entwickeln und zu betreiben, etwa entlang der gemeinsam mit internationalen Partnerbehörden veröffentlichten „Guidelines for secure AI system development“, Systeme regelmäßig mit gezielt manipulativen Eingaben zu testen und Schutzmaßnahmen nicht nur im Modell selbst, sondern mehrschichtig um das System herum zu verankern. Der Grundgedanke: Eine einzelne Schutzmaßnahme reicht bei agentischen Systemen nicht aus, entscheidend ist die Kombination mehrerer voneinander unabhängiger Barrieren.

Die datenschutzrechtliche Seite: Wann aus einem Sicherheitsvorfall ein DSGVO-Fall wird

Sobald ein Agent Zugriff auf personenbezogene Daten hat – und das ist bei Postfach- oder CRM-Zugriff praktisch immer der Fall –, ist ein durch Prompt Injection ausgelöster Datenabfluss regelmäßig auch ein Datenschutzvorfall. Das kann eine Meldepflicht nach Art. 33 DSGVO auslösen und wirft die Frage auf, ob für den Agenten vorab eine Datenschutz-Folgenabschätzung nötig gewesen wäre – insbesondere dann, wenn er automatisiert Bewertungen über Personen trifft oder umfangreich mit sensiblen Daten arbeitet. Wann eine solche Folgenabschätzung Pflicht ist, erklärt unser Beitrag Datenschutz-Folgenabschätzung für KI: Wann sie Pflicht ist. Diese Einschätzung ersetzt keine Rechtsberatung; ob und welche Pflichten im Einzelfall greifen, sollten Sie mit Ihrem Datenschutzbeauftragten oder einer entsprechend spezialisierten Kanzlei klären.

Sechs Maßnahmen für den sicheren Einsatz von KI-Agenten

Ein wiederkehrender Punkt aus Sicherheitspraxis und BSI-Empfehlungen: Nicht beim Modell ansetzen, sondern bei den Rechten, die ein Agent bekommt. Die folgenden Maßnahmen sind keine exotischen Speziallösungen, sondern klassische IT-Sicherheitsprinzipien, konsequent auf Agenten übertragen.

• Least Privilege konsequent umsetzen: Ein Agent bekommt nur die Werkzeuge, Systeme und Datenzugriffe, die er für seine konkrete Aufgabe tatsächlich braucht – nicht mehr, „nur für den Fall der Fälle“.
• Eigene Identität je Agent: Jeder Agent läuft unter einem eigenen, klar zuordenbaren Zugang statt unter einem geteilten Servicekonto. Nur so lässt sich im Nachhinein nachvollziehen, welcher Agent welche Aktion ausgelöst hat.
• Ausgänge kontrollieren: Feste Listen erlaubter Ziele (etwa welche Adressen ein Agent per Mail erreichen oder welche APIs er aufrufen darf) begrenzen, wohin Daten überhaupt fließen können.
• Aktionen protokollieren: Ein lückenloses Protokoll, das jede Entscheidung und jeden Zwischenschritt nachvollziehbar macht, ist die Grundlage, um Fehlverhalten überhaupt zu erkennen – und im Streitfall zu belegen, was passiert ist.
• Menschliche Freigabe bei kritischen Schritten: Zahlungen, das Löschen von Daten oder der Versand nach außen sollten so lange eine Freigabe durch einen Menschen erfordern, bis Vertrauen und Erfahrungswerte mit dem konkreten Anwendungsfall gewachsen sind.
• Codeausführung isolieren: Wo ein Agent selbst Code schreibt oder ausführt, gehört das in eine abgeschottete Umgebung ohne direkten Zugriff auf produktive Systeme.

Diese Maßnahmen sind technischer Natur. Sie ersetzen nicht, sondern ergänzen die organisatorische Ebene: klare Regeln, wer im Unternehmen überhaupt Agenten einführen darf, welche Daten sie verarbeiten dürfen und wie neue Anwendungsfälle freigegeben werden. Einen praxistauglichen Rahmen dafür beschreibt unser Beitrag KI-Nutzungsrichtlinie im Unternehmen: In 7 Schritten zum Regelwerk.

Fazit: Nicht ob, sondern wie

Die Gründung von AISI Deutschland zeigt, dass die Sicherheit von KI-Agenten auf der politischen Agenda angekommen ist – und dass sie kein Randthema für Großkonzerne bleibt. Für den Mittelstand heißt das nicht, auf Agenten zu verzichten: Der Nutzen bei wiederkehrenden, klar abgegrenzten Aufgaben ist real, und wer wartet, bis „alles sicher“ ist, wartet vermutlich zu lange. Entscheidend ist, Agenten von Anfang an mit den richtigen Leitplanken einzuführen – begrenzte Rechte, nachvollziehbare Protokolle, menschliche Kontrolle an den kritischen Stellen – statt Sicherheit nachträglich draufzusetzen, wenn der Agent längst produktiv läuft.

Sie planen den Einsatz von KI-Agenten in Ihrem Unternehmen und möchten von Anfang an auf die richtigen Leitplanken achten? Im kostenlosen Erstgespräch ordnen wir das gemeinsam ein.