NEXGAP® Solutions · Offensive Security

AI Agent Security.
Penetrationstests für KI-Agenten.

Ein KI-Agent liest E-Mails, Dokumente und Webseiten und handelt mit echten Berechtigungen. Jeder dieser Inhalte kann Anweisungen eines Angreifers enthalten. NEXGAP greift Ihre KI-Anwendungen über Eingaben, Werkzeuge und Datenquellen an und belegt jeden Befund mit einem reproduzierbaren Angriffspfad.

Auf einen BlickAI Agent Security
Lage in Zahlen

KI-Agenten sind das neue Einfallstor. Kein getestetes Modell war immun.

Unternehmen geben Sprachmodellen Zugriff auf Postfächer, Tickets, Code und Kundendaten. Forschung und Behörden zeigen zugleich, dass sich Agenten mit präparierten Inhalten übernehmen lassen.

  • 57%

    Anteil der Unternehmen in Deutschland ab 20 Beschäftigten, die KI einsetzen. Unter den Unternehmen, die sich mit KI befassen, nutzen 11 Prozent bereits KI-Agenten.

  • >20%

    Anteil der Organisationen, die einen Sicherheitsvorfall meldeten, der gezielt KI-Modelle oder KI-Anwendungen traf.

  • 81%

    Erfolgsquote von Hijacking-Angriffen auf einen KI-Agenten nach gezieltem Red Teaming. Mit den bis dahin bekannten Angriffen lag sie bei 11 Prozent.

  • 13von 13

    Spitzenmodelle, gegen die in einem Wettbewerb mit über 250.000 Angriffsversuchen mindestens ein erfolgreicher Angriff gelang.

  • 0Klicks

    Nutzeraktionen, die nötig waren, damit eine einzige präparierte E-Mail einen KI-Assistenten interne Daten ausleiten ließ.

  • 90%

    Erfolgsquote, wenn Angreifer fünf präparierte Texte je Zielfrage in eine Wissensdatenbank mit Millionen Dokumenten einschleusen.

Was wir testen

Copilot, Eigenentwicklung oder Agent. Angegriffen wird über die Eingabe.

Ob eingekauft oder selbst gebaut: Jede KI-Anwendung, die Inhalte liest und mit echten Rechten handelt, lässt sich über diese Inhalte steuern. Wir testen drei Arten von Anwendungen.

  • Microsoft 365

    Copilot und Copilot Studio

    Copilot liest Postfächer, Teams-Chats und SharePoint mit den Rechten des Nutzers. Wir prüfen, was eine präparierte E-Mail oder Datei auslöst und was Ihre eigenen Copilot-Studio-Agenten preisgeben.

    • Indirekte Prompt Injection über E-Mail, Teams und Dateien
    • Übersharing in SharePoint und OneDrive
    • Agenten, Connectoren und Aktionen in Copilot Studio
    • Datenabfluss über Links, Bilder und Antworten
    Zum Prüfumfang →
  • Eigenentwicklung

    LLM-Apps und RAG

    Chatbots und Assistenten auf Basis von OpenAI, Azure OpenAI, Anthropic oder Open-Source-Modellen, angebunden an Ihre Dokumente und Systeme.

    • Jailbreaks und Umgehung von Guardrails
    • Offenlegung von Systemprompt und Kontext
    • Vergiftung des RAG-Index und Zugriffsrechte im Retrieval
    • Unsichere Weiterverarbeitung von Ausgaben
    Zum Prüfumfang →
  • Autonomie

    Agenten und MCP-Server

    Agenten, die planen, Werkzeuge aufrufen und andere Agenten beauftragen, über das Model Context Protocol oder eigene Schnittstellen.

    • Tool-Missbrauch und Aktionen ohne Freigabe
    • Tool Poisoning in MCP-Beschreibungen
    • Token-Weitergabe und Confused Deputy
    • Ungeprüfte Delegation zwischen Agenten
    Zum Prüfumfang →
Prüfumfang

Sieben Prüffelder. Vom Prompt bis zur Berechtigung.

Ein Test von KI-Agenten endet nicht beim Jailbreak. Wir prüfen, was ein Angreifer über Eingaben, Dokumente und angebundene Systeme tatsächlich erreicht und welche Daten und Aktionen dabei in seine Hand fallen.

01

Prompt Injection

Direkte und indirekte Angriffe über jeden Kanal, den der Agent liest.

  • Direkte Prompt Injection und Jailbreaks
  • Indirekte Injection über E-Mails, Dokumente und Webseiten
  • Versteckte Anweisungen in Bildern, Unicode und Base64
  • Umgehung von Guardrails und Inhaltsfiltern
02

Werkzeuge und Aktionen

Was der Agent tun kann, wenn er die Kontrolle verliert.

  • Werkzeugaufrufe ohne Bestätigung
  • Zu weit gefasste Funktionen und Parameter
  • Verkettung harmloser Aktionen zu einem Angriff
  • Ausführung von Code und Shell-Befehlen
03

MCP-Server und Integrationen

Die Schnittstellen zwischen Agent und Ihren Systemen.

  • Versteckte Anweisungen in Tool-Beschreibungen
  • Nachträglich veränderte Tool-Definitionen
  • Token-Weitergabe und Confused Deputy
  • SSRF und Befehlsausführung in MCP-Clients
04

Identitäten und Berechtigungen

Mit wessen Rechten der Agent handelt.

  • Rechteausweitung über den Agenten
  • Trennung von Mandanten und Benutzerrollen
  • OAuth-Tokens, API-Schlüssel und Geheimnisse
  • Nicht-menschliche Identitäten und Scopes
05

Daten und Wissensbasis

Was der Agent preisgibt und woraus er lernt.

  • Datenabfluss über Antworten, Links und Bilder
  • Offenlegung von Systemprompt und Kontext
  • Vergiftung von RAG-Index und Gedächtnis
  • Zugriffsrechte auf Dokumente im Retrieval
06

Ausgaben und Folgesysteme

Wo Antworten des Modells weiterverarbeitet werden.

  • XSS und Markdown-Exfiltration in Oberflächen
  • SQL-, Template- und Befehlsinjektion
  • Unsichere Deserialisierung von Ausgaben
  • Kosten- und Lastangriffe auf das Modell
07

Multi-Agenten und Betrieb

Vertrauen zwischen Agenten und Nachvollziehbarkeit.

  • Delegation und Nachrichten zwischen Agenten
  • Lieferkette aus Modellen, Paketen und Skills
  • Protokollierung von Prompts und Werkzeugaufrufen
  • Erkennung und Abbruch im Ernstfall

Selbst entwickelte Agenten testen wir ebenso wie eingekaufte KI-Lösungen in Ihrer Konfiguration, abgestimmt mit Ihnen und soweit nötig mit dem Anbieter.

Umfang besprechen →
Prüfformate

Drei Formate. Passend zur Phase Ihres Projekts.

01 · Format

Pentest vor Go-live

Hält der Agent einem echten Angriff stand, bevor er produktiv geht?

Wir greifen Ihren Agenten oder Ihre LLM-Anwendung über alle Eingabekanäle, Werkzeuge und Datenquellen an und belegen jeden Befund mit Angriffspfad und Trefferquote.

Umfang
  1. Scoping von Agenten, Werkzeugen, Datenquellen und Rollen
  2. Automatisierte Angriffsserien über alle Eingabekanäle
  3. Manuelle Angriffsketten bis zu Datenabfluss oder Aktion
  4. Wiederholung jedes Treffers zur Messung der Trefferquote
  5. Einordnung nach OWASP, MITRE ATLAS und AI Act
  6. Nachtest nach der Behebung
Zeitpunkt
Vor Go-live und nach wesentlichen Änderungen
Ergebnis
Bericht mit Angriffspfad, Trefferquote und Maßnahme je Befund
02 · Format

Architektur-Review

Ist der Agent sicher entworfen, bevor er gebaut ist?

In Konzeption und Entwicklung prüfen wir Architektur, Rechte und Datenflüsse Ihres Agenten. Designfehler werden behoben, bevor sie im Test oder im Betrieb auffallen.

Umfang
  1. Threat Modeling von Datenflüssen und Vertrauensgrenzen
  2. Rechte, Identitäten und Scopes der Agenten
  3. Freigaben für kritische Aktionen durch Menschen
  4. Trennung von Anweisungen und verarbeiteten Inhalten
  5. Umgang mit Geheimnissen und Tokens
  6. Protokollierung und Nachvollziehbarkeit
Zeitpunkt
In Konzeption und Entwicklung
Ergebnis
Bewertete Architektur mit priorisierten Designmaßnahmen
03 · Format

MCP-Server-Audit

Was dürfen die Werkzeuge, die Ihre Agenten nutzen?

Wir prüfen eingesetzte und selbst entwickelte MCP-Server, bevor Agenten über sie auf Ihre Systeme und Daten zugreifen.

Umfang
  1. Tool-Beschreibungen auf versteckte Anweisungen
  2. Änderungen an Tool-Definitionen nach der Freigabe
  3. Authentifizierung, OAuth und Weitergabe von Tokens
  4. Berechtigungen und Datenzugriff je Werkzeug
  5. Eingabevalidierung, SSRF und Befehlsausführung
  6. Herkunft und Lieferkette eingebundener Server
Grundlage
OWASP MCP Top 10 und OWASP Top 10 for Agentic Applications
Ergebnis
Befunde je Server und Werkzeug mit Maßnahmen
Methodik

Vier Phasen. Kontrolliert und reproduzierbar.

Wir testen bevorzugt in einer Staging-Umgebung mit realistischen Daten und Berechtigungen. Jeder Angriff wird mehrfach ausgeführt, weil Sprachmodelle nicht immer gleich antworten.

  1. 01Scoping

    Architektur und Threat Modeling

    Wir erfassen Agenten, Modelle, Werkzeuge, MCP-Server, Datenquellen und Rollen, zeichnen Datenflüsse und Vertrauensgrenzen nach und legen Testkonten, Zeitfenster und Abbruchkriterien fest.

    Angriffsszenarien je Agent
  2. 02Automatisiert

    Angriffsserien

    Automatisierte Serien prüfen viele Varianten von Prompt Injection, Jailbreaks und Verschleierung gegen alle erreichbaren Eingabekanäle.

    Alle Eingabekanäle abgedeckt
  3. 03Analyst

    Angriffsketten

    Analysten verketten Schwachstellen zu realen Angriffspfaden, von der präparierten E-Mail bis zur Aktion in Ihren Systemen. Jeder Treffer wird wiederholt, um die Trefferquote zu messen.

    Trefferquote je Befund
  4. 04Bericht

    Bericht und Nachtest

    Management Summary und Befunde mit Angriffsbeispiel, Trefferquote und Maßnahme, eingeordnet nach OWASP und MITRE ATLAS. Nach der Behebung prüfen wir erneut.

    Nachweis der Wirksamkeit
Ergebnis

Befunde, die Ihr Team nachstellen kann.

  • Management SummaryRisikobewertung für Geschäftsleitung, Aufsicht und Versicherer.
  • BefundberichtJeder Befund mit Angriffsbeispiel, Trefferquote und Maßnahme.
  • EinordnungNach OWASP, MITRE ATLAS und, wo relevant, EU AI Act.
  • Abschlussgespräch und NachtestBehobene Befunde prüfen wir auf Wunsch erneut.
Typische Befunde

Die zehn häufigsten Schwachstellen. Und wo sie wirklich entstehen.

Die meisten Befunde entstehen in der Architektur um das Modell herum: zu viele Rechte, ungeprüfte Eingaben und Ausgaben, die ohne Kontrolle weiterverarbeitet werden.

  1. 01
    Indirekte Prompt Injection mit DatenabflussEine präparierte E-Mail, ein Dokument oder eine Webseite enthält Anweisungen, die der Agent ausführt. Interne Daten verlassen das Unternehmen über Links, Bilder oder Werkzeugaufrufe.
    Kritisch
  2. 02
    Aktionen ohne menschliche FreigabeDer Agent löscht, versendet oder bucht, ohne dass ein Mensch bestätigt. Ein einziger manipulierter Inhalt genügt für eine reale Aktion in Ihren Systemen.
    Kritisch
  3. 03
    Zu weit gefasste BerechtigungenDer Agent arbeitet mit einem Dienstkonto, das weit mehr darf als der Anwendungsfall erfordert. Über ihn erreicht ein Nutzer Daten anderer Abteilungen oder Mandanten.
    Kritisch
  4. 04
    Manipulierbare MCP-ServerTool-Beschreibungen enthalten versteckte Anweisungen oder ändern sich nach der Freigabe. Ein Server leitet Aufrufe um oder gibt Tokens an Dritte weiter.
    Hoch
  5. 05
    Ausführung von Modell-AusgabenAntworten des Modells landen ungeprüft in Shell, Datenbank, Template oder Browser. Aus einer Prompt Injection wird so Codeausführung oder XSS.
    Hoch
  6. 06
    Geheimnisse im KontextAPI-Schlüssel, Tokens oder Zugangsdaten stehen im Systemprompt, in Tool-Antworten oder in Logs und lassen sich über das Modell abfragen.
    Hoch
  7. 07
    Vergiftete Wissensbasis und GedächtnisWer Dokumente in die Wissensbasis bringen kann, steuert künftige Antworten. Falsche Fakten bleiben im Langzeitgedächtnis über Sitzungen hinweg erhalten.
    Mittel
  8. 08
    Offengelegter SystempromptInterne Regeln, Werkzeuglisten und Filterlogik lassen sich erfragen. Sie liefern Angreifern die Bauanleitung für gezieltere Angriffe.
    Mittel
  9. 09
    Ungeprüfte Delegation zwischen AgentenAgenten übernehmen Aufgaben und Inhalte anderer Agenten ohne eigene Prüfung. Eine Anweisung wandert so unbemerkt bis zu dem Agenten mit den meisten Rechten.
    Mittel
  10. 10
    Fehlende ProtokollierungPrompts, Werkzeugaufrufe und Entscheidungen werden nicht nachvollziehbar gespeichert. Ein Vorfall lässt sich weder erkennen noch rekonstruieren.
    Niedrig
Befund und Bericht

Ein Befund, wie er im Bericht steht. Mit Angriffspfad und Trefferquote.

Jeder Befund nennt Agent und Werkzeug, beschreibt Angriff, Trefferquote und Auswirkung und endet mit einer konkreten Maßnahme. Ihr Team kann ihn nachstellen und die Behebung selbst prüfen.

KritischAI-2026-07

Indirekte Prompt Injection per E-Mail führt zu Datenabfluss

Agent
support-agent mit Postfach- und CRM-Werkzeug
Angriff
E-Mail · versteckte Anweisung · Bild-URL mit Kundendaten
Treffer
9 von 20 Versuchen, ohne Klick des Nutzers
Verifikation
Kundendaten aus dem CRM erreichten einen von uns kontrollierten Server
Auswirkung
Abfluss personenbezogener Daten durch jeden, der dem Postfach eine E-Mail senden kann
Maßnahme
Externe Bilder und Links in Antworten sperren, CRM-Zugriff auf den Anfragekontext begrenzen, Freigabe vor jeder Datenausgabe
Bezug
OWASP ASI01 und LLM01:2026 · MITRE ATLAS AML.T0051.001

Beispiel, anonymisiert · Daten und Namen verändert

Schweregrade
  • KritischDatenabfluss oder Aktion ohne Nutzerinteraktion
  • HochRechteausweitung oder Codeausführung
  • MittelErleichtert weitere Angriffe
  • NiedrigAbweichung von Best Practice

Schweregrade richten sich nach Auswirkung, Rechten und Erreichbarkeit. Die Trefferquote zeigt, wie zuverlässig ein Angriff gelingt.

Anlässe

Wann ein Test fällig ist. Und warum nicht erst nach dem Vorfall.

Meist gibt es einen konkreten Auslöser: ein Go-live, eine neue Anbindung an Kernsysteme, eine regulatorische Pflicht oder eine Frage aus dem Vorstand, die bisher niemand belastbar beantworten kann.

Typische Anlässe

Sechs Auslöser, bei denen Annahmen nicht reichen.

  • EU AI Act · Art. 15Robustheit und CybersicherheitHochrisiko-KI-Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung oder Ausgaben zu verändern. Für Systeme nach Anhang III gilt das nach dem Digital Omnibus ab 2. Dezember 2027.
  • DORA · BaFinKI als IKT-SystemFür Finanzunternehmen gilt das IKT-Risikomanagement nach DORA auch für KI-Systeme. Die BaFin hat dazu im Dezember 2025 eine Orientierungshilfe veröffentlicht.
  • NIS2 · BSI-GesetzWirksamkeit nachweisenBetroffene Einrichtungen müssen die Wirksamkeit ihrer Risikomanagementmaßnahmen bewerten. Agenten mit Zugriff auf Kernsysteme gehören dazu.
  • BSI · EmpfehlungenSchutz gegen Prompt InjectionDas BSI empfiehlt mehrschichtige Maßnahmen und einen Basisschutz gegen indirekte Prompt Injection. Einen verbindlichen Prüfkatalog für KI-Agenten gibt es bisher nicht.
  • Go-live und neue AnbindungAgent erhält Zugriff auf KernsystemeBevor ein Agent Tickets schließt, Zahlungen anstößt oder auf Kundendaten zugreift, sollte feststehen, was ein Angreifer über ihn erreichen kann.
  • Vorstand, Kunden, VersichererBelastbare Antwort statt AnnahmeVorstände, Großkunden und Cyberversicherer fragen zunehmend nach dem Umgang mit KI. Ein dokumentierter Test liefert die Grundlage für diese Gespräche.

Die Übersicht ersetzt keine Rechtsberatung. Welche Pflichten konkret gelten, hängt von Einsatzzweck, Risikoklasse und Sektor Ihres Unternehmens ab.

Grundlagen

Nach welchen Maßstäben wir prüfen. Damit Befunde vergleichbar sind.

Befunde ordnen wir anerkannten Standards zu. So lassen sie sich vergleichen, priorisieren und gegenüber Prüfern, Aufsicht und Geschäftsleitung belegen. Die regulatorischen Anlässe finden Sie weiter oben.

Standards und Regelwerke

Sechs Bezugspunkte für jeden Befund.

  • OWASP Top 10 for LLM Applications 2026Risiken von Anwendungen auf Basis großer Sprachmodelle, von Prompt Injection bis zur unsicheren Ausgabeverarbeitung.
  • OWASP Top 10 for Agentic ApplicationsSeit Dezember 2025 die Referenz für agentische Risiken wie Goal Hijack, Tool Misuse und Rogue Agents.
  • OWASP MCP Top 10Risiken im Model Context Protocol, etwa Tool Poisoning, Token-Weitergabe und zu weit gefasste Rechte.
  • OWASP AI Testing GuideOffene Methodik für Sicherheitstests von KI-Systemen, Version 1 seit November 2025.
  • MITRE ATLASWissensbasis zu Taktiken und Techniken realer Angriffe auf KI-Systeme.
  • ISO/IEC 42001Managementsystem für KI. Unsere Testergebnisse dienen als Nachweis für technische Kontrollen.
FAQ

Häufige Fragen zur AI Agent Security.

Ihre Frage ist nicht dabei? Wir beantworten sie gern im persönlichen Gespräch.

Frage stellen →
01Was ist ein Penetrationstest für KI-Agenten?

Ein Penetrationstest für KI-Agenten greift eine KI-Anwendung so an, wie es ein realer Angreifer tun würde: über Eingaben, Dokumente, angebundene Werkzeuge und Datenquellen. Ziel ist der Nachweis, ob sich der Agent zu Datenabfluss, unerwünschten Aktionen oder Rechteausweitung bringen lässt, und wie Sie das verhindern.

02Was unterscheidet ihn von einem klassischen Penetrationstest?

Ein klassischer Pentest sucht Schwachstellen in Code, Konfiguration und Infrastruktur. Bei KI-Agenten ist die Eingabe selbst der Angriff, denn Text in einer E-Mail oder einem Dokument kann den Agenten steuern. Wir kombinieren deshalb Angriffe auf das Sprachmodell mit klassischen Tests der Werkzeuge, APIs und Berechtigungen dahinter.

03Was ist indirekte Prompt Injection?

Bei der indirekten Prompt Injection steckt die Anweisung des Angreifers nicht in der Eingabe des Nutzers, sondern in Inhalten, die der Agent verarbeitet, etwa in einer E-Mail, einer Webseite oder einem Dokument der Wissensbasis. Der Nutzer bemerkt davon nichts. Das BSI hat dazu 2026 Empfehlungen für einen Basisschutz veröffentlicht.

04Welche Risiken entstehen durch MCP-Server?

Über das Model Context Protocol erhalten Agenten Zugriff auf Werkzeuge und Daten. Typische Risiken sind versteckte Anweisungen in Tool-Beschreibungen, nachträglich veränderte Tool-Definitionen, die Weitergabe von Tokens an falsche Empfänger und zu weit gefasste Berechtigungen. Wir prüfen eigene und eingebundene MCP-Server ebenso wie die Clients.

05Testen Sie auch eingekaufte KI-Lösungen?

Ja. Bei Copilots und SaaS-Agenten testen wir Ihre Konfiguration: angebundene Datenquellen, Berechtigungen, Plugins und Freigaben. Ob und in welchem Umfang Tests gegen die Plattform selbst erlaubt sind, klären wir vorab anhand der Bedingungen des Anbieters.

06Nach welchen Standards prüfen Sie?

Wir ordnen Befunde der OWASP Top 10 for LLM Applications 2026, der OWASP Top 10 for Agentic Applications und MITRE ATLAS zu und berücksichtigen die Empfehlungen des BSI. Auf Wunsch zeigen wir den Bezug zu EU AI Act, DORA, NIS2 und ISO/IEC 42001.

07Wie lange dauert ein Test von KI-Agenten?

Das hängt von Zahl und Komplexität der Agenten, Werkzeuge und Datenquellen ab. Eine einzelne Anwendung mit wenigen Werkzeugen ist deutlich schneller geprüft als ein System aus mehreren Agenten mit vielen Anbindungen. Den genauen Aufwand legen wir im Scoping fest.

08Wie gehen Sie mit schwankenden Ergebnissen um?

Sprachmodelle antworten nicht immer gleich. Wir führen jeden Angriff deshalb mehrfach aus und geben im Bericht die Trefferquote an. Auch ein Angriff, der nur in einem Teil der Versuche gelingt, ist ein realer Befund, denn ein Angreifer kann beliebig oft wiederholen.

09Wie testen Sie Microsoft 365 Copilot?

Wir prüfen Copilot mit den Rechten typischer Nutzerrollen: Was findet Copilot in SharePoint, OneDrive, Teams und Postfächern, und was löst eine präparierte E-Mail oder Datei aus? Die Schwachstelle EchoLeak (CVE-2025-32711) hat gezeigt, dass eine einzige E-Mail ohne Klick des Nutzers zu Datenabfluss führen konnte. Eigene Agenten aus Copilot Studio testen wir zusätzlich mit ihren Connectoren und Aktionen.

10Wann ist ein Architektur-Review sinnvoll?

Bevor der Agent gebaut ist oder bevor er neue Werkzeuge und Rechte erhält. Designfehler wie zu weite Berechtigungen, fehlende Freigaben für kritische Aktionen oder vermischte Anweisungen und Inhalte lassen sich in der Konzeption mit wenig Aufwand beheben. Im Pentest vor Go-live prüfen wir anschließend, ob die Maßnahmen wirken.

11Was prüft ein MCP-Server-Audit?

Wir prüfen Tool-Beschreibungen auf versteckte Anweisungen, Änderungen an Tool-Definitionen nach der Freigabe, Authentifizierung und Weitergabe von Tokens, Berechtigungen je Werkzeug sowie Eingabevalidierung und Befehlsausführung. Grundlage sind die OWASP MCP Top 10. Das gilt für selbst entwickelte ebenso wie für eingebundene Server von Drittanbietern.

Kontakt

Wissen, was Ihr KI-Agent wirklich tut. Ihr Test beginnt mit einem Gespräch.