AI Security Assessment

Was ist ein AI Security Assessment?

Ein AI Security Assessment – auch KI-Pentest, LLM-Pentest oder AI Security Test genannt – prüft KI-Anwendungen gezielt auf Schwachstellen wie Prompt Injection, Datenabfluss oder den Missbrauch angebundener Tools und bewertet das Risiko im Unternehmenskontext.

Anwendungen künstlicher Intelligenz (KI) in Unternehmen reichen von Chat-Applikationen auf Basis großer Sprachmodelle (Large Language Models, LLMs) über RAG-Systeme (Retrieval-Augmented Generation) mit Zugriff auf interne Wissensquellen bis hin zu KI-Agenten, die externe Tools und APIs nutzen. Diese Systeme verarbeiten zunehmend geschäftskritische Daten und sind in bestehende Geschäftsprozesse und IT-Landschaften eingebunden.

Aus Sicherheitsperspektive ist dabei nicht allein das Sprachmodell relevant, sondern die vollständige KI-Anwendung: Modell, Kontextaufbau, RAG-Pipeline, Orchestrierungslogik, Tools und APIs, Berechtigungen, Datenflüsse, Ausgabeverarbeitung und Betriebsumgebung. Wir prüfen daher nicht das Modell isoliert, sondern die konkrete Implementierung im Unternehmenskontext. So wird sichtbar, welche Angriffe tatsächlich möglich sind, welche Aktionen ein System auslösen kann und welcher geschäftliche Schaden daraus entstehen kann.

Viele LLM-basierte KI-Anwendungen verhalten sich zudem nichtdeterministisch. Ihre Ausgaben sind kontextabhängig und nur eingeschränkt vorhersagbar, da ein wesentlicher Teil der Steuerungslogik im Sprachmodell selbst liegt. Diese modell- und kontextspezifischen Risiken erfordern spezialisierte Prüfmethoden. Häufig entstehen in realen Projekten besonders kritische Risiken durch überprivilegierte Agenten und Integrationen, etwa wenn ein Assistent Zugriff auf vollständige SharePoint-Bereiche, HR-Datenbanken oder andere sensible Datenquellen erhält. Gleichzeitig bleiben klassische Schwachstellen relevant: unsichere APIs, Broken Access Control, XSS, SSRF, Remote Code Execution, Fehlkonfigurationen oder unzureichendes Logging können in KI-Systemen ebenso ausnutzbar sein und den Impact KI-spezifischer Angriffe erhöhen.

AI Security Assessment Ablauf: Methodik & Vorgehen

Mit dem AI Security Assessment bieten wir Ihnen eine systematische Prüfung Ihrer KI-basierten Anwendungen hinsichtlich KI-spezifischer Schwachstellen und Fehlkonfigurationen. Aufbauend auf etablierten Frameworks wie den OWASP Top 10 for LLM Applications 2025, den OWASP Top 10 for Agentic Applications 2026 sowie der MITRE ATLAS Wissensdatenbank kombinieren wir automatisierte Angriffstechniken mit manuellen Tests durch unsere Prüfer.

Das Assessment beginnt üblicherweise mit einem Workshop zur Bedrohungsanalyse , in dem wir die Architektur der KI-Anwendung, Datenflüsse und Vertrauensgrenzen analysieren und daraus spezifische Bedrohungsszenarien ableiten. Dabei ist eine klare Abgrenzung der verschiedenen Systemtypen und ihrer Architekturkomponenten notwendig: LLM-basierte Chat-Applikationen, RAG-Systeme mit angebundenen Datenquellen und agentische Systeme mit Tool-Zugriff und autonomer Entscheidungsfindung weisen jeweils unterschiedliche Angriffsflächen und Risikoprofile auf.

Ein zentraler Bestandteil der Bedrohungsanalyse ist die Untersuchung des Informationsflusses entlang der gesamten Verarbeitungskette. Hierbei werden insbesondere die Vertrauensgrenzen zwischen den Systemkomponenten identifiziert: an welchen Stellen nicht vertrauenswürdige Eingaben wie Benutzeranfragen, hochgeladene Dokumente oder extern abgerufene Inhalte in den Verarbeitungsprozess gelangen, wie und wo diese Daten mit dem Modellkontext zusammengeführt werden und, vor allem, welche Datenflüsse und Entscheidungen innerhalb des LLM-Kontexts stattfinden und damit durch einen Angreifer über manipulierte Eingaben beeinflusst werden können. Auf Basis dieser Analyse leiten wir konkrete Angriffsszenarien ab und priorisieren die resultierenden Testfälle nach Geschäftskontext und technischem Risiko.

Abhängig von der Art der Anwendung bzw. des Systems, den relevanten Bedrohungen und dem vereinbarten Zeitbudget erfolgt das Assessment entweder als möglichst umfassende Prüfung oder mit einem risikobasierten Ansatz, vergleichbar mit einem Penetrationstest . Beim risikobasierten Ansatz wird der Fokus auf besonders sicherheitskritische bzw. exponierte Bereiche gerichtet und der Prüfungsumfang ergibt sich aus dem im Vorfeld vereinbarten Zeitbudget.

Basierend auf den Ergebnissen der Bedrohungsanalyse erfolgen automatisierte sowie manuelle Analysen zur Identifikation von Schwachstellen. In einem ersten Schritt setzen wir spezialisierte Werkzeuge ein, die eine große Bandbreite an Angriffsvarianten automatisiert gegen die KI-Anwendung ausführen, über verschiedene Eingabemodalitäten hinweg, einschließlich Text sowie, sofern im Scope, Dateien und Bilder. Diese automatisierten Tests decken die bekannten Angriffskategorien ab. Da sie jedoch konstruktionsbedingt auf vordefinierte Muster beschränkt sind, ergänzen unsere Prüfer die Ergebnisse durch gezielte manuelle Analysen. Dabei bewerten sie die Befunde im Kontext der konkreten Systemarchitektur, untersuchen die Orchestrierungslogik auf logische Schwachstellen und führen anwendungsspezifische Angriffsszenarien durch, die über standardisierte Prüfkataloge hinausgehen.

Da viele LLM-basierte KI-Systeme sich nichtdeterministisch verhalten, führen wir Angriffe mehrfach und in Variationen durch, um die tatsächliche Ausnutzbarkeit einschätzen zu können. Wir bewerten dabei sowohl die Reproduzierbarkeit als auch die Konsistenz identifizierter Schwachstellen und schaffen damit eine fundierte Grundlage für die Risikobewertung. Ein Gray- oder White-Box-Ansatz ist zu empfehlen.

AI Security Assessment und relevante Regulierungen & Standards

Die Sicherheit von KI-Anwendungen wird durch mehrere Regulierungen und Standards adressiert. Ein AI Security Assessment unterstützt Sie dabei, die technischen Anforderungen an Robustheit und Cybersicherheit nachweisbar zu erfüllen, insbesondere für Hochrisiko-KI-Systeme:

• EUAIAct - Die EU-Verordnung zur Regulierung künstlicher Intelligenz definiert risikobasierte Anforderungen an KI-Systeme, darunter Transparenzpflichten, technische Dokumentation und Anforderungen an die Robustheit und Cybersicherheit. Ein AI Security Assessment liefert technische Nachweise für die Anforderungen an Robustheit und Cybersicherheit. Für Hochrisiko-KI-Systeme sind diese Anforderungen gemäß Art. 15 der Verordnung verbindlich.

• OWASPTop10forLLMApplications2025 - Der international anerkannte Katalog der kritischsten Sicherheitsrisiken für KI-Sprachmodelle ist eine wesentliche Grundlage unserer Prüfmethodik. Er umfasst unter anderem Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities und Excessive Agency.

• OWASPTop10forAgenticApplications2026 - Dieser ergänzende Katalog adressiert spezifisch die Sicherheitsrisiken agentischer KI-Systeme, darunter Agent Goal Hijack, Tool Misuse und Memory & Context Poisoning.

• OWASPMCPTop10(Beta) - Dieser sich in Entwicklung befindliche Katalog adressiert die spezifischen Sicherheitsrisiken des Model Context Protocol (MCP), eines zunehmend genutzten Protokolls für die Tool-Integration in KI-Systemen. Zu den identifizierten Risikokategorien zählen unter anderem Tool Poisoning, Command Injection, Privilege Escalation via Scope Creep und Context Injection.

• MITREATLAS - ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) ist eine Wissensdatenbank gegnerischer Taktiken, Techniken und Fallstudien für KI-Systeme und dient als Referenz für die systematische Prüfung.

Assessment-Ergebnisse: Risikobewertung & Sicherheitsmaßnahmen

Als Ergebnis des Assessments erhalten Sie einen ausführlichen Abschlussbericht. Abhängig von Art und Umfang des Projekts umfasst der Abschlussbericht folgende Bestandteile:

• Management Summary mit Zusammenfassung der Ergebnisse und des Sicherheitsniveaus
• Beschreibung Projektablauf, Zielsetzung, Umfang und Methodik
• Detaillierte Beschreibung der identifizierten Schwachstellen, um diese nachvollziehen und mögliche Angriffe rekonstruieren zu können (ggf. mit Proof-of-Concept-Implementierungen)
• Detaillierte Beschreibung des iterativen Vorgehens bei der Ausnutzung verketteter Schwachstellen
• Risikobewertung der identifizierten Schwachstellen unter Berücksichtigung des IT-Umfelds bzw. des Anwendungskontextes (Risikoeinstufung: niedrig, mittel, hoch, kritisch)
• Beschreibung von Maßnahmen zur Behebung der Schwachstellen
• Falls erforderlich auch eine Beschreibung von übergeordneten strategie-, konzept- und prozessbezogenen Maßnahmen oder Optimierungsvorschlägen

Falls gewünscht, können auch folgende Punkte in den Abschlussbericht aufgenommen werden:

• Detailübersicht zur Architektur der KI-Anwendung und den Datenflüssen
• Spezifisches Bedrohungsmodell für die KI-Komponenten und deren Integration
• Empfehlungen für sichere Entwicklungs- und Betriebspraktiken für KI-Anwendungen
• Priorisierte Maßnahmenempfehlungen basierend auf einem Defense-in-Depth-Ansatz