AI Security Assessment

Was ist ein AI Security Assessment?

Der Einsatz von künstlicher Intelligenz (KI) in Unternehmen geht heute weit über einfache Chatbots hinaus. Moderne KI-Anwendungen reichen von LLM-basierten Chat-Applikationen über RAG-Systeme mit Zugriff auf interne Wissensquellen bis hin zu KI-Agenten, die externe Tools und APIs nutzen. Diese Systeme verarbeiten zunehmend geschäftskritische Daten und sind eng in bestehende Geschäftsprozesse und IT-Landschaften eingebunden.

Aus Sicherheitsperspektive ist dabei nicht allein das Sprachmodell relevant, sondern die vollständige KI-Anwendung: Modell, Kontextaufbau, RAG-Pipeline, Orchestrierungslogik, Tools und APIs, Berechtigungen, Datenflüsse, Ausgabeverarbeitung und Betriebsumgebung. Wir prüfen daher nicht das Modell isoliert, sondern die konkrete Implementierung im Unternehmenskontext. So wird sichtbar, welche Angriffe tatsächlich möglich sind, welche Aktionen ein System auslösen kann und welcher geschäftliche Schaden daraus entstehen kann.

Viele LLM-basierte KI-Anwendungen verhalten sich zudem nichtdeterministisch — ihre Ausgaben sind kontextabhängig und nur eingeschränkt vorhersagbar, da ein wesentlicher Teil der Steuerungslogik im Sprachmodell selbst liegt. Diese modell- und kontextspezifischen Risiken erfordern spezialisierte Prüfmethoden. Häufig entstehen in realen Projekten besonders kritische Risiken durch überprivilegierte Agenten und Integrationen, etwa wenn ein Assistent Zugriff auf vollständige SharePoint-Bereiche, HR-Datenbanken oder andere sensible Datenquellen erhält. Gleichzeitig bleiben klassische Schwachstellen relevant: unsichere APIs, Broken Access Control, XSS, SSRF, Remote Code Execution, Fehlkonfigurationen oder unzureichendes Logging können in KI-Systemen ebenso ausnutzbar sein und den Impact KI-spezifischer Angriffe deutlich erhöhen.

AI Security Assessment Ablauf: Methodik & Vorgehen

Mit dem AI Security Assessment bieten wir Ihnen eine systematische Prüfung Ihrer KI-basierten Anwendungen hinsichtlich KI-spezifischer Schwachstellen und Fehlkonfigurationen. Aufbauend auf etablierten Frameworks wie den OWASP Top 10 for LLM Applications 2025, den OWASP Top 10 for Agentic Applications 2026 sowie der MITRE ATLAS Wissensdatenbank kombinieren wir automatisierte Angriffstechniken mit expertengestützten manuellen Tests.

Das Assessment beginnt üblicherweise mit einem Workshop zur Bedrohungsanalyse , mit dem Ziel, die Architektur der KI-Anwendung, Datenflüsse und Vertrauensgrenzen zu verstehen und daraus spezifische Bedrohungsszenarien abzuleiten. Dabei ist eine klare Abgrenzung der verschiedenen Systemtypen und ihrer Architekturkomponenten notwendig: LLM-basierte Chat-Applikationen, RAG-Systeme mit angebundenen Datenquellen und agentische Systeme mit Tool-Zugriff und autonomer Entscheidungsfindung weisen jeweils unterschiedliche Angriffsflächen und Risikoprofile auf.

Ein zentraler Bestandteil der Bedrohungsanalyse ist die Untersuchung des Informationsflusses entlang der gesamten Verarbeitungskette. Hierbei werden insbesondere die Vertrauensgrenzen zwischen den Systemkomponenten identifiziert: An welchen Stellen gelangen nicht vertrauenswürdige Eingaben — etwa Benutzeranfragen, hochgeladene Dokumente oder extern abgerufene Inhalte — in den Verarbeitungsprozess? Wie und wo werden diese Daten mit dem Modellkontext zusammengeführt? Und vor allem: Welche Datenflüsse und Entscheidungen finden innerhalb des LLM-Kontexts statt und sind damit durch einen Angreifer über manipulierte Eingaben beeinflussbar? Auf Basis dieser Analyse leiten wir konkrete Angriffsszenarien ab und priorisieren die resultierenden Testfälle nach Geschäftskontext und technischem Risiko.

Grundsätzlich erfolgt das Assessment mit dem Ansatz einer möglichst umfassenden Prüfung. Abhängig von der Art der Anwendung bzw. des Systems und der relevanten Bedrohungen ist jedoch auch ein risikobasierter Ansatz möglich (vergleichbar mit einem Penetrationstest ). Dabei wird der Fokus auf besonders sicherheitskritische bzw. gefährdete Bereiche gerichtet, wobei sich der Prüfungsumfang aus dem im Vorfeld vereinbarten Zeitbudget ergibt.

Basierend auf den Ergebnissen der Bedrohungsanalyse erfolgen automatisierte sowie manuelle Analysen zur Identifikation von Schwachstellen. In einem ersten Schritt setzen wir spezialisierte Werkzeuge ein, die eine große Bandbreite an Angriffsvarianten automatisiert gegen die KI-Anwendung ausführen — über verschiedene Eingabemodalitäten hinweg, einschließlich Text sowie, sofern im Scope, Dateien und Bilder. Diese automatisierten Tests decken insbesondere bekannte Angriffskategorien systematisch ab. Da sie jedoch konstruktionsbedingt auf vordefinierte Muster beschränkt sind, ergänzen unsere Prüfer die Ergebnisse durch gezielte manuelle Analysen. Dabei bewerten sie die Befunde im Kontext der konkreten Systemarchitektur, untersuchen die Orchestrierungslogik auf logische Schwachstellen und führen anwendungsspezifische Angriffsszenarien durch, die über standardisierte Prüfkataloge hinausgehen.

Da viele LLM-basierte KI-Systeme sich nichtdeterministisch verhalten, führen wir Angriffe gezielt mehrfach und in Variationen durch, um die tatsächliche Ausnutzbarkeit belastbar einschätzen zu können. Wir bewerten dabei sowohl die Reproduzierbarkeit als auch die Zuverlässigkeit identifizierter Schwachstellen, um fundierte Risikobewertungen statt einzelner Momentaufnahmen zu liefern. Ein Gray- oder White-Box-Ansatz ist zu empfehlen.

AI Security Assessment und relevante Regulierungen & Standards

Die Sicherheit von KI-Anwendungen wird durch eine wachsende Zahl an Regulierungen und Standards adressiert. Ein AI Security Assessment unterstützt Sie dabei, die technischen Anforderungen an Robustheit und Cybersicherheit nachweisbar zu erfüllen — insbesondere für Hochrisiko-KI-Systeme:

• EUAIAct - Die EU-Verordnung zur Regulierung künstlicher Intelligenz definiert risikobasierte Anforderungen an KI-Systeme, darunter Transparenzpflichten, technische Dokumentation und Anforderungen an die Robustheit und Cybersicherheit. Ein AI Security Assessment unterstützt Sie bei der technischen Verifikation der Anforderungen an Robustheit und Cybersicherheit — insbesondere für Hochrisiko-KI-Systeme gemäß Art. 15 der Verordnung.

• OWASPTop10forLLMApplications2025 - Der international anerkannte Katalog der kritischsten Sicherheitsrisiken für KI-Sprachmodelle bildet eine zentrale Grundlage für unsere Prüfmethodik. Er umfasst unter anderem Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities und Excessive Agency.

• OWASPTop10forAgenticApplications2026 - Dieser ergänzende Katalog adressiert spezifisch die Sicherheitsrisiken agentischer KI-Systeme, darunter Agent Goal Hijack, Tool Misuse und Memory & Context Poisoning.

• OWASPMCPTop10(Beta) - Dieser sich in Entwicklung befindliche Katalog adressiert die spezifischen Sicherheitsrisiken des Model Context Protocol (MCP), eines zunehmend genutzten Protokolls für die Tool-Integration in KI-Systemen. Zu den identifizierten Risikokategorien zählen unter anderem Tool Poisoning, Command Injection, Privilege Escalation via Scope Creep und Context Injection.

• MITREATLAS - ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) ist eine Wissensdatenbank gegnerischer Taktiken, Techniken und Fallstudien für KI-Systeme und dient als Referenz für die systematische Prüfung.

Assessment-Ergebnisse: Risikobewertung & Sicherheitsmaßnahmen

Als Ergebnis des Assessments erhalten Sie einen ausführlichen Abschlussbericht. Abhängig von Art und Umfang des Projekts umfasst der Abschlussbericht folgende Bestandteile:

• Management Summary mit Zusammenfassung der Ergebnisse und des Sicherheitsniveaus
• Beschreibung Projektablauf, Zielsetzung, Umfang und Methodik
• Detaillierte Beschreibung der identifizierten Schwachstellen, um diese nachvollziehen und mögliche Angriffe rekonstruieren zu können (ggf. mit Proof-of-Concept-Implementierungen)
• Detaillierte Beschreibung des iterativen Vorgehens bei der Ausnutzung verketteter Schwachstellen
• Risikobewertung der identifizierten Schwachstellen unter Berücksichtigung des IT-Umfelds bzw. des Anwendungskontextes (Risikoeinstufung: niedrig, mittel, hoch, kritisch)
• Beschreibung von Maßnahmen zur Behebung der Schwachstellen
• Falls erforderlich auch eine Beschreibung von übergeordneten strategie-, konzept- und prozessbezogenen Maßnahmen oder Optimierungsvorschlägen.

Falls gewünscht, können auch folgende Punkte in den Abschlussbericht aufgenommen werden:

• Detailübersicht zur Architektur der KI-Anwendung und den Datenflüssen
• Spezifisches Bedrohungsmodell für die KI-Komponenten und deren Integration
• Empfehlungen für sichere Entwicklungs- und Betriebspraktiken für KI-Anwendungen
• Priorisierte Maßnahmenempfehlungen basierend auf einem Defense-in-Depth-Ansatz