Seminar EU AI Act – Sicherheit, Robustheit und Red Teaming

Klassische Anwendungssicherheit bleibt notwendig, reicht bei KI aber nicht aus. Datenvergiftung, Modellextraktion, Prompt Injection, indirekte Instruktionen, unsichere Tool-Nutzung und gezielter Missbrauch verändern Bedrohungsbild und Teststrategie.

Nutzen

Security- und Entwicklungsteams erhalten ein gemeinsames Prüfmodell. Ergebnisse aus Red Teaming führen zu priorisierten technischen und organisatorischen Maßnahmen, reproduzierbaren Regressionstests und klaren Betriebsgrenzen.

Lernziele

• AI-spezifische Assets, Vertrauensgrenzen und Angreiferziele modellieren
• Bedrohungen für Daten, Modelle, Prompts, RAG und Werkzeuge analysieren
• Red-Team-Szenarien sicher, reproduzierbar und messbar durchführen
• Schutzmaßnahmen, Restrestrisiken und Regressionstests ableiten

Zielgruppen

Informationssicherheit, Security Engineering, ML- und Softwareentwicklung, MLOps, Plattformbetrieb, Red Teams, Qualitätssicherung und technische Architektur.

Voraussetzungen

Grundkenntnisse in Anwendungssicherheit, APIs und KI-Systemarchitektur; praktische Übungen erfordern sicheren Umgang mit Testumgebungen.

Seminarinhalte

Threat Modeling für KI

• Assets, Akteure und Vertrauensgrenzen
• Trainings-, Integrations- und Laufzeitangriffe
• Missbrauch durch berechtigte und unberechtigte Nutzer

LLM- und Agentenrisiken

• direkte und indirekte Prompt Injection
• RAG-Manipulation und Datenabfluss
• Tool-Aufrufe, Berechtigungen und übermäßige Autonomie

ML-spezifische Angriffe

• Data Poisoning und Backdoors
• Evasion und adversariale Beispiele
• Modellextraktion und Membership Inference

Red Teaming

• Testcharta, sichere Umgebung und Abbruchregeln
• Angriffskorpus, Metriken und Reproduzierbarkeit
• Evidenz, Schweregrad und verantwortliche Behandlung

Schutz und Betrieb

• Eingabe-, Ausgabe- und Kontextkontrollen
• Isolation, Least Privilege und Secret-Schutz
• Monitoring, Rate Limits und Incident Response

Praxisanteil

Eine isolierte Laboranwendung wird bedroht, getestet und gehärtet. Prompt Injection, Datenabfluss und missbräuchliche Werkzeugaufrufe werden reproduziert; Maßnahmen werden als Regressionstests in die Freigabe übernommen.

Aktualitätsstand

Die Inhalte unterstützen die Anforderungen an Cybersicherheit und Robustheit und bleiben offen für kommende harmonisierte Prüfstandards.