Seminar Secure Development Lifecycle für agentische AI-Systeme

Agentische AI-Systeme benötigen einen Entwicklungsprozess, der nicht nur Code, sondern auch Modelle, Systemprompts, Tool-Metadaten, Datenquellen, Speicher, Richtlinien und Identitäten versioniert, prüft und kontrolliert freigibt.

Zielsetzung

Das Seminar verankert Security Engineering in jeder Lebenszyklusphase. Sicherheitsanforderungen werden testbar formuliert, Kontrollen als Code umgesetzt und Änderungen an Agentenverhalten, Tools und Berechtigungen durch Freigabegates abgesichert.

Anforderungen und Design

• Schutzbedarf, zulässige Autonomie, Datenklassen, Wirkung und Reversibilität
• Missbrauchsfälle und Threat Modeling für Ziele, Kontext, Memory, Tools und Identitäten
• Sicherheitsarchitektur mit Isolation, Tool-Gateway, Policy Engine und Auditpfad
• Anforderungen an Human Oversight, Genehmigungen, Grenzwerte und Not-Aus
• Datenschutz, Nachvollziehbarkeit und Betriebsanforderungen als Akzeptanzkriterien

Sichere Implementierung

• Trennung von Befehlen und Daten sowie strukturierte und validierte Tool-Schnittstellen
• Least Privilege, kurzlebige Tokens, Secrets Broker und sichere Delegation
• Kontext-, Retrieval- und Memory-Herkunft, Filterung und Lebenszyklus
• Fehlerbehandlung, Zeitlimits, Quoten, Idempotenz und sichere Wiederholung
• Sichere Standardkonfigurationen und kontrollierte Feature-Freigaben

Lieferkette und CI/CD

• Inventar und Versionierung von Modellen, Prompts, Tools, MCP-Servern, Daten und Abhängigkeiten
• AIBOM und SBOM, Integritätsprüfung, Herkunft, Signaturen, Attestierungen und Behandlung externer Komponenten
• Statische, dynamische, adversariale und policy-basierte Tests
• Sicherheitsgates, signierte Artefakte, Umgebungsseparation und Rollback
• Kontrollierte Aktualisierung von Modellen, Tool-Beschreibungen und Berechtigungen

Betrieb und Verbesserung

• Telemetrie, Erkennungsfälle, Drift- und Verhaltensüberwachung
• Incident Response, Token-Widerruf, Quarantäne und Wiederfreigabe
• Nachtests, Kontrollkennzahlen und Rückführung von Befunden in Anforderungen
• Stilllegung von Agenten, Identitäten, Speicher und Datenzugriffen

Praktische Übungen

• Erstellung von Security User Stories und Missbrauchsfällen
• Architektur- und Code-Review eines Agenten mit mehreren Tools
• Implementierung testbarer Policy- und Tool-Grenzen
• Entwurf einer CI/CD-Pipeline mit Agenten-Sicherheitstests und Freigabegates
• Durchführung eines Change-Reviews für Modell-, Prompt- und Tool-Updates

Einordnung im Seminarprogramm

Die viertägige Dauer ist für die Verbindung von Design, Implementierung, Lieferkette, Tests und Betrieb erforderlich. Architektur, IAM und Prompt-Sicherheit bieten vorbereitende Vertiefung; Red Teaming prüft die Umsetzung unabhängig.