Seminar Agentic AI Engineering Intensivseminar – Security, Evaluation und Betrieb

Dieses Intensivseminar bündelt Security, Red Teaming, Evaluation, Observability, Governance und zuverlässigen Betrieb in einer fünftägigen Härtungs- und Produktionsstrecke. Ein vorhandener Agent wird systematisch analysiert, abgesichert, getestet, instrumentiert und betriebsfähig gemacht. Die Teilnehmenden verbinden Bedrohungsmodell, Guardrails, Human-in-the-Loop, Qualitätsmetriken, Telemetrie, EU-AI-Act-nahe Nachweise und SRE-Praktiken zu einem konsistenten Kontrollsystem.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

Erfahrene AI Engineers, Security- und Plattformteams, MLOps/SREs, Architects sowie technische Governance-Verantwortliche.

Voraussetzungen

Praktische Agenten-, API- und Cloudkenntnisse sowie Grundlagen von Anwendungssicherheit und Softwaretests.

Seminarinhalte

• Aktuelle OWASP-Risiken, Vertrauensgrenzen und Schutzbedarf
• Guardrails, Least Privilege und risikobasierte Freigaben
• Prompt Injection, Tool-Missbrauch und adversariale Tests
• Eval-Datensätze, Trajektorien, Rubriken und Regression Gates
• OpenTelemetry-Traces, Metriken, Logs und Datenschutz
• SLOs, Kostenbudgets, Rate Limits und Kapazitätsplanung
• Durable Execution, Retries, Idempotenz und Recovery
• EU-AI-Act-Transparenz, Kontrollmatrix und technische Evidenz
• Incident Response, Kill Switch und sichere Degradierung
• Produktionsfreigabe mit integrierter Sicherheits- und Qualitätsprüfung

Praxisprojekt

Das Capstone-Labor startet mit einem absichtlich riskanten Agenten. Die Teilnehmenden härten ihn, bauen automatisierte Evaluations- und Angriffstests, instrumentieren den Betrieb und schließen mit einem evidenzbasierten Release Review ab.

Lernziele

Die Teilnehmenden verbinden Bedrohungsmodell, Guardrails, Human-in-the-Loop, Qualitätsmetriken, Telemetrie, EU-AI-Act-nahe Nachweise und SRE-Praktiken zu einem konsistenten Kontrollsystem. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.