Seminar AgentOps Intensiv Observability und produktiver Betrieb

Der Betrieb agentischer Systeme verlangt Sichtbarkeit über Modelle, Werkzeuge, Retrieval, Speicher, Übergaben und Zustandsänderungen. Gleichzeitig müssen Telemetriedaten geschützt, Kosten begrenzt und Störungen über technische wie fachliche Signale erkannt werden.

Nutzen

Teilnehmende instrumentieren einen Beispielagenten Ende zu Ende, bauen Dashboards und SLOs auf und erproben belastbare Betriebsmechanismen. Die Übungen reichen von Trace-Kontext und Redaction bis zu Lasttest, Störung, Diagnose, Failover und Post-Incident-Verbesserung.

Lernziele

• agentische Abläufe mit standardisierten Traces, Metriken und Logs instrumentieren
• Telemetrie datenschutzgerecht sammeln, korrelieren, sampeln und aufbewahren
• fachliche und technische SLIs sowie SLOs festlegen
• Kosten, Latenz, Qualität, Tool-Verhalten und Schleifen überwachen
• Resilienzmaßnahmen und Incident Response für Agenten praktisch umsetzen

Für wen ist das Seminar geeignet?

SRE-, Plattform-, Operations- und Observability-Teams, AI Engineers, Softwareentwicklerinnen und Softwareentwickler sowie technische Service Owner.

Voraussetzungen

Erfahrung mit verteilten Anwendungen, APIs und Monitoring; grundlegende Container- und Python-Kenntnisse für die Übungen.

Seminarinhalte

Tag 1: Trace-Modell und Instrumentierung

• Trace, Span, Event, Log, Metric und Resource
• Agentenlauf, Modellaufruf, Tool Call, Retrieval, Memory und Handoff
• MCP-Werkzeuge, A2A-Tasks und W3C-Trace-Kontext
• Kontextweitergabe über synchrone und asynchrone Grenzen
• Manuelle und automatische Instrumentierung

Tag 2: OpenTelemetry Pipeline

• SDK, Collector, OTLP, Prozessoren und Exporte
• Aktuelle GenAI-Semantik, OpenInference-Mapping und Versionsstrategie
• Sampling, Batching, Pufferung und Ausfallsicherheit
• Redaction, Pseudonymisierung, Zugriff und Aufbewahrung

Tag 3: Monitoring, SLI und SLO

• Task-Erfolg, Qualitätsscore, Tool-Fehler und Eskalation
• End-to-End-Latenz, Time to First Token, Schritte und Schleifentiefe
• Token- und Kostenbudgets, Kapazität und Quoten
• Dashboards, Burn-Rate-Alarme und Runbooks

Tag 4: Resilienz und Plattformbetrieb

• Timeout, Retry, Backoff, Circuit Breaker und Bulkhead
• Idempotenz, Zustandskonsistenz und sichere Wiederaufnahme
• Fallback-Modelle, reduzierte Betriebsarten und Human Handoff
• Mandantenfähigkeit, Skalierung und Kapazitätstests

Tag 5: Incident Response und Gesamtübung

• Triage anhand korrelierter Traces, Metriken und Logs
• Replay und Reproduktion ohne schädliche Seiteneffekte
• Rollback, Traffic-Steuerung und Wiederanlauf
• Post-Incident-Analyse und Rückführung in Tests und SLOs

Praxisanteil

Ein mehrstufiger Agent wird instrumentiert und über eine Telemetrie-Pipeline beobachtet. Anschließend werden Last, Tool-Ausfälle, Schleifen und Qualitätsabfall injiziert, per SLO erkannt und nach Runbook behandelt.