Seminar AgentOps Monitoring, SLOs und Kostensteuerung

CPU, Speicher und HTTP-Fehler erklären bei Agenten nur einen Teil des Betriebszustands. Ein technisch erfolgreicher Lauf kann fachlich falsch, zu teuer, zu langsam oder unnötig autonom sein. Deshalb benötigen Agenten eigene Serviceindikatoren und Fehlerbudgets.

Nutzen

Teilnehmende entwerfen Dashboards, SLOs und Alarmregeln, die echte Qualitäts- und Betriebsrisiken abbilden. Kosten- und Kapazitätsgrenzen werden nicht nur berichtet, sondern als steuerbare Budgets in den Betrieb integriert.

Lernziele

• geeignete SLIs für Ergebnisqualität, Trajektorie, Werkzeuge und Systemleistung auswählen
• SLOs und Fehlerbudgets für unterschiedliche Risikoklassen formulieren
• Token, Modellkosten, Tool-Kosten und Kosten pro erfolgreicher Aufgabe messen
• Dashboards und mehrstufige Alarme ohne unnötige Alarmflut gestalten
• Kapazität, Quoten und Lastverhalten agentischer Systeme bewerten

Für wen ist das Seminar geeignet?

SRE-, Operations-, FinOps- und Plattformteams, AI Engineers, technische Service Owner und Verantwortliche für Observability.

Voraussetzungen

Grundkenntnisse in Monitoring und verteilten Anwendungen; Verständnis agentischer Abläufe und grundlegender Metrikbegriffe.

Seminarinhalte

Messmodell

• Technische, fachliche, qualitative und wirtschaftliche Signale
• Run-, Step-, Tool-, Modell- und Nutzersegment
• Korrelation von Traces, Scores, Logs, Metriken und Release-Versionen

Agentenspezifische SLIs

• Task Success, First-Pass Success und Human Handoff
• Tool-Auswahl, Tool-Fehler, ungültige Argumente und Seiteneffekte
• Schrittzahl, Schleifen, Abbruchgründe und Wiederholungen
• Qualitätsscores, Richtlinienverstöße und Unsicherheit
• Anzeichen für Zielabweichung, kaskadierende Fehler und nicht genehmigte Autonomie

Latenz und Zuverlässigkeit

• End-to-End-Latenz, Time to First Token und Tool-Latenzen
• Perzentile, Long Tail und Abhängigkeiten
• Verfügbarkeit, Erfolgsquote und Wiederherstellungszeit

Kosten und Kapazität

• Input-, Output-, Reasoning- und Cache-Nutzung
• Kosten pro Lauf, Nutzer, Mandant und erfolgreicher Aufgabe
• Budgetgrenzen, Quoten, Rate Limits und Modellrouting
• Lastprofile, Nebenläufigkeit und Warteschlangen

SLOs und Alarmierung

• Serviceklassen und risikobasierte Ziele
• Fehlerbudget, Burn Rate und kombinierte Qualitätsalarme
• Runbook-Verknüpfung, Zuständigkeit und Eskalation

Praxisanteil

Für einen Beispielagenten werden ein Metrikkatalog, drei SLOs, Kostenbudgets und ein Dashboard entworfen. Simulierte Qualitäts-, Latenz- und Kostenausreißer lösen abgestufte, runbookfähige Alarme aus.