Seminar AgentOps Multi-Agent-Systeme testen und evaluieren

Mehrere spezialisierte Agenten können Aufgaben besser zerlegen, erhöhen aber die Zahl möglicher Verläufe und Fehlerketten. Lokale Einzelerfolge garantieren weder ein korrektes Gesamtergebnis noch kontrollierte Kosten und Berechtigungen.

Nutzen

Teilnehmende können Multi-Agent-Architekturen in prüfbare Verträge und Szenarien zerlegen. Sie bewerten sowohl einzelne Rollen als auch Kooperation, Zustandsübergänge und End-to-End-Verhalten unter normalen und gestörten Bedingungen.

Lernziele

• Agentenrollen, Kommunikationsverträge und gemeinsame Zustände testbar spezifizieren
• Routing, Delegation und Handoffs isoliert und im Verbund prüfen
• Trajektorien und Teilzielerfüllung bewerten
• Schleifen, Deadlocks, Ping-Pong, Fehlerfortpflanzung und Kostenexplosion erkennen
• Simulationen für konkurrierende, fehlende und kompromittierte Agenten entwerfen

Für wen ist das Seminar geeignet?

AI Engineers, Softwarearchitektinnen und Softwarearchitekten, QA-Fachkräfte sowie Entwicklungsteams für Orchestrierung und agentische Workflows.

Voraussetzungen

Erfahrung mit agentischen Anwendungen, Tool Calling und automatisierten Tests; grundlegende Python-Kenntnisse.

Seminarinhalte

Testbares Systemmodell

• Supervisor, Router, Handoff und Agents-as-Tools
• A2A Agent Cards, Fähigkeiten, Erweiterungen und Protokollversionen
• Rollen, Grenzen und Kommunikationsverträge
• Gemeinsamer und lokaler Zustand, Memory und Artefakte

Komponenten- und Vertragstests

• Routingentscheidungen und Konfidenz
• A2A-Nachrichten, Task-Zustände, Streaming und asynchrone Benachrichtigungen
• Kontextübergabe, Identität und Berechtigungen
• Teilziele, Abbruchbedingungen und Fehlercodes

End-to-End-Szenarien

• Erfolgreiche Zusammenarbeit und alternative gültige Wege
• Langlaufende Tasks, Pause, Wiederaufnahme und Human-in-the-Loop
• Fehlender Agent, nicht verfügbares Tool und unvollständiger Kontext
• Widersprüchliche Vorschläge und kontrollierte Konfliktlösung

Trajektorienbewertung

• Korrekte Reihenfolge und zulässige Übergänge
• Effizienz, Redundanz, Schleifen und unnötige Delegation
• Credit Assignment für Teilbeiträge und Gesamterfolg

Robustheit und Sicherheit

• Kompromittierter Agent und manipulierte Nachricht
• Berechtigungsüberschreitung über Delegationsketten
• Deadlocks, Ping-Pong, ungebremste Parallelität und Budgetgrenzen

Praxisanteil

Ein Supervisor-System mit zwei Fachagenten wird anhand von Verträgen, simulierten Abhängigkeiten und End-to-End-Szenarien geprüft. Injektionen erzeugen falsches Routing, Kontextverlust, Ping-Pong und Berechtigungsüberschreitung.