Seminar Agentic AI Engineering – Voice und Realtime Agents

Das Seminar behandelt sprachbasierte Agenten, die Audio in Echtzeit verarbeiten, Gespräche steuern und Werkzeuge während eines Dialogs verwenden. Neben niedriger Latenz stehen Turn-Taking, Unterbrechungen, Zustandsführung und sichere Übergaben im Vordergrund. Die Teilnehmenden implementieren natürliche, kontrollierbare Sprachinteraktionen und messen nicht nur Transkriptqualität, sondern auch Reaktionszeit, Aufgabenabschluss und das Verhalten bei Störungen.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

AI Engineers, Conversational-AI-Teams, Contact-Center-Entwickler und Softwarearchitekten für Echtzeitanwendungen.

Voraussetzungen

Programmierpraxis, API- und Event-Grundlagen sowie erste Erfahrung mit Agenten oder Sprachverarbeitung.

Seminarinhalte

• Realtime-Pipeline aus Audio, Erkennung, Modell, Tools und Ausgabe
• Streaming, Pufferung, Latenzbudget und Verbindungsmanagement
• Voice Activity Detection, Turn-Taking und Barge-in
• Gesprächszustand, Kontextfenster und zusammengefasste Historie
• Tool-Aufrufe während laufender Dialoge koordinieren
• Bestätigung und Wiederholung kritischer Informationen
• Fallback auf Text, menschliche Übergabe und Abbruchstrategien
• Datenschutz, Aufzeichnung, Einwilligung und sensible Inhalte
• Simulation, Audio-Testfälle und Ende-zu-Ende-Metriken

Praxisprojekt

Die Teilnehmenden erstellen einen Realtime-Agenten mit Unterbrechbarkeit, zwei Werkzeugen und Übergabe an einen Menschen. Tests simulieren Hintergrundgeräusche, Verbindungsabbrüche und missverständliche Bestätigungen.

Lernziele

Die Teilnehmenden implementieren natürliche, kontrollierbare Sprachinteraktionen und messen nicht nur Transkriptqualität, sondern auch Reaktionszeit, Aufgabenabschluss und das Verhalten bei Störungen. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.