Seminar KServe Generative KI, LLM Serving und GPU-Betrieb

Zielsetzung

Dieses Seminar fokussiert die produktionsfähige Bereitstellung generativer Modelle mit KServe. Behandelt werden Architekturentscheidungen für LLM-Serving, das Zusammenspiel von Modellruntimes und GPU-Infrastruktur sowie die Optimierung von Antwortzeiten, Durchsatz und Betriebskosten.

Zielgruppe

Das Format richtet sich an Teams, die GenAI-Workloads in Kubernetes betreiben oder planen und dafür eine offene, standardisierte und erweiterbare Serving-Plattform aufbauen möchten.

Voraussetzungen

Vorausgesetzt werden sichere Kubernetes-Kenntnisse, Erfahrung mit KServe oder vergleichbaren Serving-Plattformen sowie Grundwissen zu GPU-Ressourcen, Sizing und Modellartefakten.

Inhalte

• Unterschiede zwischen Predictive- und Generative-Serving aus Betriebs- und Architekturperspektive
• Geeignete KServe-Betriebsmodelle für LLM-Workloads und deren Grenzen
• Hugging-Face- und vLLM-basierte Serving-Runtimes in KServe
• OpenAI-kompatible Endpunkte, Streaming-Antworten und Integrationsmuster für Anwendungen
• GPU-Planung, Node-Zuweisung, Scheduling, Ressourcenprofile und Kapazitätsreserven
• Local Model Cache, Modellbereitstellung über Registry- oder Storage-Pfade und Startzeitoptimierung
• KV-Cache-Offloading, Multi-GPU- und Multi-Node-Szenarien sowie Engpassanalyse
• Durchsatz-, Latenz- und Kostenoptimierung für produktionsnahe GenAI-Lastprofile
• Stabiler Betrieb bei langen Requests, Burst-Lasten und ressourcenintensiven Modellen

Praxisanteil

Im Laborteil wird ein LLM mit KServe bereitgestellt, über standardisierte Endpunkte angesprochen und hinsichtlich Ressourcenprofil, Skalierungsverhalten und Startzeiten systematisch optimiert.