Seminar KServe Modellbereitstellung und ServingRuntime-Praxis

Zielsetzung

Dieses Seminar vermittelt die operative Modellbereitstellung mit KServe. Schwerpunkt sind reproduzierbare Deployments, die Auswahl geeigneter Runtimes, das Verständnis von Modellformaten und ein sauberer Umgang mit Storage- und Schnittstellenthemen.

Zielgruppe

Adressiert werden Teams, die Modelle aus Data-Science- oder MLOps-Kontexten in standardisierte Kubernetes-Deployments überführen und dabei Stabilität, Wiederholbarkeit und technische Nachvollziehbarkeit sicherstellen wollen.

Voraussetzungen

Erforderlich sind allgemeine Kubernetes- und Container-Grundlagen sowie ein Verständnis dafür, wie Modellartefakte paketiert, versioniert und bereitgestellt werden.

Inhalte

• InferenceService als zentrale Ressource für Serving-Deployments
• Built-in ServingRuntimes und ihre Eignung für unterschiedliche Modellformate
• Modellbereitstellung aus Objekt-Storage, Registry- und Artefaktpfaden
• Namespace-Strategien, Health Checks, Versionierung und Rollout-Grundmuster
• V1-, V2- und OpenAI-kompatible Schnittstellen im betrieblichen Vergleich
• Revisionsmanagement, Fehlerdiagnose und typische Ursachen instabiler Deployments
• Arbeitsmuster für wiederholbare Bereitstellung in Test- und Produktionsumgebungen

Praxisanteil

Im Praxisteil werden mehrere InferenceServices mit unterschiedlichen Laufzeitumgebungen bereitgestellt, getestet und hinsichtlich Readiness, Routing und Modellzugriffen analysiert.