Seminar LLMOps mit Kubeflow und MLflow

Produktive Sprachmodelle verändern sich durch neue Modellstände, Prompts, Daten, Adapter und Laufzeitparameter. Ohne lückenlose Lineage und automatisierte Gates ist später kaum feststellbar, warum sich Qualität, Sicherheit oder Kosten verändert haben.

Das Seminar baut einen offenen LLMOps-Lebenszyklus auf. Experimenttracking, Datensatz-Lineage, Pipelineausführung, Artefaktspeicher, Modellregister, GenAI-Evaluation, Tracing und Deployment werden so verbunden, dass jeder freigegebene Stand reproduzierbar und rückrollbar bleibt.

Einordnung und Nutzen

Vier Tage sind notwendig, weil Kubeflow Pipelines v2 und MLflow 3 installiert und integriert, eine vollständige Pipeline implementiert sowie Registry-, Evaluations-, Tracing-, Freigabe- und Rollbackszenarien praktisch ausgeführt werden. Drei Tage würden den produktiven Betrieb auf eine Demonstration verkürzen.

Zielgruppe

• MLOps-, LLMOps- und Data-Science-Plattformteams
• Kubernetes- und AI-Plattformadministration
• Machine-Learning-Engineering und technische Qualitätssicherung

Voraussetzungen

• Kubernetes-Grundkenntnisse
• Grundlagen von Python und ML-Workflows
• Basiswissen zu Sprachmodellen und Evaluation

Lernziele

• Experimente, Datensätze und Artefakte reproduzierbar erfassen
• Kubeflow-Pipelines v2 für LLM-Prozesse erstellen
• Modellversionen, Aliase, Prompts und Freigaben in MLflow 3 verwalten
• Evaluation, Tracing und Deployment als kontrollierte Gates automatisieren

Seminarinhalte

LLMOps-Zielbild und Artefakte

• Modell, Tokenizer, Prompt, Adapter, Datensatz und Laufzeitkonfiguration
• Versionierung, Lineage und unveränderliche Referenzen
• Trennung von Entwicklung, Prüfung und Produktion

MLflow 3 Tracking und Registry

• Experimente, Runs, Datensätze, Metriken, Prompts und Artefakte
• Datenbankgestützter Tracking Server und Objektstorage
• Modellversionen, Aliase, Tags und Freigabestatus ohne veraltete Stage-Workflows

Kubeflow Pipelines v2

• Komponenten, Parameter, Artefakte, Pipeline Root und IR YAML
• Kompilierung, Runs, wiederkehrende Ausführung und Caching
• Service Accounts, Secrets und isolierte Ausführungsumgebungen

GenAI-Evaluation und Tracing

• MLflow GenAI Evaluation mit Scorern und versionierten Testdatensätzen
• OpenTelemetry-kompatible Traces, Sampling und Schutz sensibler Inhaltsdaten
• Sicherheits-, Qualitäts- und Regressionstests als technische Gates

Promotion und Deployment

• Übergabe freigegebener Versionen an KServe oder vLLM
• Canary, kontrollierte Umschaltung und Rollback
• Synchronisation von Modellregister, GitOps und Laufzeitstatus

Betrieb und Governance

• Zugriffsrechte, Mandantentrennung und Aufbewahrung
• Auditdaten, Reproduzierbarkeit und Löschkonzepte
• Überwachung von Pipeline, Registry, Traces und Modellqualität

Praktische Übungen

• Aufbau eines MLflow-3-Tracking-Servers mit datenbankgestütztem Modellregister
• Implementierung einer mehrstufigen Kubeflow-Pipeline v2
• Erfassung von Datensatz-Lineage und OpenTelemetry-kompatiblen LLM-Traces
• Einbindung automatisierter GenAI-Evaluations- und Freigabegates
• Promotion einer Modellversion über Aliase mit anschließendem Rollback

Methodik

Ein durchgängiges Labor begleitet den gesamten Modelllebenszyklus. Konfiguration, Metadaten und Entscheidungen bleiben in Git, Pipeline und Registry nachvollziehbar.