Seminar Private AI mit Kubernetes und Open Source – Kompaktseminar

Das Kompaktformat bietet einen vollständigen, aber bewusst verdichteten Einstieg in souveräne AI-Plattformen. Es zeigt, wie Kubernetes, Open-Source-AI-Dienste, Datenkomponenten und Betriebswerkzeuge zu einer kontrollierbaren internen Plattform zusammenspielen.

Im Labor entsteht ein funktionsfähiger Minimalpfad mit Modellendpunkt, Retrieval, Zugriffsschutz, GitOps-Bereitstellung und Observability. Vertiefungen und komplexe Mehrcluster- oder Air-Gap-Szenarien bleiben den Fachseminaren vorbehalten.

Einordnung und Nutzen

Drei Tage sind die Untergrenze für ein seriöses Kompaktseminar mit praktischem Gesamtaufbau. Zwei Tage würden Architektur und Betrieb auf eine reine Übersicht reduzieren und kaum Raum für Fehleranalyse lassen.

Zielgruppe

• IT-Architektur und technische Projektleitung
• Kubernetes-, MLOps- und Plattformteams
• Administratoren und Entwickler mit Verantwortung für Private AI

Voraussetzungen

• Linux- und Containergrundlagen
• Grundverständnis von Netzwerken und Speicher
• Erste Kubernetes-Kenntnisse sind hilfreich, aber nicht zwingend

Lernziele

• Bausteine einer souveränen AI-Plattform einordnen
• Einen internen Modell- und RAG-Dienst auf Kubernetes bereitstellen
• Grundlegende Sicherheits- und GitOps-Kontrollen anwenden
• Betriebsanforderungen und sinnvolle Vertiefungsmodule ableiten

Seminarinhalte

Plattformarchitektur und Souveränität

• Schutzziele, Betriebsgrenzen und Verantwortlichkeiten
• Kubernetes-, Daten-, Modell- und Betriebsdienste
• Referenzarchitektur für einen internen AI-Dienst

Kubernetes- und Beschleunigerbasis

• Workloads, Netzwerk, Storage, RBAC und Ressourcen
• Device Plugins, DRA, Kueue und grundlegendes GPU-Scheduling
• Namespaces, Quotas und Mandantengrenzen

Modellbereitstellung

• vLLM als Inferenzruntime und KServe als Steuerungsebene
• LLMInferenceService, interne API, Routing, Skalierung und Modellcache
• Lasttest und grundlegende Leistungsmetriken

Training, RAG und LLMOps

• Überblick zu Kubeflow Trainer, TrainJob, Checkpoints und Fine-Tuning
• Dokumentenaufnahme, Embeddings und Vektorsuche
• Kubeflow Pipelines v2, MLflow 3, Evaluation und kontrollierte Freigabe

Sicherheit, Governance und GitOps

• Identitäten, Netzwerkregeln, Secrets und Policies
• Signierte Artefakte und zugelassene Quellen
• Deklarative Bereitstellung und nachvollziehbare Änderungen

Observability und belastbarer Betrieb

• Metriken, Logs, Traces und SLO-Grundlagen
• Backup, Wiederanlauf und Kapazitätsreserven
• Betriebsrollen, Runbooks und nächste Ausbaustufen

Praktische Übungen

• Aufbau eines isolierten Kubernetes-Namespace für AI-Workloads
• Bereitstellung eines Modellendpunkts mit internem Routing
• Erweiterung um eine kleine RAG-Datenstrecke
• Einbindung in GitOps, Policy und Observability mit abschließendem Störungstest

Methodik

Das Seminar arbeitet mit einem vorbereiteten Cluster, damit die verfügbare Zeit auf das Zusammenspiel der Komponenten entfällt. Die Übungen ergeben einen durchgängigen Minimalbetrieb.