Seminar Beschleuniger und GPU-Orchestrierung mit Kubernetes

Beschleuniger sind die teuerste und betrieblich anspruchsvollste Ressource vieler AI-Plattformen. Leistung, Verfügbarkeit und Auslastung hängen nicht nur vom Modell, sondern auch von Treibern, NUMA-Topologie, Speicherpfaden, Scheduling und sauberer Mandantentrennung ab.

Das Seminar baut eine herstellerneutrale Betriebslogik auf und berücksichtigt klassische Device Plugins, die stabile Dynamic Resource Allocation sowie Kueue für Warteschlangen und faire Ressourcenzuteilung. Übungen reichen von der Knotenerkennung bis zu Multi-GPU-Workloads und belastbaren Kapazitätsregeln.

Einordnung und Nutzen

Drei Tage sind notwendig, weil Hardwareintegration, Scheduling, Performance und Störungsanalyse jeweils praktische Laborzeit erfordern. Eine kürzere Dauer würde zentrale Betriebsrisiken lediglich theoretisch behandeln.

Zielgruppe

• Kubernetes- und Linux-Administration
• AI-Plattformbetrieb und Rechenzentrumsplanung
• MLOps, SRE und Performance Engineering

Voraussetzungen

• Sichere Kubernetes-Grundkenntnisse
• Linux-Kenntnisse zu Prozessen, Treibern und Geräten
• Grundverständnis von AI-Inferenz oder Training

Lernziele

• Beschleunigerknoten reproduzierbar in Kubernetes integrieren
• Geräte sicher an Workloads zuweisen und teilen
• Topologie- und leistungsbewusstes Scheduling umsetzen
• Auslastung, Fehler und Engpässe systematisch analysieren

Seminarinhalte

Hardware- und Systemarchitektur

• GPU, NPU und weitere Beschleuniger im Plattformkontext
• PCIe, NUMA, CPU-Pinning, Arbeitsspeicher und Hochgeschwindigkeitsnetze
• Treiber, Firmware, Kernelmodule und Container-Runtime

Geräteerkennung und Integration

• Node Feature Discovery und Knoteninventar
• Device Plugins, RuntimeClass und Ressourcennamen
• Gesundheitsstatus, Wartungszustand und standardisierte Labels

Dynamic Resource Allocation

• DeviceClass, ResourceClaim und ResourceClaimTemplate
• Geräteattribute, Auswahlregeln und administrative Zuweisung
• Koexistenz und Migration zwischen Plugin- und DRA-Modellen

Scheduling und Mandantenfähigkeit

• Kueue mit LocalQueue, ClusterQueue, ResourceFlavor und Cohorts
• Faire Quoten, Prioritäten, Preemption und all-or-nothing admission
• Topology-Aware Scheduling, Partitionierung, zeitliches Teilen und sichere Exklusivität

Performance und Kapazität

• Modellspeicher, KV-Cache, Batchgrößen und Parallelisierung
• Datenlokalität und Engpässe zwischen Speicher, Netzwerk und Gerät
• Messung von Durchsatz, Latenz, Speicherverbrauch und Auslastung

Betrieb und Fehleranalyse

• Gerätemetriken, Temperatur, Fehlerzähler und Drosselung
• Draining, Wartung und kontrollierte Wiederaufnahme
• Fehlerbilder bei Treibern, Runtime, Scheduling und Workload

Praktische Übungen

• Inventarisierung und Labeling eines Beschleunigerknotens
• Bereitstellung von Workloads mit Device Plugin und ResourceClaim
• Einrichtung von Kueue mit fairen Quoten, Prioritäten und Topologieregeln
• Lasttest mit Messung von Auslastung, Latenz und Speicherengpässen

Methodik

Geführte Konfigurationen werden durch Mess- und Fehlerszenarien ergänzt. Der Schwerpunkt liegt auf reproduzierbaren Betriebsverfahren statt auf einzelnen Hardwareprodukten.