Seminar AI-Infrastruktur für Administratoren: Storage, Datenpfade und Hochleistungsnetzwerke

Teure Beschleuniger warten häufig nicht auf Rechenarbeit, sondern auf Daten. Große Modellartefakte, parallele Checkpoints, Vektorindizes und verteilte Kommunikation erzeugen sehr unterschiedliche Zugriffsmuster. Ein einzelner Durchsatzwert genügt deshalb nicht, um Speicher und Netzwerke für AI-Workloads auszulegen.

Das Seminar betrachtet den vollständigen Datenweg von der Modellablage über Netzwerk, Hostspeicher und Arbeitsspeicher bis zum Beschleuniger. Speicherklassen, Caches, Datenlokalität und Hochleistungsnetze werden anhand messbarer Workloads ausgewählt und diagnostiziert.

Zielgruppe

Storage-, Netzwerk-, Linux- und Kubernetes-Administratoren, Rechenzentrumsingenieure sowie Plattformteams für Training, RAG und Inferenz.

Voraussetzungen

Grundkenntnisse zu TCP/IP, VLANs, Linux-Dateisystemen und zentralen Speicherdiensten. Kubernetes- und Beschleunigergrundlagen sind hilfreich.

Seminarinhalte

Zugriffsmuster und Datenklassen

• Modellgewichte, Trainingsdaten, Checkpoints, Vektordaten, Logs und temporäre Caches unterscheiden
• Sequenzielle und zufällige Zugriffe, kleine Dateien, große Objekte und Metadatenlast einordnen
• Latenz, IOPS, Durchsatz, Parallelität, Konsistenz und Haltbarkeit als getrennte Anforderungen formulieren
• Datenklassifikation, Lebenszyklus, Aufbewahrung und Wiederbeschaffbarkeit berücksichtigen

Storage-Architekturen

• Lokales NVMe, NVMe over Fabrics, Block-, Datei-, Objekt- und paralleles Dateisystem vergleichen
• Zentrale Modellablage, Arbeitsdaten, Checkpoints und Cache auf geeignete Ebenen verteilen
• Scale-up-, Scale-out- und disaggregierte Architekturen hinsichtlich Leistung und Betrieb bewerten
• Direkte Beschleunigerpfade zu Datei-, Block- und Objektspeicher anhand von Nutzen und Voraussetzungen bewerten
• Erasure Coding, Replikation, Snapshots und Backup nicht mit Performancefunktionen verwechseln

Modellverteilung und Caching

• Modelle versionieren, verifizieren und reproduzierbar auf Knoten oder Volumes bereitstellen
• KServe ModelCache, Node-local Cache, Shared Cache, Image Layer und Objektspeicher sinnvoll kombinieren
• Cache-Warm-up, parallele Starts, Cache Eviction und Speicherreserve kontrollieren
• Prefix- und KV-Caches sowie KV-Cache-Transfer von persistenten Modellcaches unterscheiden
• Startlatenz und Netzlast bei Rollout vieler Replikate begrenzen

Kubernetes Storage

• CSI-Treiber, StorageClasses, Persistent Volumes, Zugriffsmodi und Volume Binding administrieren
• Lokale Volumes, verzögerte Bindung und Topology-Awareness mit Workloadplatzierung verbinden
• Snapshots, Volume Group Snapshots, Klone, Erweiterung und Fehlerbehandlung für AI-Datenpfade nutzen
• Mount-Optionen, Dateirechte, Quoten und Kapazitätsüberwachung standardisieren

Netzwerkarchitektur

• Management-, Client-, Storage-, Replikations- und Beschleunigerverkehr trennen
• Bandbreite, Oversubscription, Latenz, MTU, ECMP, Bonding und QoS dimensionieren
• Top-of-Rack-, Spine-Leaf- und Mehrstandortpfade anhand von Fehlerdomänen bewerten
• Datenlokalität und Topologie in Scheduler- und Betriebsentscheidungen einbeziehen

RDMA und Hochleistungsnetze

• RDMA-Grundlagen, InfiniBand und RoCE mit klassischem TCP vergleichen
• Lossless-Ethernet-Mechanismen, Prioritätsflusskontrolle und Staukontrolle einordnen
• Netzwerkkarten, Treiber, Firmware, Subnet- oder Fabric-Management und Gerätezuteilung abstimmen
• Direkte DMA- und RDMA-Pfade zwischen Speicher, Netzwerkkarte und Beschleuniger einordnen
• GPUDirect-artige Speicher- und Netzwerkpfade sowie direkte Objektzugriffe hinsichtlich Nutzen und Bindungen bewerten

Messung und Engpassanalyse

• Mikrobenchmarks von anwendungsnahen Modelllade-, Checkpoint- und Shuffle-Tests unterscheiden
• Queue Depth, Cache Hit Rate, Retransmits, Paketverlust, Puffer und RDMA-Zähler auswerten
• Client-, Netzwerk-, Storage- und Beschleunigerzeit in einem Messablauf korrelieren
• Baseline, Sättigungspunkt, Parallelität und Verhalten bei Teilausfall dokumentieren

Praktische Übungen

• Zugriffsmuster klassifizieren und eine mehrstufige Storage-Architektur auswählen
• Ein Modell aus Objekt- und Dateispeicher laden und mit KServe ModelCache sowie lokalem NVMe-Cache vergleichen
• Eine topologiebewusste Kubernetes-Storageklasse mit verzögerter Bindung und Volume Group Snapshot konfigurieren
• Netzwerkdurchsatz, Paketverlust und Storage-Latenz unter paralleler Last messen
• KV-Cache-Transfer und einen direkten Datenpfad gegenüber dem klassischen Hostpfad messtechnisch bewerten
• Einen künstlichen Datenpfadengpass lokalisieren und durch Konfigurationsänderung verifizieren
• Eine Netzsegmentierung für Management-, Storage-, Service- und Beschleunigerverkehr entwerfen

Methodik

Speicher- und Netzwerkentscheidungen werden mit reproduzierbaren Messungen geprüft. Ein Modelllade- und Inferenzszenario dient als gemeinsamer Datenpfad. Konfiguration, Telemetrie und Workloadparameter werden gemeinsam ausgewertet, bis die Engpassursache nachweisbar ist.