Seminar Quobyte für AI und HPC

Datenintensive AI- und HPC-Workloads werden von der Datenerfassung bis zu Checkpoints und Ergebnissen betrachtet. Schwerpunkte sind paralleler Zugriff, kleine Dateien, große Streaming-Datensätze, RDMA, Client-Tuning und mediengerechte Datenplatzierung.

Inhaltsverzeichnis

• AI- und HPC-Datenlebenszyklus
• Kleine Dateien und Metadatenlast
• Parallele Ein-/Ausgabe
• POSIX, S3 und MPI-IO
• Caching und Prefetching
• Hochgeschwindigkeitsnetz und RDMA
• NVMe-, HDD- und Policy-Platzierung
• Benchmark und Referenzarchitektur

Zielsetzung

GPU- und Rechenknoten sollen mit einem vorhersehbaren Datenstrom versorgt werden, während Schutz, Mandantentrennung und Beobachtbarkeit auch bei hoher Parallelität erhalten bleiben.

Zielgruppe

AI-Plattformbetrieb, HPC-Administration, Storage Engineering, Data Engineering, MLOps und Infrastrukturarchitektur.

Voraussetzungen

Quobyte-Grundlagen, Linux-Administration und Kenntnisse typischer AI-, HPC- oder Data-Engineering-Workflows.

Seminarinhalte

1. AI- und HPC-Datenlebenszyklus

1. Ingest, Aufbereitung, Training, Checkpoints, Inferenz und Archiv unterscheiden.
2. Gemeinsam genutzte und temporäre Daten kennzeichnen.
3. Leistungs- und Schutzanforderungen je Phase festlegen.

2. Kleine Dateien und Metadatenlast

1. Dateigrößenverteilung und Verzeichnisbreite messen.
2. Metadatenoperationen und Datenrate getrennt benchmarken.
3. Sharding oder Bündelung nur anhand belastbarer Messwerte bewerten.

3. Parallele Ein-/Ausgabe

1. Parallelisierung über Clients und Datendienste nachvollziehen.
2. Jobparallelität, Queue-Tiefe und Blockgrößen systematisch variieren.
3. Anwendungs- und Storage-Messwerte zeitlich korrelieren.

4. POSIX, S3 und MPI-IO

1. POSIX für direkte Dateizugriffe einordnen.
2. S3 für Datenpipelines und objektorientierte Werkzeuge nutzen.
3. MPI-IO für parallele wissenschaftliche Anwendungen testen.

5. Caching und Prefetching

1. Sequentielle und zufällige Zugriffe getrennt messen.
2. Daten- und Metadatencache per Policy steuern.
3. Speicherverbrauch, Trefferquote und Konsistenzfolgen beobachten.

6. Hochgeschwindigkeitsnetz und RDMA

1. TCP/IP-Baseline vor RDMA-Optimierungen erstellen.
2. RoCE oder InfiniBand einschließlich MTU und Verlustfreiheit prüfen.
3. Client-, Replikations- und Wiederaufbauverkehr gemeinsam dimensionieren.

7. NVMe-, HDD- und Policy-Platzierung

1. Aktive Trainingsdaten und Checkpoints auf schnelle Pools legen.
2. Ältere Datensätze per Recoding oder Tiering günstiger speichern.
3. Rückholung und erneute Aktivierung messbar gestalten.

8. Benchmark und Referenzarchitektur

1. Synthetische Tests und reale Jobprofile trennen.
2. Durchsatz, Latenz, GPU-Auslastung und Fehler gleichzeitig erfassen.
3. Compute-, Storage- und Netzwerkrollen mit Abnahmewerten dokumentieren.

Praxisaufgaben

• Ein AI-Datenpipeline-Profil mit mehreren Speicherklassen entwerfen.
• Client- und Netzwerkparameter in einer Messreihe vergleichen.
• Eine Policy für aktive Datensätze, Checkpoints und Archivdaten erstellen.
• Ein Lasttestkonzept mit Storage- und GPU-Messwerten definieren.

Arbeitsweise

Fachliche Einordnung, Demonstrationen und geführte Schritt-für-Schritt-Übungen wechseln sich ab. Konfigurationen, Messwerte und Fehlerbilder werden direkt am Laborsystem geprüft und in wiederverwendbare Checklisten oder Runbooks überführt.