Seminar StackHPC Private Cloud – HPC- und KI-Workloads

Das Seminar behandelt die technische Abbildung rechenintensiver HPC-, Datenanalyse- und KI-Workloads auf einer StackHPC Private Cloud.

Ziel ist die Auswahl geeigneter Compute-, Beschleuniger-, Netzwerk- und Speicherprofile sowie deren sichere Bereitstellung und messbare Optimierung.

Inhaltsübersicht

1. Workloadklassifikation
2. Compute-Optimierung
3. GPU- und Beschleunigerintegration
4. Hochleistungsnetzwerke
5. Speicher und Datenpfade
6. Images und Softwareumgebungen
7. Scheduling und Orchestrierung
8. Benchmarking und Optimierung
9. Praxislabor und betriebliche Einordnung

Zielsetzung

Ziel ist die Auswahl geeigneter Compute-, Beschleuniger-, Netzwerk- und Speicherprofile sowie deren sichere Bereitstellung und messbare Optimierung. Die Arbeitsweise verbindet fachliche Einordnung, Demonstrationen und unmittelbar nachvollziehbare Übungen an einer praxisnahen Umgebung.

Zielgruppe

HPC-Administratoren, KI-Plattformteams, Cloud-Architekten, Forschungs-IT und Performance-Ingenieure.

Voraussetzungen

Linux-, Netzwerk- und OpenStack-Grundlagen; Erfahrung mit HPC oder GPU-Workloads ist vorteilhaft.

Seminarinhalte

Modul 1: Workloadklassifikation

1. Schritt 1: Batch-, interaktive, verteilte und datenintensive Lasten unterscheiden.
2. Schritt 2: CPU-, Speicher-, GPU-, Netzwerk- und I/O-Bedarf erfassen.
3. Schritt 3: Messgrößen und Akzeptanzkriterien festlegen.

Modul 2: Compute-Optimierung

1. Schritt 1: NUMA-Topologie und CPU-Affinität berücksichtigen.
2. Schritt 2: Huge Pages und dedizierte CPU-Ressourcen planen.
3. Schritt 3: Overcommit und Platzierungsregeln workloadgerecht setzen.

Modul 3: GPU- und Beschleunigerintegration

1. Schritt 1: Passthrough-, vGPU- und Geräteprofile einordnen.
2. Schritt 2: Treiber-, Firmware- und Imageanforderungen abstimmen.
3. Schritt 3: Placement und Zugriffskontrollen verifizieren.

Modul 4: Hochleistungsnetzwerke

1. Schritt 1: Latenz- und Bandbreitenanforderungen bestimmen.
2. Schritt 2: SR-IOV, Provider-Netze und Segmentierung bewerten.
3. Schritt 3: Datenpfade mit geeigneten Tests messen.

Modul 5: Speicher und Datenpfade

1. Schritt 1: lokalen, parallelen und objektbasierten Speicher unterscheiden.
2. Schritt 2: Staging, Scratch und persistente Daten planen.
3. Schritt 3: I/O-Engpässe durch Messungen eingrenzen.

Modul 6: Images und Softwareumgebungen

1. Schritt 1: reproduzierbare Images und Toolchains erstellen.
2. Schritt 2: Treiber und Bibliotheken versionieren.
3. Schritt 3: Artefakte zwischen Test und Produktion kontrolliert freigeben.

Modul 7: Scheduling und Orchestrierung

1. Schritt 1: OpenStack Placement, Kubernetes und Slurm funktional abgrenzen.
2. Schritt 2: Ressourcenklassen und Warteschlangen modellieren.
3. Schritt 3: Nutzeranforderungen auf Plattformangebote abbilden.

Modul 8: Benchmarking und Optimierung

1. Schritt 1: Baseline und repräsentative Tests definieren.
2. Schritt 2: CPU-, GPU-, Netzwerk- und Storage-Metriken korrelieren.
3. Schritt 3: Optimierungen dokumentieren und Regressionen erkennen.

Praxislabor

1. Aufgabe 1: Erstellung eines GPU-fähigen Ressourcenprofils.
2. Aufgabe 2: Planung eines Datenpfads für einen verteilten Trainingsjob.
3. Aufgabe 3: Auswertung eines exemplarischen Performance-Benchmarks.

Praxisnutzen

Nach Abschluss können die behandelten Verfahren für Workloadklassifikation, Compute-Optimierung, GPU- und Beschleunigerintegration, Hochleistungsnetzwerke strukturiert geplant, ausgeführt, geprüft und dokumentiert werden. Technische Entscheidungen lassen sich anhand definierter Anforderungen, Messwerte und kontrollierter Arbeitsschritte begründen.