Seminar CUDA Advanced & Skalierung: Streams, Graphs, Cooperative Groups, Multi-GPU

Inhaltsverzeichnis

• Abstract
• Zielgruppe und Voraussetzungen
• Lernziele
• Inhalte und Module
• Praxisübungen
• Agenda

Abstract

Das Seminar behandelt fortgeschrittene CUDA-Techniken für hohe Auslastung, geringere Overheads und Skalierung auf mehrere GPUs. Schwerpunkte sind Concurrency mit Streams und Events, effiziente Pipeline-Architekturen, CUDA Graphs für niedrige Launch-Overheads sowie kooperative Programmiermodelle und Multi-GPU-Designprinzipien. Ein praxisnahes Capstone-Projekt zeigt, wie aus einem einfachen Kernel-Workflow eine skalierbare, messbar schnellere Verarbeitungspipeline entsteht.

Zielgruppe und Voraussetzungen

• Zielgruppe: CUDA-Entwicklung mit Performance- und Skalierungsanforderungen
• Voraussetzungen: sichere Grundlagen und Profiling-Erfahrung. Empfehlenswert: CUDA Programmierung Grundlagen: Kernels, Memory, Toolchain und CUDA Performance & Profiling: Nsight, Memory, Occupancy, Tuning

Lernziele

• Concurrency korrekt und messbar einsetzen
• Overheads durch Graph- und Batch-Strategien reduzieren
• Workload-Pipelines bauen: Overlap von Transfer und Compute
• Multi-GPU-Datenpartitionierung, Kommunikation und Synchronisation entwerfen

Inhalte und Module

• Streams und Events: Abhängigkeiten, Prioritäten, Synchronisationsfallen
• Asynchrone Transfers und Pipeline-Design: Double/Triple Buffering
• CUDA Graphs: Aufbau, Capture, Update-Strategien, Trade-offs
• Cooperative Groups (konzeptionell + Praxis): Gruppensynchronisation, kollektive Operationen
• Warp- und Block-Level-Patterns: effiziente Zusammenarbeit (fortgeschritten)
• Multi-GPU-Grundlagen: Partitionierung, Affinität, NUMA/PCIe-Topologie (konzeptionell)
• Kommunikationsmuster: Peer-to-Peer, Collectives (konzeptionell), Synchronisationsdesign
• Stabilität: Deadlocks, Heisenbugs, reproduzierbare Messung in konkurrierenden Pipelines

Praxisübungen

• Transfer und Compute überlappen, Messung der Auswirkung
• Kernel-Sequenz als Graph modellieren, Overhead vergleichen
• Daten splitten, Ergebnisse zusammenführen, Skalierungsgrenzen dokumentieren
• End-to-End-Pipeline von Baseline bis skalierter Variante mit Metrikreport

Agenda

• Tag 1
  • Streams/Events und Concurrency-Design
  • Übungen: Overlap Transfer/Compute
• Tag 2
  • CUDA Graphs und Overhead-Reduktion
  • Cooperative Groups und fortgeschrittene Patterns
  • Übungen: Graph-Capture + Validierung
• Tag 3
  • Multi-GPU-Designprinzipien und Fallstricke
  • Übungen: Partitionierung + Skalierung messen
  • Capstone-Integration und Review