Seminar GPU-Computing Grundlagen: Architektur, Parallelität, Speicherhierarchie

Inhaltsverzeichnis

• Abstract
• Positionierung und Nutzen
• Zielgruppe und Voraussetzungen
• Lernziele
• Inhalte und Module
• Praxisübungen und Transfer
• Agenda

Abstract

Das Seminar vermittelt die technischen Grundlagen moderner GPUs als Parallelrechner. Im Fokus stehen Ausführungsmodell, Threading-Konzepte, Speicherhierarchien und typische Leistungsgrenzen (Memory-Bandwidth vs Compute). Ergänzend werden zentrale Begriffe für CUDA und OpenCL eingeordnet, damit spätere Programmierseminare schneller in die Praxis starten können. Übungen nutzen einfache Micro-Benchmarks und Visualisierungen, um Latenz, Bandbreite, Parallelität und Synchronisation messbar zu machen.

Positionierung und Nutzen

• Fundament für alle GPU-Programmierkurse
• Reduziert Trial-and-Error bei Kernel-Design und Performance-Tuning
• Klärt Begriffe wie Warp/Wavefront, Occupancy, Coalescing, Local/Shared Memory, Synchronisation

Zielgruppe und Voraussetzungen

• Zielgruppe: Softwareentwickelnde, HPC-Teams, Performance Engineers, technische Projektleitung
• Voraussetzungen: Grundkenntnisse C/C++ oder vergleichbar; keine CUDA/OpenCL-Vorkenntnisse erforderlich

Lernziele

• GPU als SIMD/SIMT-ähnlicher Parallelrechner korrekt modellieren
• Speicherzugriffe als primäre Performance-Treiber verstehen
• Kernel-Workloads in parallelisierbare Teilprobleme zerlegen
• Typische Anti-Patterns erkennen (Divergenz, unkoaleszierte Zugriffe, Over-Synchronisation)

Inhalte und Module

• GPU-Architekturüberblick: SMs/CUs, Warps/Wavefronts, Scheduling-Grundprinzipien
• Ausführungsmodell: Threads, Thread-Gruppen, Divergenz, Maskierung
• Speicherhierarchie: Register, L1/L2, Shared/Local, Global, Constant/Texture-Konzepte
• Bandbreite und Latenz: Roofline-Denke, Arithmetic Intensity
• Synchronisation: Barrieren, atomare Operationen, Memory Ordering-Grundlagen
• Datenlayout: AoS vs SoA, Alignment, Strides, Coalescing
• Transferpfade: Host-Device, Pinned Memory, Unified/Shared Virtual Memory (konzeptionell)
• Einordnung: CUDA vs OpenCL vs „GPGPU“ als Methodik

Praxisübungen und Transfer

• Micro-Benchmarks: globale vs lokale Speicherzugriffe, Stride-Tests
• Divergenz-Demo: Branching und Performance-Messung
• Datenlayout-Übung: AoS/SoA auf Durchsatz vergleichen
• Mini-Roofline: Messwerte einordnen und Handlung ableiten

Agenda

• Tag 1
  • Architektur und Ausführungsmodell
  • Speicherhierarchie und Zugriffsmuster
  • Übungen: Coalescing, Divergenz, Layout
• Tag 2
  • Performance-Denke: Roofline, Bottlenecks
  • Synchronisation und Atomics
  • Transferpfade und Overheads
  • Übungen: Mini-Roofline, Benchmark-Interpretation