Seminar CUDA Performance & Profiling: Nsight, Memory, Occupancy, Tuning

Inhaltsverzeichnis

• Abstract
• Zielgruppe und Voraussetzungen
• Lernziele
• Inhalte und Module
• Praxisübungen und Fallstudien
• Agenda

Abstract

Das Seminar fokussiert Performance Engineering für CUDA. Im Mittelpunkt stehen Messmethoden, Profiling-Workflows und konkrete Optimierungstechniken für Speicherzugriffe, Auslastung und Parallelität. Teilnehmende lernen, Performanceprobleme reproduzierbar zu isolieren, Metriken korrekt zu interpretieren und Optimierungen iterativ zu verifizieren. Hands-on-Übungen führen von „Baseline“ über Messung bis zur stabilen Beschleunigung mit dokumentierten Trade-offs.

Zielgruppe und Voraussetzungen

• Zielgruppe: CUDA-Entwicklung, Performance Engineering, HPC
• Voraussetzungen: sichere CUDA-Grundlagen (Kernel, Memory, Synchronisation). Empfehlenswert: Seminar CUDA Programmierung Grundlagen: Kernels, Memory, Toolchain oder gleichwertig

Lernziele

• Profiling-Workflow: Hypothese → Messung → Optimierung → Verifikation
• Bottlenecks identifizieren: Memory-bound vs compute-bound
• Kernel-Tuning: Occupancy, Registerdruck, Shared Memory, Divergenz, Launch-Konfiguration
• Performance-Regressions vermeiden: Benchmarking und Messdisziplin

Inhalte und Module

• Metriken und Denkmodelle: Throughput, Latenz, Roofline, Amdahl/Overheads
• Profiling-Werkzeuge (konzeptionell + Praxis): System- vs Kernelprofiling
• Speicheroptimierung: Coalescing, Alignment, Cache-Nutzung, Shared Memory als Cache
• Compute-Optimierung: Instruction Mix, ILP, Warp-Effizienz, Divergenz-Reduktion
• Launch-Tuning: Blockgrößen, Occupancy, Limits durch Register/Shared Memory
• Asynchronität-Grundlagen: Streams (als Performance-Hebel, Basislevel)
• Benchmarking: Warmup, Wiederholungen, Varianz, Pinning, Takt-/Power-Effekte (praxisnah)

Praxisübungen und Fallstudien

• Profiling eines gegebenen Kernels und Ableitung von Hypothesen
• Speichergebundene Fallstudie: Layout/Coalescing verbessern
• Computegebundene Fallstudie: Divergenz reduzieren, ILP erhöhen
• Occupancy-Lab: Blockgröße und Registerdruck gegeneinander abwägen
• Mini-Performance-Report als Ergebnisartefakt

Agenda

• Tag 1
  • Messmethodik und Profiling-Workflow
  • Speicher-Tuning und Cache-/Shared-Strategien
  • Übungen: Speichergebundene Optimierung
• Tag 2
  • Compute-Tuning, Divergenz, Launch-Konfiguration
  • Occupancy, Registerdruck, Trade-offs
  • Übungen: Iteratives Tuning + Verifikation