Seminar Valkey Performance Engineering und Kapazitätsplanung

Performance entsteht aus Datenmodell, Befehlen, Clientverhalten, Speicher, Persistenz, Hostressourcen und Topologie. Das Seminar ersetzt ungerichtetes Tuning durch eine messbare Vorgehensweise aus Lastmodell, Baseline, kontrollierten Experimenten und belastbarer Kapazitätsplanung.

Inhaltsübersicht

1. Lernziele und fachliche Einordnung
2. Lastmodell, Ziele und Messplan
3. Baseline und Benchmarkmethodik
4. Clientzugriff, Pipelining und Netzwerk
5. Datenmodell und Befehlsökonomie
6. Speicher, TTL und Eviction
7. Persistenz, Fork und I/O
8. CPU, Threading und Hosttuning
9. Replikation, Cluster und Skalierung
10. Kapazitätsmodell und Überlastschutz
11. Praxislabor
12. Zielgruppe, Voraussetzungen und Arbeitsweise

Lernziele

Kapitelübersicht: Ein realistisches Last- und Leistungsmodell für Valkey-Workloads erstellen; Benchmarks reproduzierbar planen und Messfehler vermeiden; Clientzugriff, Datenmodell, Speicher und Persistenz gezielt optimieren; CPU-, Netzwerk-, I/O- und Topologiegrenzen sicher diagnostizieren.

• Ein realistisches Last- und Leistungsmodell für Valkey-Workloads erstellen.
• Benchmarks reproduzierbar planen und Messfehler vermeiden.
• Clientzugriff, Datenmodell, Speicher und Persistenz gezielt optimieren.
• CPU-, Netzwerk-, I/O- und Topologiegrenzen sicher diagnostizieren.
• Kapazitätsreserve, Skalierungszeitpunkt und Überlastschutz quantitativ bestimmen.

Kapitel 1: Lastmodell, Ziele und Messplan

Kapitelübersicht: Befehlsmix, Objektgrößen, Parallelität, Burstlast und Wachstumsrate erfassen; Latenzperzentile, Durchsatz, Fehlerrate und Ressourcenbudget als Ziele definieren; Warm-up, Laufzeit, Wiederholungen und Kontrollvariablen für Tests festlegen; Produktionsrisiken und zulässige Testgrenzen dokumentieren.

• Befehlsmix, Objektgrößen, Parallelität, Burstlast und Wachstumsrate erfassen.
• Latenzperzentile, Durchsatz, Fehlerrate und Ressourcenbudget als Ziele definieren.
• Warm-up, Laufzeit, Wiederholungen und Kontrollvariablen für Tests festlegen.
• Produktionsrisiken und zulässige Testgrenzen dokumentieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Befehlsmix, Objektgrößen, Parallelität, Burstlast und Wachstumsrate erfassen.
2. Konfiguration oder Implementierung aufbauen: Latenzperzentile, Durchsatz, Fehlerrate und Ressourcenbudget als Ziele definieren.
3. Normal-, Grenz- und Fehlerfall prüfen: Warm-up, Laufzeit, Wiederholungen und Kontrollvariablen für Tests festlegen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Produktionsrisiken und zulässige Testgrenzen dokumentieren.

Kapitel 2: Baseline und Benchmarkmethodik

Kapitelübersicht: Testumgebung, CPU, Speicher, Netzwerk, Persistenz und Clienthost eindeutig beschreiben; Leerlauf-, Einzellast- und Zielprofilmessung getrennt durchführen; Messpunkte für Client, Server und Betriebssystem zeitlich synchronisieren; Ergebnisse mit Streuung, Perzentilen und Engpasshypothese auswerten.

• Testumgebung, CPU, Speicher, Netzwerk, Persistenz und Clienthost eindeutig beschreiben.
• Leerlauf-, Einzellast- und Zielprofilmessung getrennt durchführen.
• Messpunkte für Client, Server und Betriebssystem zeitlich synchronisieren.
• Ergebnisse mit Streuung, Perzentilen und Engpasshypothese auswerten.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Testumgebung, CPU, Speicher, Netzwerk, Persistenz und Clienthost eindeutig beschreiben.
2. Konfiguration oder Implementierung aufbauen: Leerlauf-, Einzellast- und Zielprofilmessung getrennt durchführen.
3. Normal-, Grenz- und Fehlerfall prüfen: Messpunkte für Client, Server und Betriebssystem zeitlich synchronisieren.
4. Betriebsentscheidung und Prüfnachweis festhalten: Ergebnisse mit Streuung, Perzentilen und Engpasshypothese auswerten.

Kapitel 3: Clientzugriff, Pipelining und Netzwerk

Kapitelübersicht: Verbindungspool, Parallelität, Timeouts und Backpressure auf das Lastprofil abstimmen; Pipelining und Batchgrößen gegen Latenz, Speicher und Fehlerwirkung messen; TLS-, Paket-, Bandbreiten- und Round-Trip-Kosten sichtbar machen; Retry-Stürme und unkontrollierte Lastverstärkung durch Clientregeln verhindern.

• Verbindungspool, Parallelität, Timeouts und Backpressure auf das Lastprofil abstimmen.
• Pipelining und Batchgrößen gegen Latenz, Speicher und Fehlerwirkung messen.
• TLS-, Paket-, Bandbreiten- und Round-Trip-Kosten sichtbar machen.
• Retry-Stürme und unkontrollierte Lastverstärkung durch Clientregeln verhindern.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Verbindungspool, Parallelität, Timeouts und Backpressure auf das Lastprofil abstimmen.
2. Konfiguration oder Implementierung aufbauen: Pipelining und Batchgrößen gegen Latenz, Speicher und Fehlerwirkung messen.
3. Normal-, Grenz- und Fehlerfall prüfen: TLS-, Paket-, Bandbreiten- und Round-Trip-Kosten sichtbar machen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Retry-Stürme und unkontrollierte Lastverstärkung durch Clientregeln verhindern.

Kapitel 4: Datenmodell und Befehlsökonomie

Kapitelübersicht: Objektgranularität, Schlüsselanzahl und Antwortgrößen nach Zugriffsmuster optimieren; Teure oder blockierende Operationen durch inkrementelle Verfahren ersetzen; Multi-Key- und serverseitige Logik auf Atomarität und Laufzeit prüfen; Hot Keys, große Collections und ungleichmäßige Last mit Designmaßnahmen reduzieren.

• Objektgranularität, Schlüsselanzahl und Antwortgrößen nach Zugriffsmuster optimieren.
• Teure oder blockierende Operationen durch inkrementelle Verfahren ersetzen.
• Multi-Key- und serverseitige Logik auf Atomarität und Laufzeit prüfen.
• Hot Keys, große Collections und ungleichmäßige Last mit Designmaßnahmen reduzieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Objektgranularität, Schlüsselanzahl und Antwortgrößen nach Zugriffsmuster optimieren.
2. Konfiguration oder Implementierung aufbauen: Teure oder blockierende Operationen durch inkrementelle Verfahren ersetzen.
3. Normal-, Grenz- und Fehlerfall prüfen: Multi-Key- und serverseitige Logik auf Atomarität und Laufzeit prüfen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Hot Keys, große Collections und ungleichmäßige Last mit Designmaßnahmen reduzieren.

Kapitel 5: Speicher, TTL und Eviction

Kapitelübersicht: Speicherbedarf aus Nutzdaten, Overhead, Fragmentierung und Puffern berechnen; TTL-Verteilung und Ablaufspitzen in Last- und Kapazitätsmodell aufnehmen; maxmemory und Eviction-Policy anhand fachlicher Verlusttoleranz wählen; Sicherheitsreserve für Fork, Replikation, Antworten und Wachstum festlegen.

• Speicherbedarf aus Nutzdaten, Overhead, Fragmentierung und Puffern berechnen.
• TTL-Verteilung und Ablaufspitzen in Last- und Kapazitätsmodell aufnehmen.
• maxmemory und Eviction-Policy anhand fachlicher Verlusttoleranz wählen.
• Sicherheitsreserve für Fork, Replikation, Antworten und Wachstum festlegen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Speicherbedarf aus Nutzdaten, Overhead, Fragmentierung und Puffern berechnen.
2. Konfiguration oder Implementierung aufbauen: TTL-Verteilung und Ablaufspitzen in Last- und Kapazitätsmodell aufnehmen.
3. Normal-, Grenz- und Fehlerfall prüfen: maxmemory und Eviction-Policy anhand fachlicher Verlusttoleranz wählen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Sicherheitsreserve für Fork, Replikation, Antworten und Wachstum festlegen.

Kapitel 6: Persistenz, Fork und I/O

Kapitelübersicht: RDB-, AOF- und Rewrite-Kosten unter realistischer Schreiblast messen; Fork-Zeit, Copy-on-Write und Datenträgerlatenz als separate Faktoren analysieren; fsync-Strategie und Datenverlustfenster gegen Latenzanforderungen abwägen; Hintergrundoperationen in Wartungs- und Kapazitätsplanung einordnen.

• RDB-, AOF- und Rewrite-Kosten unter realistischer Schreiblast messen.
• Fork-Zeit, Copy-on-Write und Datenträgerlatenz als separate Faktoren analysieren.
• fsync-Strategie und Datenverlustfenster gegen Latenzanforderungen abwägen.
• Hintergrundoperationen in Wartungs- und Kapazitätsplanung einordnen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: RDB-, AOF- und Rewrite-Kosten unter realistischer Schreiblast messen.
2. Konfiguration oder Implementierung aufbauen: Fork-Zeit, Copy-on-Write und Datenträgerlatenz als separate Faktoren analysieren.
3. Normal-, Grenz- und Fehlerfall prüfen: fsync-Strategie und Datenverlustfenster gegen Latenzanforderungen abwägen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Hintergrundoperationen in Wartungs- und Kapazitätsplanung einordnen.

Kapitel 7: CPU, Threading und Hosttuning

Kapitelübersicht: Server-CPU, I/O-Threads, Interrupts und Clientverarbeitung auseinanderhalten; NUMA, virtuelle CPU, Frequenzsteuerung und Containerlimits auf Stabilität prüfen; Dateideskriptoren, Backlog und Kernelpuffer ohne pauschales Überdimensionieren abstimmen; Hoständerungen einzeln messen und bei ausbleibender Wirkung zurücknehmen.

• Server-CPU, I/O-Threads, Interrupts und Clientverarbeitung auseinanderhalten.
• NUMA, virtuelle CPU, Frequenzsteuerung und Containerlimits auf Stabilität prüfen.
• Dateideskriptoren, Backlog und Kernelpuffer ohne pauschales Überdimensionieren abstimmen.
• Hoständerungen einzeln messen und bei ausbleibender Wirkung zurücknehmen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Server-CPU, I/O-Threads, Interrupts und Clientverarbeitung auseinanderhalten.
2. Konfiguration oder Implementierung aufbauen: NUMA, virtuelle CPU, Frequenzsteuerung und Containerlimits auf Stabilität prüfen.
3. Normal-, Grenz- und Fehlerfall prüfen: Dateideskriptoren, Backlog und Kernelpuffer ohne pauschales Überdimensionieren abstimmen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Hoständerungen einzeln messen und bei ausbleibender Wirkung zurücknehmen.

Kapitel 8: Replikation, Cluster und Skalierung

Kapitelübersicht: Replikationslast, Netzwerkreserve und Failoverkapazität in das Budget aufnehmen; Vertikale Skalierung, Sharding und Valkey Cluster nach Engpassart vergleichen; Slot- und Schlüsselverteilung auf Lastgleichheit statt nur Datenmenge prüfen; Skalierung mit Vorlaufzeit, Rebalancing-Risiko und Rückfallplan terminieren.

• Replikationslast, Netzwerkreserve und Failoverkapazität in das Budget aufnehmen.
• Vertikale Skalierung, Sharding und Valkey Cluster nach Engpassart vergleichen.
• Slot- und Schlüsselverteilung auf Lastgleichheit statt nur Datenmenge prüfen.
• Skalierung mit Vorlaufzeit, Rebalancing-Risiko und Rückfallplan terminieren.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Replikationslast, Netzwerkreserve und Failoverkapazität in das Budget aufnehmen.
2. Konfiguration oder Implementierung aufbauen: Vertikale Skalierung, Sharding und Valkey Cluster nach Engpassart vergleichen.
3. Normal-, Grenz- und Fehlerfall prüfen: Slot- und Schlüsselverteilung auf Lastgleichheit statt nur Datenmenge prüfen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Skalierung mit Vorlaufzeit, Rebalancing-Risiko und Rückfallplan terminieren.

Kapitel 9: Kapazitätsmodell und Überlastschutz

Kapitelübersicht: Nutzbare Kapazität aus Sättigungspunkt und definierter Sicherheitsreserve ableiten; Wachstumsprognose, saisonale Peaks und Ausfall eines Knotens berücksichtigen; Rate Limits, Queueing, Backpressure und degradierte Betriebsmodi planen; Kapazitätsbericht mit Messwerten, Annahmen, Schwellen und Maßnahmen erstellen.

• Nutzbare Kapazität aus Sättigungspunkt und definierter Sicherheitsreserve ableiten.
• Wachstumsprognose, saisonale Peaks und Ausfall eines Knotens berücksichtigen.
• Rate Limits, Queueing, Backpressure und degradierte Betriebsmodi planen.
• Kapazitätsbericht mit Messwerten, Annahmen, Schwellen und Maßnahmen erstellen.

Schritt-für-Schritt-Praxis

1. Ausgangslage und Zielkriterien erfassen: Nutzbare Kapazität aus Sättigungspunkt und definierter Sicherheitsreserve ableiten.
2. Konfiguration oder Implementierung aufbauen: Wachstumsprognose, saisonale Peaks und Ausfall eines Knotens berücksichtigen.
3. Normal-, Grenz- und Fehlerfall prüfen: Rate Limits, Queueing, Backpressure und degradierte Betriebsmodi planen.
4. Betriebsentscheidung und Prüfnachweis festhalten: Kapazitätsbericht mit Messwerten, Annahmen, Schwellen und Maßnahmen erstellen.

Praxislabor

Kapitelübersicht: Ein Lastmodell und einen reproduzierbaren Benchmarkplan für einen Beispielworkload erstellen; Pipelining, Objektgröße und Befehlsmix in kontrollierten Messreihen vergleichen; Persistenz- und Speicherwirkung unter Schreiblast messen und einen Engpassnachweis erstellen; Aus den Messdaten ein Kapazitätsmodell mit Reserve, Skalierungspunkt und Überlastmaßnahmen ableiten.

1. Ein Lastmodell und einen reproduzierbaren Benchmarkplan für einen Beispielworkload erstellen.
2. Pipelining, Objektgröße und Befehlsmix in kontrollierten Messreihen vergleichen.
3. Persistenz- und Speicherwirkung unter Schreiblast messen und einen Engpassnachweis erstellen.
4. Aus den Messdaten ein Kapazitätsmodell mit Reserve, Skalierungspunkt und Überlastmaßnahmen ableiten.

Zielgruppe, Voraussetzungen und Arbeitsweise

Kapitelübersicht: Zielgruppe: Performance Engineering, SRE, Plattformbetrieb, DevOps, Valkey-Administration, Softwarearchitektur und Anwendungsentwicklung; Voraussetzungen: Gute Valkey-Grundkenntnisse, Erfahrung mit Linux-Systemmetriken, Netzwerken und reproduzierbaren Leistungstests; Arbeitsweise: Fachvortrag, Demonstrationen, angeleitete Laboraufgaben, Fehleranalysen und dokumentierte Abnahmen.

Zielgruppe: Performance Engineering, SRE, Plattformbetrieb, DevOps, Valkey-Administration, Softwarearchitektur und Anwendungsentwicklung.

Voraussetzungen: Gute Valkey-Grundkenntnisse, Erfahrung mit Linux-Systemmetriken, Netzwerken und reproduzierbaren Leistungstests.

Arbeitsweise: Fachvortrag, technische Demonstrationen, strukturierte Schrittfolgen, praktische Übungen am System, kontrollierte Fehlerfälle und schriftliche Prüfpunkte.