Seminar Apache NiFi – Performance-Tuning und Troubleshooting

Tuning beginnt nicht mit beliebigen Schaltern, sondern mit einer belastbaren Baseline. Flow-Design, Scheduler, Storage, JVM, Netzwerk und externe Systeme werden systematisch voneinander abgegrenzt.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Baseline und Lastmodell
• Flow- und Queue-Analyse
• Scheduler und Parallelität
• Back Pressure und Priorisierung
• Repositories, JVM und Betriebssystem
• Netzwerk und externe Systeme
• Troubleshooting-Methodik
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind notwendig, um Messmethodik, Flow- und Plattformtuning sowie mehrere realistische Fehlerklassen unter kontrollierter Last zu bearbeiten.

Zielgruppe

NiFi-Administration, Plattform-Engineering, SRE, DevOps und erfahrene Integrationsentwicklung.

Voraussetzungen

Sichere NiFi-Betriebskenntnisse, Linux- oder Servergrundlagen sowie Verständnis von CPU, RAM, Storage und Netzwerk.

Lernziele

• Eine reproduzierbare Leistungsmessung aufbauen.
• Flow- und Scheduler-Engpässe erkennen.
• Repositories und JVM anhand von Messwerten abstimmen.
• Back Pressure und Priorisierung gezielt einsetzen.
• Thread Dumps, Logs und Statusdaten korrelieren.
• Änderungen mit Vorher-Nachher-Nachweis absichern.

Seminarinhalte

1. Baseline und Lastmodell

Leistungsziele werden mit Datenmenge, Dateigröße, Parallelität und Zielsystem beschrieben.

1. Schritt 1: Soll-Durchsatz und zulässige Latenz festlegen.
2. Schritt 2: Nachrichtenprofil und Spitzenlast erfassen.
3. Schritt 3: Messpunkte und Zeitfenster definieren.
4. Schritt 4: Testdaten reproduzierbar erzeugen.
5. Schritt 5: Baseline ohne Tuning aufzeichnen.

2. Flow- und Queue-Analyse

Engpässe werden entlang des Datenpfads und nicht nur am langsamsten sichtbaren Prozessor gesucht.

1. Schritt 1: Queue-Wachstum und Alter verfolgen.
2. Schritt 2: Processor-Laufzeit und Tasks vergleichen.
3. Schritt 3: Batch- und Fragmentierungsverhalten prüfen.
4. Schritt 4: Penalization und Yield beobachten.
5. Schritt 5: Limitierenden Abschnitt isolieren.

3. Scheduler und Parallelität

Concurrent Tasks und Scheduling Period werden nur im Verhältnis zu CPU, I/O und Zielsystem erhöht.

1. Schritt 1: Prozessorart und Ressourcenprofil einordnen.
2. Schritt 2: Ausgangswerte dokumentieren.
3. Schritt 3: Parallelität schrittweise erhöhen.
4. Schritt 4: Durchsatz, CPU und Fehlerquote vergleichen.
5. Schritt 5: Sättigungspunkt und sichere Reserve festlegen.

4. Back Pressure und Priorisierung

Queues begrenzen Schaden und steuern die Reihenfolge kritischer Daten.

1. Schritt 1: Objekt- und Byte-Grenzen bestimmen.
2. Schritt 2: Priorisierungsregel auswählen.
3. Schritt 3: Langsames Zielsystem simulieren.
4. Schritt 4: Rückstau und Upstream-Verhalten prüfen.
5. Schritt 5: Warnschwelle und Betriebsaktion dokumentieren.

5. Repositories, JVM und Betriebssystem

Storage-Latenz und Speicherverhalten werden anhand konkreter Messwerte beurteilt.

1. Schritt 1: Repository-I/O und Füllstand messen.
2. Schritt 2: Log- und Datenpfade auf Konkurrenz prüfen.
3. Schritt 3: Heap und Garbage-Collection-Indikatoren auswerten.
4. Schritt 4: Dateideskriptoren und Limits kontrollieren.
5. Schritt 5: Eine Änderung isoliert umsetzen und erneut messen.

6. Netzwerk und externe Systeme

Viele scheinbare NiFi-Probleme entstehen durch DNS, TLS, Broker, Datenbank oder API.

1. Schritt 1: Verbindungsaufbau und Roundtrip messen.
2. Schritt 2: Timeouts und Poolgrößen prüfen.
3. Schritt 3: Zielsystemkapazität mit NiFi-Parallelität vergleichen.
4. Schritt 4: Netzwerkfehler gezielt simulieren.
5. Schritt 5: Retry und Circuit-Breaker-Verhalten bewerten.

7. Troubleshooting-Methodik

Störungen werden über Symptom, Hypothese, Messung, Änderung und Verifikation bearbeitet.

1. Schritt 1: Zeitfenster und Auswirkung festhalten.
2. Schritt 2: Betroffene und gesunde Vergleichsflüsse bestimmen.
3. Schritt 3: Logs, Bulletins, Metriken und Thread Dumps korrelieren.
4. Schritt 4: Hypothesen nach Evidenz priorisieren.
5. Schritt 5: Ursache, Maßnahme und Prävention dokumentieren.

Praxisübungen

1. Baseline unter definierter Last messen.
2. Parallelität bis zum Sättigungspunkt abstimmen.
3. Back Pressure bei langsamem Ziel testen.
4. Repository- oder JVM-Engpass isolieren.
5. Komplexe Störung mit Hypothesenprotokoll analysieren.

Anwendungsszenarien

• Hoher Queue-Rückstau
• Schwankender Durchsatz
• Lange Garbage-Collection-Phasen
• Langsame Datenbank- oder Brokerziele