Seminar Apache NiFi – Administration und sicherer Betrieb

Der Schwerpunkt liegt auf einem reproduzierbaren NiFi-2-Betrieb mit klaren Verzeichnissen, Kapazitätsgrenzen, Zuständigkeiten und Wiederherstellungswegen. Störungen werden nicht nur behoben, sondern anhand dokumentierter Kontrollpunkte eingegrenzt.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Betriebsarchitektur und Rollen
• Installation und Grundkonfiguration
• Repositories und Kapazität
• Parameter und Konfigurationsänderungen
• Regelbetrieb und Wartung
• Backup und Wiederherstellung
• Upgrade und Änderungsmanagement
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind notwendig, weil Installation, Repository-Verhalten, Regelbetrieb, Sicherung und Wiederherstellung in getrennten Laborphasen aufgebaut, geprüft und dokumentiert werden müssen.

Zielgruppe

Systemadministration, Plattformbetrieb, DevOps, technische Anwendungsbetreuung und Betriebsverantwortung.

Voraussetzungen

Sichere Server-, Dateisystem- und Netzwerkgrundlagen; erste NiFi-Bedienkenntnisse sind hilfreich.

Lernziele

• NiFi-Architektur und Betriebsgrenzen einordnen.
• Eine NiFi-2-Instanz mit Java 21 strukturiert installieren.
• Repositories, Zustände und Parameter kontrolliert betreiben.
• Wartungs- und Sicherungsverfahren als Runbook festhalten.
• Störungen anhand von Logs, Bulletins und Queues eingrenzen.
• Upgrade und Rückfall kontrolliert planen.

Seminarinhalte

1. Betriebsarchitektur und Rollen

Technische Bausteine werden in ein belastbares Betriebsmodell überführt.

1. Schritt 1: Instanz, Repositories, Zustände und Controller Services erfassen.
2. Schritt 2: Abhängigkeiten zu Runtime, Storage, DNS und Zeitdienst dokumentieren.
3. Schritt 3: Rollen für Konfiguration, Freigabe, Betrieb und Wiederherstellung festlegen.
4. Schritt 4: Verzeichnis-, Port- und Namenskonventionen definieren.
5. Schritt 5: Mindestinhalt eines Betriebshandbuchs festhalten.

2. Installation und Grundkonfiguration

Die Installation wird reproduzierbar und mit getrennten Datenpfaden umgesetzt.

1. Schritt 1: Java-21-Laufzeit und Systemvoraussetzungen prüfen.
2. Schritt 2: Programm-, Konfigurations-, Log- und Datenverzeichnisse planen.
3. Schritt 3: Bootstrap- und NiFi-Eigenschaften konfigurieren.
4. Schritt 4: Dienstkonto und Dateiberechtigungen einrichten.
5. Schritt 5: Erststart, Webzugriff und Logs validieren.

3. Repositories und Kapazität

FlowFile-, Content- und Provenance-Repository werden nach ihrem jeweiligen I/O- und Aufbewahrungsprofil behandelt.

1. Schritt 1: Repository-Pfade und Archivierung lokalisieren.
2. Schritt 2: Datenrate und freie Kapazitätsreserve berechnen.
3. Schritt 3: Warnschwellen für Füllstand und I/O-Latenz festlegen.
4. Schritt 4: Lokalen und clusterweiten State unterscheiden.
5. Schritt 5: Wiederanlauf mit einem kontrollierten Testfluss prüfen.

4. Parameter und Konfigurationsänderungen

Umgebungswerte und Geheimnisse werden von der Flow-Logik getrennt.

1. Schritt 1: Parameterkontexte nach Anwendung und Umgebung strukturieren.
2. Schritt 2: Sensitive Werte kennzeichnen.
3. Schritt 3: Parameter Provider fachlich einordnen.
4. Schritt 4: Aktivierungsreihenfolge von Services und Prozessoren festlegen.
5. Schritt 5: Änderung, Rückfallwert und Freigabe protokollieren.

5. Regelbetrieb und Wartung

Tägliche Kontrollen und geplante Wartung werden standardisiert.

1. Schritt 1: Status, Queues, Bulletins und Controller Services prüfen.
2. Schritt 2: Logrotation und Aufbewahrung kontrollieren.
3. Schritt 3: Wartung mit Stoppen, Entleeren oder Offload vorbereiten.
4. Schritt 4: Störung nach Zeitfenster, Prozessgruppe und Datenmenge erfassen.
5. Schritt 5: Betriebsjournal und offene Restpunkte fortschreiben.

6. Backup und Wiederherstellung

Konfiguration, Flow-Definition, Schlüsselmaterial und Nachweise werden konsistent gesichert.

1. Schritt 1: Sicherungsumfang und Ausschlüsse definieren.
2. Schritt 2: Konsistenzpunkt betrieblich herstellen.
3. Schritt 3: Sicherung erzeugen und Prüfsummen kontrollieren.
4. Schritt 4: Wiederherstellung in einer getrennten Instanz durchführen.
5. Schritt 5: Funktionstest und Abnahmeprotokoll erstellen.

7. Upgrade und Änderungsmanagement

Updates folgen Vorprüfung, Test, Freigabe, Durchführung und Rückfall.

1. Schritt 1: Kompatibilität von Java, Erweiterungen und Konfiguration prüfen.
2. Schritt 2: Ist-Zustand und Rückfallkriterien dokumentieren.
3. Schritt 3: Upgrade zunächst in einer Testumgebung ausführen.
4. Schritt 4: Flows, Services, State und Repositories validieren.
5. Schritt 5: Produktivänderung mit Nachkontrolle abschließen.

Praxisübungen

1. Einzelinstanz mit getrennten Datenpfaden aufbauen.
2. Repository-Wachstum unter Last beobachten.
3. Störung aus Log, Bulletin und Queue diagnostizieren.
4. Konfiguration sichern und wiederherstellen.
5. Upgrade- und Rollback-Runbook erstellen.

Anwendungsszenarien

• Zentraler Integrationsdienst
• Mandantengetrennter Plattformbetrieb
• Kontrollierte Produktionsübernahme
• Wiederanlauf nach Plattformstörung