Seminar Apache NiFi – Container, Docker und Kubernetes

Container vereinfachen die Bereitstellung, ersetzen aber kein Betriebsmodell für Repositories, Zertifikate und Zustände. Aus diesen Anforderungen wird eine tragfähige Containerarchitektur entwickelt.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Containerarchitektur
• Docker-Image und lokaler Betrieb
• Persistenter Storage
• Konfiguration, Zertifikate und Secrets
• Kubernetes-Netzwerk und Cluster
• Ressourcen und Health
• Rollout und Wiederherstellung
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind erforderlich, weil Image-Aufbau, persistente Speicherung, sichere Identitäten und orchestrierter Mehrknotenbetrieb getrennt aufgebaut und in einem vollständigen Rollout getestet werden.

Zielgruppe

DevOps, Kubernetes- und Containerbetrieb, NiFi-Administration sowie Cloud- und Plattformarchitektur.

Voraussetzungen

NiFi-Administrationsgrundlagen, Docker-Grundkenntnisse und Basiswissen zu Kubernetes, Storage und Secrets.

Lernziele

• NiFi als Stateful Workload einordnen.
• Images und Erweiterungen reproduzierbar bauen.
• Repositories persistent betreiben.
• Zertifikate und Secrets sicher injizieren.
• Kubernetes-Netzwerk und Cluster planen.
• Rollout und Recovery kontrollieren.

Seminarinhalte

1. Containerarchitektur

Image, Konfiguration, persistente Daten und externe Dienste werden getrennt.

1. Schritt 1: Veränderliche und unveränderliche Bestandteile klassifizieren.
2. Schritt 2: Image, Config, Volumes und Runtime-Parameter trennen.
3. Schritt 3: Repository- und State-Anforderungen dokumentieren.
4. Schritt 4: DNS-, Zeit- und Netzwerkabhängigkeiten erfassen.
5. Schritt 5: Container- und NiFi-Lebenszyklus abgrenzen.

2. Docker-Image und lokaler Betrieb

Ein nachvollziehbares Image enthält nur benötigte Erweiterungen.

1. Schritt 1: Basisimage und NiFi-Version festlegen.
2. Schritt 2: NARs und Treiber kontrolliert einbinden.
3. Schritt 3: Secrets außerhalb des Images halten.
4. Schritt 4: Volumes für Konfiguration und Repositories zuordnen.
5. Schritt 5: Persistenz nach Neustart verifizieren.

3. Persistenter Storage

Storage wird nach I/O-Profil, Latenz und Ausfallwirkung ausgewählt.

1. Schritt 1: Repositories getrennt bewerten.
2. Schritt 2: Volume-Größe und Zugriffstyp definieren.
3. Schritt 3: Pod-Neustart und erneute Zuordnung testen.
4. Schritt 4: Füllstand und I/O-Latenz überwachen.
5. Schritt 5: Backup mit Storage-Modell abstimmen.

4. Konfiguration, Zertifikate und Secrets

Identitäten und Geheimnisse bleiben außerhalb offen lesbarer Images und Manifeste.

1. Schritt 1: Nicht sensitive Config extern bereitstellen.
2. Schritt 2: Keystore und Truststore als Secret einbinden.
3. Schritt 3: Dateirechte und Mounts prüfen.
4. Schritt 4: Pod-spezifische Knotenidentität planen.
5. Schritt 5: Secret-Rotation mit Neustart testen.

5. Kubernetes-Netzwerk und Cluster

Stabile Namen, Services und Portbeziehungen ermöglichen Clusterkommunikation.

1. Schritt 1: Stabile Pod-Namen und Headless Service planen.
2. Schritt 2: Web-, Cluster- und Site-to-Site-Ports trennen.
3. Schritt 3: Koordinationsdienst anbinden.
4. Schritt 4: Knoten nacheinander verbinden.
5. Schritt 5: Admin- und Datenpfad getrennt testen.

6. Ressourcen und Health

Limits, JVM-Heap, Repository-I/O und Startzeit müssen zusammenpassen.

1. Schritt 1: Requests und Limits aus dem Lastprofil ableiten.
2. Schritt 2: Startup-, Readiness- und Liveness-Prüfung definieren.
3. Schritt 3: Logs und Metriken anbinden.
4. Schritt 4: CPU-Drosselung und langsame Volumes erkennen.
5. Schritt 5: Alarmschwellen dokumentieren.

7. Rollout und Wiederherstellung

Änderungen werden mit Clusterzustand und Persistenz abgestimmt.

1. Schritt 1: Vorprüfung und Sicherung durchführen.
2. Schritt 2: Pod für Pod aktualisieren.
3. Schritt 3: Clusterstatus nach jedem Schritt prüfen.
4. Schritt 4: Fehlerhaften Rollout zurücknehmen.
5. Schritt 5: Recovery nach Pod- und Node-Ausfall dokumentieren.

Praxisübungen

1. Persistente Docker-Instanz aufbauen.
2. Secrets außerhalb des Images einbinden.
3. Mehrknotenbereitstellung konfigurieren.
4. Storage- und Ressourcenlimits beobachten.
5. Rolling Update und Rollback durchführen.

Anwendungsszenarien

• Private Cloud
• Standardisierte Dev-Test-Prod-Bereitstellung
• Kubernetes-Plattform
• Containerbasierte Recovery-Umgebung