Seminar Apache NiFi – Intensivseminar Entwicklung, Automatisierung und Edge

Das Intensivformat fasst die entwicklungs-, automatisierungs- und edgeorientierten Einzelseminare zusammen. Vom versionierten Flow über eigene Komponenten bis zum kontrollierten Deployment entsteht ein durchgängiges Engineering-Modell.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Tag 1: API, CLI und GitOps
• Tag 2: Python-Prozessoren
• Tag 3: Java-Prozessoren und Controller Services
• Tag 4: Container und Kubernetes
• Tag 5: MiNiFi und Edge Delivery
• Querschnitt: Qualität und Supply Chain
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Fünf Tage sind die maximale und notwendige Dauer, um API, GitOps, zwei Erweiterungsmodelle, Tests und verteilte Bereitstellung praktisch zu verbinden; spezialisierte Vertiefung erfolgt anschließend projektbezogen.

Zielgruppe

Integrations- und Softwareentwicklung, DevOps, Plattform-Engineering, Data Engineering, IoT-Engineering und technische Architektur.

Voraussetzungen

Sichere NiFi-Grundkenntnisse, Git, HTTP und mindestens eine Programmiersprache; für Java-Labore sind Java- und Maven-Grundlagen erforderlich.

Lernziele

• Flows über API und CLI automatisieren.
• Git-basierte Versionierung und Promotion umsetzen.
• Python-Prozessoren entwickeln und testen.
• Java-Prozessoren und Controller Services erstellen.
• Artefakte in Container- und Kubernetes-Umgebungen bereitstellen.
• MiNiFi-Agenten sicher konfigurieren und ausrollen.

Seminarinhalte

1. Tag 1: API, CLI und GitOps

Revisionssichere Automatisierung, Parameter und Git-basierte Flow-Versionierung bilden die Delivery-Grundlage.

1. Schritt 1: API-Zugriff und Revisionen verwenden.
2. Schritt 2: CLI-Profile und Betriebsaktionen skripten.
3. Schritt 3: Parameter und Secrets trennen.
4. Schritt 4: Flow in Git versionieren.
5. Schritt 5: Promotion und Rollback automatisieren.

2. Tag 2: Python-Prozessoren

Python-Komponenten werden als validierte, testbare und ressourcenbewusste NiFi-Erweiterungen umgesetzt.

1. Schritt 1: Projektstruktur und Processor-Metadaten anlegen.
2. Schritt 2: Properties und Relationships definieren.
3. Schritt 3: FlowFile-Inhalt und Attribute verarbeiten.
4. Schritt 4: Abhängigkeiten festschreiben.
5. Schritt 5: Tests, Paketierung und Deployment durchführen.

3. Tag 3: Java-Prozessoren und Controller Services

Java, Maven und NAR werden für robuste Plattformerweiterungen eingesetzt.

1. Schritt 1: NAR-Projekt strukturieren.
2. Schritt 2: Processor-Lebenszyklus implementieren.
3. Schritt 3: ProcessSession streamingfähig verwenden.
4. Schritt 4: Controller Service entwickeln.
5. Schritt 5: State, Nebenläufigkeit und TestRunner prüfen.

4. Tag 4: Container und Kubernetes

Flow, Konfiguration, Secrets, Storage und Health-Signale werden in eine automatisierbare Plattformbereitstellung überführt.

1. Schritt 1: Container-Image und Runtime-Parameter bewerten.
2. Schritt 2: Persistente Pfade und Secrets zuordnen.
3. Schritt 3: Deployment und Service konfigurieren.
4. Schritt 4: Readiness, Liveness und Ressourcenlimits setzen.
5. Schritt 5: Rolling Update und Rückfall testen.

5. Tag 5: MiNiFi und Edge Delivery

Zentrale Engineering-Standards werden auf ressourcenbegrenzte Edge-Agenten übertragen.

1. Schritt 1: Edge-Flow und Datenvertrag entwerfen.
2. Schritt 2: MiNiFi-Agent installieren.
3. Schritt 3: TLS-gesichertes Site-to-Site einrichten.
4. Schritt 4: Offline-Pufferung testen.
5. Schritt 5: Versionierten Flottenrollout und Rollback durchführen.

6. Querschnitt: Qualität und Supply Chain

Code, Flow, Abhängigkeiten und Deployment erhalten einheitliche Qualitäts- und Freigabenachweise.

1. Schritt 1: Code- und Flow-Analyse einplanen.
2. Schritt 2: Abhängigkeiten und Artefakte versionieren.
3. Schritt 3: Tests und Smoke-Checks automatisieren.
4. Schritt 4: Secrets aus Logs und Repositories fernhalten.
5. Schritt 5: Commit, Build, Deployment und Ergebnis korrelieren.

Praxisübungen

1. API- und CLI-Automatisierung erstellen.
2. GitOps-Promotion mit Rollback durchführen.
3. Python-Prozessor entwickeln.
4. Java-Processor mit Controller Service testen.
5. Container- und MiNiFi-Rollout automatisieren.

Anwendungsszenarien

• Enterprise-Integration als Code
• Eigene Protokolladapter
• Automatisierte Plattformbereitstellung
• Edge- und IoT-Flotten