Seminar Apache NiFi – Python-Prozessoren und Skripting

Python-Erweiterungen werden als reguläre, testbare NiFi-Komponenten entworfen und nicht als unkontrollierte Skriptsammlung. Ressourcenverbrauch, Abhängigkeiten und Fehlerpfade bleiben nachvollziehbar.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Python-Processor-Modell
• Properties und Expression Language
• FlowFile-Inhalt und Attribute
• Bibliotheken und Abhängigkeiten
• State, Nebenläufigkeit und Ressourcen
• Fehler und Logging
• Tests und Deployment
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind erforderlich, weil API-Modell, Datenverarbeitung, Dependency Management, Tests und Deployment praktisch programmiert und in einer NiFi-Laufzeit validiert werden.

Zielgruppe

Python-Entwicklung, Data Engineering, Integrationsentwicklung und Plattform-Engineering.

Voraussetzungen

Sichere Python-Kenntnisse und NiFi-Grundkenntnisse; Erfahrung mit virtuellen Umgebungen und Tests ist hilfreich.

Lernziele

• Python-Processor-Projekte strukturiert aufbauen.
• Properties und Relationships sauber definieren.
• FlowFile-Inhalt und Attribute sicher verarbeiten.
• Abhängigkeiten reproduzierbar verwalten.
• Fehler, Logging und Nebenläufigkeit beherrschen.
• Komponenten testen und kontrolliert deployen.

Seminarinhalte

1. Python-Processor-Modell

Die Erweiterung folgt dem NiFi-Komponentenvertrag mit eindeutigen Eingängen, Ausgängen und Konfigurationswerten.

1. Schritt 1: Einsatzgrenze gegenüber Standardprozessoren prüfen.
2. Schritt 2: Projekt- und Paketstruktur anlegen.
3. Schritt 3: Processor-Klasse und Metadaten definieren.
4. Schritt 4: Relationships und Properties planen.
5. Schritt 5: Komponente laden und in der Oberfläche verifizieren.

2. Properties und Expression Language

Konfiguration wird validiert und kann kontextbezogene Werte nutzen.

1. Schritt 1: Pflichtwerte und Standardwerte definieren.
2. Schritt 2: Sensitive Properties kennzeichnen.
3. Schritt 3: Validatoren und zulässige Werte festlegen.
4. Schritt 4: Expression-Language-Scope bestimmen.
5. Schritt 5: Fehlerhafte Konfiguration vor Start testen.

3. FlowFile-Inhalt und Attribute

Inhalt wird streamingorientiert und ohne unnötige Kopien verarbeitet.

1. Schritt 1: Attribute auslesen und normalisieren.
2. Schritt 2: Eingangsinhalt sicher öffnen.
3. Schritt 3: Transformation in begrenzten Speicherblöcken durchführen.
4. Schritt 4: Ausgabe und Attribute atomar schreiben.
5. Schritt 5: FlowFile an Success oder Failure übertragen.

4. Bibliotheken und Abhängigkeiten

Externe Python-Pakete werden versioniert, prüfbar und ohne Netzabhängigkeit im Produktionsstart bereitgestellt.

1. Schritt 1: Benötigte Pakete minimieren.
2. Schritt 2: Versionen festschreiben.
3. Schritt 3: Build- und Laufzeitabhängigkeiten trennen.
4. Schritt 4: Artefakt in isolierter Umgebung prüfen.
5. Schritt 5: Lizenz- und Sicherheitsprüfung im Freigabeprozess verankern.

5. State, Nebenläufigkeit und Ressourcen

Komponenten bleiben bei parallelen Tasks und Neustart deterministisch.

1. Schritt 1: State-Bedarf bestimmen.
2. Schritt 2: Lokalen oder clusterweiten Zustand wählen.
3. Schritt 3: Gemeinsame Objekte thread-sicher behandeln.
4. Schritt 4: Timeout und Speichergrenzen setzen.
5. Schritt 5: Parallelbetrieb und Neustart testen.

6. Fehler und Logging

Daten-, Konfigurations- und Systemfehler führen zu unterschiedlichen kontrollierten Pfaden.

1. Schritt 1: Fehlerklassen definieren.
2. Schritt 2: Logmeldungen mit Komponentenbezug schreiben.
3. Schritt 3: Sensitive Inhalte aus Logs ausschließen.
4. Schritt 4: Retry und Failure differenzieren.
5. Schritt 5: Fehlerattribute für nachgelagerte Behandlung ergänzen.

7. Tests und Deployment

Komponenten werden vor Freigabe automatisiert und in einer Referenzinstanz geprüft.

1. Schritt 1: Unit-Tests für Kernlogik erstellen.
2. Schritt 2: Testdaten und Grenzfälle definieren.
3. Schritt 3: Komponente paketieren.
4. Schritt 4: Deployment-Verzeichnis und Versionierung festlegen.
5. Schritt 5: Smoke-Test und Rückfall durchführen.

Praxisübungen

1. Minimalen Python-Prozessor erstellen.
2. JSON-Inhalt streamingorientiert transformieren.
3. Property mit Expression Language auswerten.
4. Fehler- und Retry-Pfade testen.
5. Versioniertes Deployment mit Rollback durchführen.

Anwendungsszenarien

• Spezielle Datenbereinigung
• Nutzung vorhandener Python-Bibliotheken
• Prototypischer Integrationsadapter
• Fachliche Validierung