Seminar Apache NiFi – Expression Language, RecordPath und Transformation

Von einfachen Attributausdrücken bis zu schemaorientierten Record-Transformationen entsteht ein konsistenter Werkzeugkasten. Wartbare Logik ersetzt unnötiges Splitten und schwer prüfbare Skriptfragmente.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• FlowFile und Auswertungskontext
• Expression-Language-Grundlagen
• Routing und dynamische Werte
• Reader, Writer und Schema
• RecordPath lesen und filtern
• RecordPath ändern und anreichern
• QueryRecord und komplexe Transformation
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind erforderlich, weil Expression Language, RecordPath und Record-Prozessoren unterschiedliche Auswertungskontexte besitzen und in umfangreichen Übungen kombiniert werden.

Zielgruppe

NiFi-Entwicklung, Data Engineering, Integrationsentwicklung, technische Key-User und Datenarchitektur.

Voraussetzungen

NiFi-Grundkenntnisse und sicherer Umgang mit mindestens einem strukturierten Format wie JSON, CSV oder XML.

Lernziele

• Inhalt und Attribute unterscheiden.
• Expression-Language-Ausdrücke lesbar formulieren.
• Reader, Writer und Schema kombinieren.
• RecordPath für Auswahl und Änderung einsetzen.
• Record-Prozessoren für Abfrage und Transformation nutzen.
• Ausdrucks- und Schemafehler diagnostizieren.

Seminarinhalte

1. FlowFile und Auswertungskontext

Jeder Ausdruck benötigt Klarheit über Attribute, Parameter und Datensatzfelder.

1. Schritt 1: Inhalt und Standardattribute unterscheiden.
2. Schritt 2: Eigene Attribute setzen.
3. Schritt 3: Auswertungskontext einer Property prüfen.
4. Schritt 4: Parameterreferenzen von Expression Language trennen.
5. Schritt 5: Debug-Attribute anschließend minimieren.

2. Expression-Language-Grundlagen

Referenzen, Funktionen, Verkettungen und Bedingungen werden schrittweise aufgebaut.

1. Schritt 1: Einfache Attributersetzung erstellen.
2. Schritt 2: String-, Zahlen- und Datumsfunktionen einsetzen.
3. Schritt 3: Null- und Leerwerte behandeln.
4. Schritt 4: Logische Bedingungen verbinden.
5. Schritt 5: Komplexe Ausdrücke über Zwischenattribute gliedern.

3. Routing und dynamische Werte

Routing, Dateinamen, Pfade und Partitionen werden aus nachvollziehbaren Ausdrücken abgeleitet.

1. Schritt 1: RouteOnAttribute konfigurieren.
2. Schritt 2: Zielpfad und Dateiname ableiten.
3. Schritt 3: Regex und Vergleiche mit Grenzfällen testen.
4. Schritt 4: Fallback-Beziehung vorsehen.
5. Schritt 5: Testwerte dokumentieren.

4. Reader, Writer und Schema

Record-Verarbeitung entkoppelt Datenformat und fachliche Logik.

1. Schritt 1: Reader für das Eingangsformat konfigurieren.
2. Schritt 2: Writer für das Zielformat anlegen.
3. Schritt 3: Inferenz und explizites Schema vergleichen.
4. Schritt 4: Datentypen und fehlende Felder prüfen.
5. Schritt 5: Konvertierung ohne Einzel-FlowFiles durchführen.

5. RecordPath lesen und filtern

RecordPath adressiert Felder, Arrays und verschachtelte Strukturen.

1. Schritt 1: Einfache und verschachtelte Pfade formulieren.
2. Schritt 2: Arrayelemente und Prädikate auswählen.
3. Schritt 3: Existenz und Wertebereich prüfen.
4. Schritt 4: RecordPath im Prozessorkontext einsetzen.
5. Schritt 5: Fehlende und mehrfache Treffer behandeln.

6. RecordPath ändern und anreichern

Felder werden gezielt aktualisiert, abgeleitet, maskiert oder entfernt.

1. Schritt 1: UpdateRecord mit statischem Wert konfigurieren.
2. Schritt 2: Wert aus mehreren Feldern ableiten.
3. Schritt 3: Datentyp kontrolliert konvertieren.
4. Schritt 4: Unerwünschte Felder maskieren.
5. Schritt 5: Ergebnis gegen Zielschema validieren.

7. QueryRecord und komplexe Transformation

SQL-ähnliche Abfragen ergänzen RecordPath bei Filter, Projektion und Gruppierung.

1. Schritt 1: Abfrage für Filter und Projektion erstellen.
2. Schritt 2: Mehrere Ausgabebeziehungen erzeugen.
3. Schritt 3: JSON- oder XML-Struktur anpassen.
4. Schritt 4: Fehlerhafte Records separat ausgeben.
5. Schritt 5: Klein-, Grenz- und Massendaten testen.

Praxisübungen

1. Attributbasiertes Routing erstellen.
2. CSV in JSON als Records konvertieren.
3. Verschachtelte Felder filtern und maskieren.
4. QueryRecord für mehrere Ausgaben einsetzen.
5. Transformationsfluss mit Grenzfällen testen.

Anwendungsszenarien

• Formatkonvertierung
• Routing nach Inhalt
• API-Aufbereitung
• Datenmaskierung und Anreicherung