Seminar Apache NiFi – Grundlagen und Datenflussdesign

Ein belastbares mentales Modell wird unmittelbar in mehreren Datenflüssen angewendet. Neben der Bedienung stehen Wartbarkeit, Rückstaukontrolle und nachvollziehbare Fehlerbehandlung im Mittelpunkt.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Architektur und Grundbegriffe
• Oberfläche und erster Flow
• Scheduling, Queues und Back Pressure
• Prozessgruppen und Ports
• Controller Services und Parameter
• Records und Transformation
• Monitoring, Provenance und Fehlerpfad
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind notwendig, weil Grundlagen, Record-Verarbeitung und ein vollständiger produktionsnaher Flow mit Überwachung und Fehlerpfaden praktisch aufgebaut werden.

Zielgruppe

Einsteiger in Datenintegration, Data Engineering, Anwendungsintegration, Systemadministration und technische Key-User.

Voraussetzungen

Grundkenntnisse in Dateiformaten, Verzeichnissen, Netzwerkkommunikation und Datenverarbeitung; keine Programmierkenntnisse erforderlich.

Lernziele

• Architektur und FlowFile-Modell erklären.
• Prozessoren, Verbindungen und Queues konfigurieren.
• Scheduling und Back Pressure anwenden.
• Services und Parameter einsetzen.
• Records transformieren.
• Status und Provenance für Fehleranalyse nutzen.

Seminarinhalte

1. Architektur und Grundbegriffe

NiFi wird als Plattform für ereignis- und datenstromorientierte Verarbeitung eingeordnet.

1. Schritt 1: FlowFile, Content und Attribute unterscheiden.
2. Schritt 2: Processor, Connection und Relationship zuordnen.
3. Schritt 3: Process Group, Port und Controller Service einordnen.
4. Schritt 4: Repositories und Provenance markieren.
5. Schritt 5: Einsatzgrenzen zu Batchcode und Broker festhalten.

2. Oberfläche und erster Flow

Ein einfacher Dateifluss schafft die Grundlage für Konfiguration und Statuskontrolle.

1. Schritt 1: Navigation und Komponentenleiste erkunden.
2. Schritt 2: Prozessgruppe anlegen.
3. Schritt 3: Eingangs- und Ausgangsprozessor platzieren.
4. Schritt 4: Beziehungen verbinden.
5. Schritt 5: Flow validieren, starten und Ergebnis prüfen.

3. Scheduling, Queues und Back Pressure

Durchsatz und Stabilität entstehen aus bewusst gesetzten Grenzen.

1. Schritt 1: Scheduling-Varianten unterscheiden.
2. Schritt 2: Concurrent Tasks einordnen.
3. Schritt 3: Objekt- und Größenlimit setzen.
4. Schritt 4: Queue-Priorisierung testen.
5. Schritt 5: Rückstau erzeugen und kontrolliert abbauen.

4. Prozessgruppen und Ports

Fachliche Teilprozesse erhalten klare Schnittstellen.

1. Schritt 1: Flow in Teilprozesse zerlegen.
2. Schritt 2: Input- und Output-Port definieren.
3. Schritt 3: Prozessgruppenbeschreibungen ergänzen.
4. Schritt 4: Umgebungswerte aus dem Flow lösen.
5. Schritt 5: Teilprozess für Versionierung vorbereiten.

5. Controller Services und Parameter

Gemeinsame Dienste und Werte werden zentral konfiguriert.

1. Schritt 1: Controller Service anlegen.
2. Schritt 2: Abhängige Prozessoren verbinden.
3. Schritt 3: Parameterkontext erstellen.
4. Schritt 4: Sensitive Werte trennen.
5. Schritt 5: Aktivierungsreihenfolge testen.

6. Records und Transformation

Strukturierte Daten werden ohne unnötige Textoperationen verarbeitet.

1. Schritt 1: Reader und Writer für CSV und JSON anlegen.
2. Schritt 2: Schema-Inferenz und explizites Schema vergleichen.
3. Schritt 3: Felder auswählen und typisieren.
4. Schritt 4: Ungültige Records trennen.
5. Schritt 5: Batchverarbeitung kontrollieren.

7. Monitoring, Provenance und Fehlerpfad

Ein produktionsnaher Flow besitzt erkennbare Fehlerzustände und überprüfbare Datenwege.

1. Schritt 1: Status und Queue-Größe auswerten.
2. Schritt 2: Bulletin Board prüfen.
3. Schritt 3: Provenance-Ereignis und Lineage öffnen.
4. Schritt 4: Retry und Quarantäne unterscheiden.
5. Schritt 5: End-to-End-Test und Kurzdokumentation erstellen.

Praxisübungen

1. Ersten Dateifluss aufbauen.
2. Prozessgruppe mit Parametern und Service strukturieren.
3. CSV als Records in JSON umwandeln.
4. Back Pressure beobachten.
5. Provenance und Quarantäne für einen Fehlerfall nutzen.

Anwendungsszenarien

• Datei- und Schnittstellenintegration
• Datenvorbereitung für Analytics
• Entkopplung heterogener Systeme
• Aufbau einer Datenflussplattform