Seminar Apache NiFi – Intensivseminar Datenflüsse, Integration und Governance

Das Intensivformat fasst alle fachlich und integrationsorientierten Einzelseminare zusammen. Ein Datenfluss wird von der Quelle über Validierung, Transformation und Verteilung bis zum Audit- und Wiederanlaufnachweis aufgebaut.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Tag 1: Grundlagen und Flow-Design
• Tag 2: Expression Language, Records und Qualität
• Tag 3: Datenbanken und CDC
• Tag 4: Kafka, MQTT und verteilte Flows
• Tag 5: Governance und Stateless
• Querschnitt: Datenvertrag und Betriebsübergabe
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Fünf Tage sind die notwendige Höchstdauer, um mehrere Quell- und Zielklassen, Record-Verarbeitung, Governance und Fehlersemantik in einer konsistenten Ende-zu-Ende-Lösung praktisch abzudecken.

Zielgruppe

Data Engineering, Integrationsentwicklung, Datenarchitektur, Plattform-Engineering, Data Governance und technische Key-User.

Voraussetzungen

Grundlagen zu Datenformaten, SQL, APIs und Messaging; erste NiFi-Bedienkenntnisse sind hilfreich.

Lernziele

• Wartbare NiFi-Flows mit klaren Verträgen entwerfen.
• Expression Language und RecordPath sicher anwenden.
• Datenbanken und CDC robust integrieren.
• Kafka, MQTT und Messaging anbinden.
• Datenqualität und Fehlerpfade standardisieren.
• Provenance, Governance, Site-to-Site und Stateless-Ausführung einsetzen.

Seminarinhalte

1. Tag 1: Grundlagen und Flow-Design

Architektur, Oberfläche, Prozessgruppen, Queues, Back Pressure und einheitliche Designregeln bilden das Fundament.

1. Schritt 1: Ersten Flow erstellen und beobachten.
2. Schritt 2: Prozessgruppen und Ports strukturieren.
3. Schritt 3: Naming und Dokumentation anwenden.
4. Schritt 4: Back Pressure und Priorisierung setzen.
5. Schritt 5: Provenance für den Basisflow auswerten.

2. Tag 2: Expression Language, Records und Qualität

Dynamisches Routing und schemaorientierte Verarbeitung werden mit Validierungs- und Fehlerregeln verbunden.

1. Schritt 1: Attribute und Funktionen einsetzen.
2. Schritt 2: Record Reader und Writer konfigurieren.
3. Schritt 3: RecordPath für Auswahl und Transformation nutzen.
4. Schritt 4: Schema- und Fachregeln validieren.
5. Schritt 5: Retry-, Quarantäne- und Dead-Letter-Pfade testen.

3. Tag 3: Datenbanken und CDC

Inkrementelle Extraktion, zustandsbasierte Fortschrittskontrolle und idempotentes Laden werden praktisch umgesetzt.

1. Schritt 1: JDBC-Pool und SQL-Zugriff konfigurieren.
2. Schritt 2: Inkrementelle Abfrage mit State erstellen.
3. Schritt 3: CDC-Ereignisse normalisieren.
4. Schritt 4: Transaktion und Idempotenz absichern.
5. Schritt 5: Reconciliation zwischen Quelle und Ziel durchführen.

4. Tag 4: Kafka, MQTT und verteilte Flows

Event Streaming und Site-to-Site werden mit Schema, Sicherheit, Lastverteilung und Ausfallverhalten verbunden.

1. Schritt 1: Kafka konsumieren und produzieren.
2. Schritt 2: Keys, Header und Consumer Groups behandeln.
3. Schritt 3: MQTT-Telemetrie erfassen.
4. Schritt 4: Remote Process Group und Policies konfigurieren.
5. Schritt 5: Broker- oder Zielausfall mit Back Pressure testen.

5. Tag 5: Governance und Stateless

Nachvollziehbarkeit, Aufbewahrung, Replay und zustandsarme Jobausführung schließen den Datenlebenszyklus ab.

1. Schritt 1: Provenance- und Auditfragen definieren.
2. Schritt 2: Retention und Zugriff begrenzen.
3. Schritt 3: Replay und Reprocessing kontrollieren.
4. Schritt 4: Flow auf Stateless-Eignung prüfen.
5. Schritt 5: Transaktions-, Wiederholungs- und Abnahmenachweis erstellen.

6. Querschnitt: Datenvertrag und Betriebsübergabe

Schema, Semantik, Fehlercodes, Messwerte und Verantwortlichkeiten bleiben über alle Integrationsstufen konsistent.

1. Schritt 1: Datenvertrag versionieren.
2. Schritt 2: Qualitätskennzahlen festlegen.
3. Schritt 3: Fehlerklassen standardisieren.
4. Schritt 4: SLO und Alarmierung ergänzen.
5. Schritt 5: Runbook und fachliche Abnahme finalisieren.

Praxisübungen

1. Ende-zu-Ende-Flow mit Record-Verarbeitung erstellen.
2. CDC-Daten idempotent laden.
3. Kafka- und MQTT-Ereignisse normalisieren.
4. Site-to-Site-Ausfall testen.
5. Provenance-, Qualitäts- und Stateless-Nachweis erstellen.

Anwendungsszenarien

• Data Lake Ingestion
• Operational Data Integration
• Event-Streaming-Pipelines
• Governance- und Auditpflichtige Datenflüsse