Seminar Apache NiFi – Datenqualität, Validierung und Fehlerbehandlung

Produktionsreife Flows trennen ungültige Inhalte, technische Störungen und fachliche Abweichungen. Dafür werden nachvollziehbare Qualitäts-, Retry- und Wiederanlaufpfade aufgebaut.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Datenvertrag und Qualitätsmodell
• Schema- und Record-Prüfung
• Fachregeln und Normalisierung
• Fehlerklassen und Routing
• Retry und Quarantäne
• Deduplizierung und Reconciliation
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Zwei Tage sind ausreichend und erforderlich, weil der Fokus auf Flow-Design und praktischen Qualitätsmustern liegt; Installation, Cluster und tiefe Plattformadministration sind nicht Bestandteil.

Zielgruppe

Data Engineering, Integrationsentwicklung, Datenmanagement, Qualitätssicherung und technische Key-User.

Voraussetzungen

NiFi-Grundkenntnisse sowie Verständnis von JSON, CSV oder Avro und fachlichen Prüfregeln.

Lernziele

• Datenverträge formulieren.
• Schema- und Fachregeln umsetzen.
• Fehlerklassen unterscheiden.
• Retry und Quarantäne begrenzen.
• Duplikate behandeln.
• Qualitätskennzahlen und Reconciliation erzeugen.

Seminarinhalte

1. Datenvertrag und Qualitätsmodell

Qualität wird über messbare Regeln beschrieben.

1. Schritt 1: Schlüssel, Pflichtfelder und Datentypen erfassen.
2. Schritt 2: Wertebereiche und Referenzen definieren.
3. Schritt 3: Fehler nach Kritikalität klassifizieren.
4. Schritt 4: Ablehnung, Korrektur oder Weiterleitung festlegen.
5. Schritt 5: Kennzahlen und Verantwortung dokumentieren.

2. Schema- und Record-Prüfung

Reader und Schema bilden eine einheitliche Prüfschicht.

1. Schritt 1: Reader und Writer konfigurieren.
2. Schritt 2: Schema mit Pflichtfeldern bereitstellen.
3. Schritt 3: Records validieren.
4. Schritt 4: Gültige und ungültige Records trennen.
5. Schritt 5: Fehlerdetails erhalten.

3. Fachregeln und Normalisierung

Strukturell gültige Daten werden fachlich geprüft.

1. Schritt 1: Referenzwerte als Parameter bereitstellen.
2. Schritt 2: RecordPath-Regeln formulieren.
3. Schritt 3: Datumsformate und Codes normalisieren.
4. Schritt 4: Korrektur von Ablehnung trennen.
5. Schritt 5: Original- und Zielwert nachvollziehbar halten.

4. Fehlerklassen und Routing

Ein einheitliches Fehlermodell verhindert unkontrollierte Schleifen.

1. Schritt 1: Transport-, System-, Schema- und Fachfehler definieren.
2. Schritt 2: Fehlercode und Kontext standardisieren.
3. Schritt 3: Retry-fähige und endgültige Fehler trennen.
4. Schritt 4: Beziehungen und Queue-Grenzen aufbauen.
5. Schritt 5: Fehlerpfad mit Tests validieren.

5. Retry und Quarantäne

Wiederholungen werden begrenzt und enden nachvollziehbar in einer Quarantäne.

1. Schritt 1: Versuchszähler pflegen.
2. Schritt 2: Wartezeit und Maximalversuche festlegen.
3. Schritt 3: Back Pressure für Zielstörungen setzen.
4. Schritt 4: Originalinhalt und Kontext sichern.
5. Schritt 5: Reprocessing-Verfahren definieren.

6. Deduplizierung und Reconciliation

Vollständigkeit und Eindeutigkeit ergänzen die technische Zustellung.

1. Schritt 1: Idempotenzschlüssel bilden.
2. Schritt 2: Duplikate im Zeitfenster erkennen.
3. Schritt 3: Zählwerte und Summen erzeugen.
4. Schritt 4: Quell-, Ziel- und Fehlerbestand vergleichen.
5. Schritt 5: Korrekturlauf dokumentieren.

Praxisübungen

1. Datenvertrag erstellen.
2. Schema- und Fachprüfung aufbauen.
3. Begrenztes Retry mit Quarantäne implementieren.
4. Duplikate erkennen.
5. Qualitätsbericht erzeugen.

Anwendungsszenarien

• Validierte Datenannahme
• Partnerdatenquarantäne
• Robuste API- und Brokerintegration
• Qualitätskontrolle vor DWH-Ladung