Seminar Soda Core – Erweiterte Checks, Reconciliation und Failed Rows

Das Seminar behandelt Qualitätsanforderungen, die über einfache Schema- und Spaltenchecks hinausgehen. Komplexe fachliche Regeln, Quell-Ziel-Abgleiche und Datensatzdiagnosen werden in wartbare, sichere und performante Prüfungen überführt.

Jede Übung enthält kontrollierte Differenzen, Grenzfälle und Datenschutzentscheidungen. Der Schwerpunkt liegt auf nachvollziehbarer Fehlerlokalisierung statt lediglich auf einem Pass-Fail-Ergebnis.

Lernziele

• komplexe fachliche Regeln mit Custom Checks und SQL-Metriken umsetzen
• Quell- und Zieldaten mit Reconciliation-Prüfungen belastbar vergleichen
• Failed Rows und Stichproben datenschutzgerecht für Diagnose verwenden
• Prüfungen hinsichtlich Performance, Selektivität und Fehlersuche optimieren

Inhaltsübersicht

1. Fortgeschrittene Vertragsstruktur planen
2. Benutzerdefinierte Metriken und SQL-Regeln entwickeln
3. Reconciliation-Szenario modellieren
4. Reconciliation ausführen und Differenzen analysieren
5. Failed Rows und Stichproben steuern
6. Check-Auswahl und Laufzeitkontext optimieren
7. Performance und Datenbanklast kontrollieren
8. Fehlersuche und End-to-End-Abnahme durchführen

Seminarinhalte

1. Fortgeschrittene Vertragsstruktur planen

1. Schritt 1: Komplexe Anforderungen in kleine, benannte und prüfbare Regeln zerlegen.
2. Schritt 2: Checks mit Attributen, Qualifiern und eindeutigen Pfaden strukturieren.
3. Schritt 3: Regelabhängigkeiten und gemeinsame Filter dokumentieren.
4. Schritt 4: Ausführungsreihenfolge und Fehlerauswirkung für den Gesamtvertrag festlegen.

2. Benutzerdefinierte Metriken und SQL-Regeln entwickeln

1. Schritt 1: Fachliche Kennzahl mit eindeutigem Datentyp und erwarteter Semantik definieren.
2. Schritt 2: SQL so schreiben, dass genau ein stabil interpretierbares Ergebnis entsteht.
3. Schritt 3: Schwellenwert, Nullverhalten und leere Datenmengen explizit behandeln.
4. Schritt 4: Regel mit positiven, negativen und Randfall-Datensätzen testen.

3. Reconciliation-Szenario modellieren

1. Schritt 1: Quelle, Ziel, Schlüssel, Vergleichsspalten und Toleranzen festlegen.
2. Schritt 2: Zeilen-, Schlüssel- und Wertevergleich nach fachlicher Relevanz auswählen.
3. Schritt 3: Datentyp-, Rundungs-, Zeitzonen- und Normalisierungsunterschiede berücksichtigen.
4. Schritt 4: Erwartete und unerwartete Differenzen in einer Vergleichsmatrix definieren.

4. Reconciliation ausführen und Differenzen analysieren

1. Schritt 1: Beide Datenquellen mit getrennten, minimalen Konfigurationen anbinden.
2. Schritt 2: Abgleich mit kontrollierter Datenmenge starten und Laufkontext protokollieren.
3. Schritt 3: Fehlende, zusätzliche und abweichende Datensätze getrennt auswerten.
4. Schritt 4: Ursache auf Extraktion, Transformation, Ladezeitpunkt oder Regelmodell zurückführen.

5. Failed Rows und Stichproben steuern

1. Schritt 1: Checks identifizieren, bei denen Datensatzdiagnose einen Mehrwert liefert.
2. Schritt 2: Maximale Stichprobe und erforderliche Spalten auf das Minimum begrenzen.
3. Schritt 3: Sensible Felder ausschließen oder pseudonymisieren.
4. Schritt 4: Diagnoseergebnis gegen Berechtigungs- und Aufbewahrungsregeln prüfen.

6. Check-Auswahl und Laufzeitkontext optimieren

1. Schritt 1: Checks über Pfade, Typen, Spalten oder Attribute gezielt auswählen.
2. Schritt 2: Variablen und Filter für Partitionen und Testumgebungen verwenden.
3. Schritt 3: Schnelle Pull-Request-Prüfung von vollständiger Produktionsverifikation trennen.
4. Schritt 4: Ergebnisvergleich sicherstellen, wenn nur Teilmengen ausgeführt werden.

7. Performance und Datenbanklast kontrollieren

1. Schritt 1: Generierte Abfragen, Scans und wiederholte Tabellenzugriffe analysieren.
2. Schritt 2: Filter, Partitionen und aggregierte Metriken für geringere Last nutzen.
3. Schritt 3: Parallelität und Zeitfenster an Quellsystemgrenzen anpassen.
4. Schritt 4: Laufzeit-, Kosten- und Sperrindikatoren als Betriebsgrenzen festlegen.

8. Fehlersuche und End-to-End-Abnahme durchführen

1. Schritt 1: Konfigurations-, Verbindungs-, Syntax- und fachliche Prüffehler unterscheiden.
2. Schritt 2: Verbose Logs, Ergebnisdateien und Diagnoseabfragen systematisch korrelieren.
3. Schritt 3: Fehler gezielt reproduzieren und nach Korrektur erneut verifizieren.
4. Schritt 4: Abgleichsbericht mit Differenzarten, Datenschutzentscheidung und Freigabe erstellen.

Praxislabor

Zwei Datenbestände werden mit fachlichen Custom Checks und Reconciliation verglichen. Differenzen werden als Failed Rows sicher diagnostiziert, die Abfragen optimiert und das Ergebnis in einem prüfbaren Abgleichsbericht dokumentiert.

Zielgruppe und Voraussetzungen

Zielgruppe: Erfahrenes Data Engineering, Data Quality Engineering, Analytics Engineering, Datenmigration und technische Revision.

Voraussetzungen: Praktische Erfahrung mit Soda Data Contracts oder SodaCL, sehr gute SQL-Kenntnisse und Verständnis von Datenmodellierung und ETL/ELT-Prozessen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.