Seminar Great Expectations (GX Core) – SQL-basierte Custom Expectations und Fehlerdatensätze

Komplexe fachliche Regeln lassen sich häufig am klarsten als SQL-Abfrage formulieren, die genau die verletzenden Zeilen zurückgibt. Das Seminar nutzt die Unexpected-Rows-Logik von GX Core, entwickelt sichere und performante Abfragen und verbindet Fehlerdatensätze mit Result Format, Datenschutz, Diagnose und Pipeline-Reaktion.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Geeignete Anwendungsfälle für SQL-basierte Fehlerzeilenprüfungen erkennen.
• Abfragen so formulieren, dass zurückgegebene Zeilen eindeutig Regelverletzungen darstellen.
• SQL- und Spark-SQL-Unterschiede, Parameter, Nullsemantik und Dialekte behandeln.
• Fehlerdatensätze mit Result Format und Begrenzungen sicher ausgeben.
• Prüfungen testen, optimieren, dokumentieren und in Suites sowie Checkpoints einsetzen.

Zielgruppe

SQL-Entwickler, Data Engineers, Analytics Engineers und technische Data Stewards, die fachlich komplexe Datenqualitätsregeln in GX Core umsetzen.

Voraussetzungen

Sichere SQL-Kenntnisse, Verständnis relationaler Datenmodelle und GX-Core-Grundlagen. Für Spark-SQL-Anteile sind entsprechende Vorkenntnisse hilfreich, aber nicht zwingend.

Seminarinhalte

1. Schritt 1: Einsatzgrenze bestimmen

   Standard-Expectation, Row Condition, Multi-Source-Vergleich und SQL-basierte Fehlerzeilenprüfung werden nach Aussagekraft und Wartbarkeit verglichen.

2. Schritt 2: Fehlerzeilenprinzip formulieren

   Die Abfrage muss ausschließlich Datensätze liefern, die gegen die fachliche Regel verstoßen. Erfolg liegt vor, wenn keine unerwarteten Zeilen zurückgegeben werden.

3. Schritt 3: Fachliche Regel in SQL zerlegen

   Gültigkeitsbereich, Schlüssel, Bedingung, Referenztabellen, Zeitbezug und Ausnahmen werden in prüfbare Abfragebestandteile übersetzt.

4. Schritt 4: Nullwerte und dreiwertige Logik behandeln

   NULL, leer, unbekannt und nicht anwendbar werden bewusst unterschieden, damit Verstöße weder übersehen noch fälschlich gemeldet werden.

5. Schritt 5: Joins und Referenzdaten sicher verwenden

   Join-Typ, Kardinalität und fehlende Referenzen werden kontrolliert. Ungewollte Zeilenvervielfachung wird durch Schlüsselprüfungen verhindert.

6. Schritt 6: Zeit- und Statuslogik abbilden

   Gültigkeitszeiträume, verspätete Ereignisse, offene Zustände und Stichtagsbezug werden deterministisch formuliert.

7. Schritt 7: Dialect und Spark-SQL berücksichtigen

   Quoting, Datumsfunktionen, Casts, reguläre Ausdrücke und Begrenzungen werden an die jeweilige Engine angepasst.

8. Schritt 8: UnexpectedRowsExpectation konfigurieren

   Abfrage, Beschreibung, Parameter und Metadaten werden als wiederverwendbare Expectation in eine Suite aufgenommen.

9. Schritt 9: Result Format und Fehlerumfang steuern

   Zeilenanzahl, Spaltenauswahl, unerwartete Beispielwerte und vollständige Fehlerdatensätze werden nach Diagnosebedarf begrenzt.

10. Schritt 10: Sensible Daten schützen

    Fehlerabfragen wählen nur notwendige Schlüssel und Diagnosefelder aus. Personenbezogene oder vertrauliche Nutzdaten werden vermieden oder maskiert.

11. Schritt 11: Abfragen testen

    Positiv-, Negativ-, Null-, Duplikat- und Grenzfälle werden in reproduzierbaren Datensätzen abgedeckt.

12. Schritt 12: Performance optimieren

    Filter, Indizes, Partition Pruning, Voraggregation und schmale Spaltenauswahl reduzieren die Kosten der Fehlerzeilenabfrage.

13. Schritt 13: Fehlerdaten operativ verwenden

    Checkpoint und Action erzeugen eine begrenzte Diagnose, eine Quarantäne-Referenz oder ein Ticket, ohne Rohdaten unkontrolliert zu verteilen.

14. Schritt 14: Dokumentation und Review sichern

    Fachregel, SQL-Dialekt, Parameter, erwartete Leermenge, bekannte Grenzen und Testnachweise werden versioniert dokumentiert.

Praxisübungen

• Geschäftsregel in eine Abfrage für ausschließlich verletzende Zeilen übersetzen.
• Null- und Join-Fehler gezielt in Testdaten erzeugen und korrekt erkennen.
• UnexpectedRowsExpectation in eine Suite einbinden und ausführen.
• Result Format und Spaltenauswahl datenschutzgerecht begrenzen.
• Langsame Abfrage mit Filterung und geeigneter Join-Strategie optimieren.
• Checkpoint-Reaktion für Fehlerdatensatz und Quarantäne-Referenz umsetzen.

Methodik

Die Teilnehmenden entwickeln mehrere SQL-Regeln vom fachlichen Satz bis zum getesteten GX-Core-Einsatz. Testdaten, Explain- beziehungsweise Ausführungsanalyse und Datenschutzprüfung gehören zu jeder Abfrage.