Seminar Great Expectations (GX Core) – Kompaktseminar End-to-End-Datenvalidierung

Das Kompaktseminar vermittelt in drei Tagen einen geschlossenen GX-Core-Arbeitsablauf. Es verbindet Projektaufbau, Datenanbindung, Batches, Expectation Suites, Validation Definitions, Checkpoints, Ergebnisanalyse und Data Docs und zeigt zusätzlich die grundlegende Einbettung in eine automatisierte Datenpipeline.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• GX-Core-Objektmodell und Projektstruktur sicher anwenden.
• DataFrame-, Datei- oder SQL-Daten als Data Source, Asset und Batch anbinden.
• Eine fachlich brauchbare Expectation Suite mit Severity und Toleranzen erstellen.
• Validation Definition und Checkpoint für wiederholbare Läufe konfigurieren.
• Validation Results und Data Docs auswerten und den Lauf in eine Pipeline integrieren.

Zielgruppe

Neue Data Engineers, Analytics Engineers, Data Stewards, Entwickler, Projektteams und technische Key-User, die schnell ein belastbares Gesamtverständnis und einen funktionierenden Referenzworkflow benötigen.

Voraussetzungen

Python-Grundkenntnisse und grundlegendes Verständnis tabellarischer Daten. Spezifische GX-Core-Vorkenntnisse sind nicht erforderlich.

Seminarinhalte

1. Schritt 1: Einsatzbild und Objektmodell verstehen

   Datenqualitätsziele werden von Profiling, Bereinigung und Monitoring abgegrenzt. Alle zentralen GX-Core-Objekte werden in einer durchgängigen Prozesskette eingeordnet.

2. Schritt 2: Projekt und File Data Context aufbauen

   Python-Umgebung, Verzeichnisstruktur, Persistenz und Namenskonventionen werden reproduzierbar eingerichtet.

3. Schritt 3: Datenquelle auswählen und anbinden

   Pandas-, Datei- und SQL-Variante werden verglichen; eine davon wird vollständig als Data Source konfiguriert.

4. Schritt 4: Data Asset fachlich zuschneiden

   Datenprodukt, Pipeline-Stufe und Verantwortlichkeit bestimmen den Asset-Zuschnitt und die Benennung.

5. Schritt 5: Batch Definition erstellen

   Gesamtbestand oder datumsbasierte Partition wird als wiederverwendbare Prüfeinheit definiert und anhand Schema und Zeilenanzahl abgenommen.

6. Schritt 6: Qualitätsregeln formulieren

   Struktur, Vollständigkeit, Gültigkeit, Eindeutigkeit und Beziehungen werden in testbare Aussagen, Schwellen und Reaktionen übersetzt.

7. Schritt 7: Expectation Suite aufbauen

   Standard-Expectations werden ausgewählt, parametrisiert, mit mostly, Beschreibung und Severity versehen und sinnvoll gruppiert.

8. Schritt 8: Bedingte Regeln und Parameter einordnen

   Row Conditions und dynamische Schwellen werden an einem begrenzten Beispiel eingesetzt, ohne das Regelwerk unnötig zu verkomplizieren.

9. Schritt 9: Validation Definition anlegen

   Batch Definition und Suite werden explizit verbunden und in einem direkten Lauf geprüft.

10. Schritt 10: Validation Results analysieren

    Gesamtstatus, Statistik, Einzelresultate, observed values, Fehlerwerte und Result Formats werden systematisch ausgewertet.

11. Schritt 11: Checkpoint konfigurieren

    Die Definition wird wiederverwendbar ausgeführt; fachlicher Fehlschlag und technischer Fehler erhalten getrennte Statuspfade.

12. Schritt 12: Data Docs erzeugen

    Suite und Ergebnisse werden als lesbarer Qualitätsbericht gebaut, hinsichtlich Detailtiefe und Datenschutz geprüft.

13. Schritt 13: Pipeline-Integration umsetzen

    Partition und Lauf-ID werden übergeben, Exit Codes ausgewertet und kritische Regelverletzungen als Gate behandelt.

14. Schritt 14: Betriebsgrundlagen festlegen

    Secrets, minimaler Datenzugriff, Logs, Aufbewahrung und ein einfacher Wartungs- und Diagnoseablauf werden dokumentiert.

15. Schritt 15: Gesamtfall abnehmen

    Ein Datenlauf wird von der Bereitstellung bis zum Bericht vollständig ausgeführt, bewusst fehlerhaft wiederholt und anhand einer Checkliste freigegeben.

Praxisübungen

• GX-Core-Projekt in einer leeren Umgebung aufbauen.
• Eine gewählte Datenquelle mit Asset und Batch Definition konfigurieren.
• Suite mit strukturellen und fachlichen Regeln einschließlich Severity erstellen.
• Validation Definition, Checkpoint und Data Docs vollständig ausführen.
• Fehlerhaften Lauf analysieren und eine ungeeignete Regel korrigieren.
• Checkpoint als Pipeline-Gate mit Laufmetadaten und Statuscode betreiben.
• End-to-End-Abnahme mit Dokumentation und Wiederholungsnachweis durchführen.

Methodik

Das dreitägige Kompaktformat folgt einem einzigen Referenzprojekt. Jeder Baustein wird kurz erklärt, unmittelbar umgesetzt und in den Gesamtworkflow integriert; Wiederholung und gezielte Fehlerfälle sichern den Transfer.