Seminar Great Expectations (GX Core) – Validation Definitions, Result Formats und Ergebnisanalyse

Eine Validation Definition verbindet den exakt zu prüfenden Batch mit der passenden Expectation Suite. Das Seminar macht diese Verbindung reproduzierbar, untersucht die Struktur von Validation Results und zeigt, wie Result Formats, Run Identifier, Metadaten und Fehlerdetails für Entwicklung, Betrieb und Fachanalyse angemessen gewählt werden.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Validation Definitions eindeutig aus Batch Definition und Suite zusammensetzen.
• Direkte Validierung und Checkpoint-Ausführung passend zum Zweck einsetzen.
• Validation Results von Gesamtstatistik bis Einzelregel sicher interpretieren.
• BOOLEAN_ONLY, BASIC, SUMMARY und COMPLETE zielgerichtet konfigurieren.
• Ergebnisumfang, Datenschutz, Laufmetadaten und maschinelle Weiterverarbeitung kontrollieren.

Zielgruppe

Data Engineers, Analytics Engineers, Data Stewards, Entwickler und Betriebsverantwortliche, die GX-Core-Ergebnisse ausführen, analysieren oder automatisiert weiterverarbeiten.

Voraussetzungen

Grundkenntnisse zu Data Sources, Batch Definitions, Expectations und Suites sowie sichere Python-Anwendung.

Seminarinhalte

1. Schritt 1: Rolle der Validation Definition klären

   Die feste Zuordnung von Batch Definition und Suite wird gegenüber spontaner oder uneindeutiger Laufzeitkonfiguration abgegrenzt.

2. Schritt 2: Validation Definition anlegen

   Name, Data-Objekt und Suite werden verbunden, im Data Context gespeichert und anschließend eindeutig abgerufen.

3. Schritt 3: Mehrere Definitionen strukturieren

   Datenprodukt, Pipeline-Stufe, Frequenz und Regelzweck bestimmen, ob getrennte oder gemeinsam ausgeführte Validation Definitions sinnvoll sind.

4. Schritt 4: Direkte Ausführung verwenden

   Eine einzelne Definition wird für Entwicklung, Diagnose oder gezielten Lauf ausgeführt und ihr Rückgabeobjekt untersucht.

5. Schritt 5: Checkpoint-Ausführung einordnen

   Mehrere Definitionen, Actions und betriebliche Reaktionen werden im Checkpoint gebündelt, ohne die fachliche Zuordnung zu verlieren.

6. Schritt 6: Gesamtstatus und Statistik lesen

   Success, Anzahl evaluierter, erfolgreicher und fehlgeschlagener Regeln sowie Erfolgsquote werden korrekt interpretiert.

7. Schritt 7: Einzelne Expectation Results analysieren

   Konfiguration, Success, Result, observed value, unerwartete Anzahl, Metadaten und Exception-Informationen werden getrennt ausgewertet.

8. Schritt 8: Result Format auswählen

   BOOLEAN_ONLY, BASIC, SUMMARY und COMPLETE werden nach Pipeline-Entscheidung, Bericht, Exploration und Tiefendiagnose zugeordnet.

9. Schritt 9: Fehlerwerte und Zeilen begrenzen

   Unerwartete Werte, Indizes und vollständige Zeilen werden nur in notwendigem Umfang zurückgegeben; große oder sensible Ergebnisse werden vermieden.

10. Schritt 10: Run Identifier und Metadaten verwenden

    Laufname, Zeitpunkt, Pipeline-ID, Umgebung, Partition und Datenprodukt ermöglichen eine eindeutige Zuordnung über Systeme hinweg.

11. Schritt 11: Severity und Ergebnisaggregation behandeln

    Einzelne Schweregrade werden in der Auswertung getrennt betrachtet, damit Warnungen nicht wie kritische Fehler und umgekehrt behandelt werden.

12. Schritt 12: Maschinelle Verarbeitung aufbauen

    Ein stabiler Ergebnisadapter erzeugt kompakte Status-, Kennzahlen- und Diagnosefelder für Monitoring, Ticketing oder Pipeline-Steuerung.

13. Schritt 13: Ergebnisse vergleichen

    Mehrere Läufe werden anhand identischer Regeln, Batches und Metadaten auf Trend, Regression oder veränderte Datenlage untersucht.

14. Schritt 14: Datenschutz und Aufbewahrung festlegen

    Ergebnisinhalt, Store, Zugriff, Retention und Löschung werden nach Schutzbedarf und Diagnoseanforderung bestimmt.

Praxisübungen

• Zwei Validation Definitions für unterschiedliche Batches derselben Suite anlegen.
• Direkten Lauf und Checkpoint-Lauf vergleichen.
• Dasselbe Ergebnis in vier Result Formats untersuchen.
• Kompakte maschinenlesbare Zusammenfassung aus Validation Results erzeugen.
• Severity und Run Identifier in eine Monitoring-Nutzlast überführen.
• Sensible Fehlerwerte entfernen und eine passende Aufbewahrungsregel festlegen.

Methodik

Der Kurs arbeitet mit identischen Regeln und gezielt variierten Batches, damit Unterschiede aus Definition, Result Format und Datenlage klar erkennbar werden. Ergebnisobjekte werden sowohl manuell als auch programmgesteuert ausgewertet.