Seminar Great Expectations (GX Core) – Data Docs und Qualitätsberichte

Validation Results werden erst dann handlungsfähig, wenn sie verständlich aufbereitet und zielgerichtet bereitgestellt sind. Das Seminar zeigt, wie Data Docs aus Suites und Validierungsergebnissen entstehen, wie Inhalte begrenzt werden und wie Berichte für Entwicklung, Betrieb und fachliche Verantwortung strukturiert werden.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Aufbau und Informationsgehalt von Data Docs nachvollziehen.
• Data-Docs-Sites passend zu Zielgruppe und Umgebung konfigurieren.
• Validation Results mit geeignetem Result Format für Berichte vorbereiten.
• Sensible oder übermäßig große Ergebnisdetails vermeiden.
• Erzeugung, Veröffentlichung und Aktualisierung in wiederholbare Abläufe integrieren.

Zielgruppe

Data Stewards, Data Engineers, Analytics Engineers, Qualitätsverantwortliche, Projektteams und Administratoren, die GX-Core-Ergebnisse verständlich bereitstellen müssen.

Voraussetzungen

Grundverständnis von Expectations, Suites und Validation Results. Python-Grundlagen sind für die Konfigurationsübungen erforderlich.

Seminarinhalte

1. Schritt 1: Berichtsbedarf und Zielgruppen trennen

   Entwicklung, Betrieb, Fachbereich und Audit benötigen unterschiedliche Detailtiefe. Zweck, Empfänger und Aufbewahrungsbedarf werden vor der Konfiguration festgelegt.

2. Schritt 2: Inhalte von Data Docs verstehen

   Expectation Suites, Validierungsläufe, Erfolgsstatistik, einzelne Regelresultate, Parameter und Metadaten werden in ihrer Berichtsfunktion eingeordnet.

3. Schritt 3: Data-Docs-Site konfigurieren

   Site-Name, Ablageort und Build-Verhalten werden eingerichtet. Lokale Entwicklungsablage und kontrollierte zentrale Veröffentlichung werden getrennt betrachtet.

4. Schritt 4: Result Format abstimmen

   BOOLEAN_ONLY, BASIC, SUMMARY und COMPLETE werden nach Diagnoseziel gewählt. Unerwartete Werte oder Zeilen werden bewusst begrenzt.

5. Schritt 5: Metadaten und Run Identifiers nutzen

   Datenprodukt, Umgebung, Pipeline-Lauf, Partition und Verantwortlichkeit werden in nachvollziehbarer Form an den Validierungslauf gebunden.

6. Schritt 6: Row Conditions und Severity darstellen

   Bedingte Regeln und unterschiedliche Schweregrade werden so dokumentiert, dass Gültigkeitsbereich und Handlungsbedarf erkennbar bleiben.

7. Schritt 7: Data Docs bauen und aktualisieren

   Manueller Build, Checkpoint-gesteuerte Aktualisierung und Öffnen der Site werden verglichen. Unvollständige oder veraltete Builds werden erkannt.

8. Schritt 8: Datenschutz und Ergebnisumfang prüfen

   Personenbezogene Daten, Geschäftsgeheimnisse und große Fehlerlisten werden aus Berichten ferngehalten oder angemessen reduziert.

9. Schritt 9: Veröffentlichung und Abnahme organisieren

   Zugriff, Lebenszyklus, Namenskonzept, Aufbewahrung und Verantwortlichkeit werden in einer einfachen Betriebsvereinbarung festgehalten.

Praxisübungen

• Zwei Data-Docs-Sites für Entwicklungs- und Betriebszweck konfigurieren.
• Dasselbe Validation Result mit SUMMARY und COMPLETE vergleichen.
• Run-Metadaten für Datenprodukt, Umgebung und Partition ergänzen.
• Bericht mit potenziell sensiblen Fehlerwerten datenschutzgerecht reduzieren.
• Automatisierten Build nach einem Checkpoint ausführen und auf Aktualität prüfen.

Methodik

Konfiguration und Berichtswirkung werden parallel betrachtet. Jede Einstellung wird mit einem erzeugten Bericht geprüft; eine Abnahmeliste bewertet Verständlichkeit, Aktualität, Datenschutz und Betriebsfähigkeit.