Seminar Great Expectations (GX Core) – Datenkontexte, Projektstruktur und Konfiguration

Der Data Context ist die zentrale Arbeits- und Konfigurationsschnittstelle von GX Core. Das Seminar baut eine übersichtliche Projektstruktur auf, vergleicht flüchtige und dateibasierte Kontexte und legt fest, wie Data Sources, Suites, Validation Definitions, Checkpoints, Stores und Umgebungswerte sauber verwaltet werden.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Aufgabe und Lebenszyklus des Data Context sicher erklären.
• Ephemeral und File Data Context passend zum Anwendungsfall auswählen.
• Projektverzeichnisse, Konfiguration und GX-Core-Objekte nachvollziehbar organisieren.
• Umgebungsabhängige Werte und Geheimnisse von versionierbarer Konfiguration trennen.
• Kontext, gespeicherte Objekte und Stores mit Prüfskripten verifizieren.

Zielgruppe

Data Engineers, Entwickler, Analytics Engineers, Administratoren und Projektteams, die ein neues GX-Core-Projekt aufsetzen oder eine uneinheitliche Struktur konsolidieren.

Voraussetzungen

Python-Grundkenntnisse und sicherer Umgang mit Dateien, Verzeichnissen und virtuellen Umgebungen. Es sind keine vertieften GX-Core-Kenntnisse erforderlich.

Seminarinhalte

1. Schritt 1: Rolle des Data Context verstehen

   Der Data Context wird als Zugriffspunkt für Data Sources, Suites, Validation Definitions, Checkpoints, Stores und Data Docs eingeordnet.

2. Schritt 2: Kontexttyp auswählen

   Ephemeral und File Data Context werden nach Persistenz, Experiment, Notebook, Test, Teamarbeit und produktivem Betrieb verglichen.

3. Schritt 3: Projektbasis reproduzierbar anlegen

   Python-Umgebung, Abhängigkeiten, Startskript, Verzeichnisstruktur und Initialisierung werden mit eindeutigen Namenskonventionen aufgebaut.

4. Schritt 4: Gespeicherte GX-Core-Objekte ordnen

   Data Sources, Suites, Validation Definitions und Checkpoints werden mit stabilen Namen angelegt, abgerufen, aktualisiert und entfernt.

5. Schritt 5: Stores und Ablageorte einordnen

   Konfigurations-, Erwartungs-, Validierungs- und Dokumentationsdaten werden nach Zweck und Lebensdauer getrennt betrachtet.

6. Schritt 6: Umgebungswerte und Secrets behandeln

   Verbindungsdaten und geheime Werte werden außerhalb des Quellcodes gehalten. Lokale Entwicklung und produktive Bereitstellung erhalten getrennte Übergabemechanismen.

7. Schritt 7: Versionierung und Teamarbeit vorbereiten

   Versionierbare Dateien, ignorierte Artefakte, generierte Ergebnisse und lokale Geheimnisse werden eindeutig abgegrenzt.

8. Schritt 8: Kontextprüfung automatisieren

   Ein Diagnoseprogramm listet zentrale Objekte, prüft Namen und Speicherorte und erkennt fehlende oder inkonsistente Konfiguration.

9. Schritt 9: Umzug und Wiederherstellung testen

   Die Projektstruktur wird in eine saubere Zielumgebung übertragen. Konfiguration, Abhängigkeiten und erwartete Objekte werden ohne lokale Altlasten verifiziert.

Praxisübungen

• Ephemeral und File Data Context anlegen und Persistenzverhalten vergleichen.
• Konventionen für Namen und Projektverzeichnisse auf einen Beispielbetrieb anwenden.
• Konfigurationswert und Geheimnis aus dem Python-Code auslagern.
• Kontextobjekte programmgesteuert auflisten und auf Vollständigkeit prüfen.
• Projekt in einer zweiten Umgebung wiederherstellen und einen Testlauf ausführen.

Methodik

Das Seminar arbeitet als Aufbau- und Konsolidierungsworkshop. Jeder Schritt wird in einer frischen Umgebung ausgeführt und mit einem kurzen Diagnoseprogramm geprüft; die entstehende Struktur kann als internes Projektgerüst übernommen werden.