Seminar Great Expectations (GX Core) – Intensivseminar Automatisierung, Betrieb und Skalierung

Das Intensivseminar bündelt die technisch-betrieblichen Themen für produktive GX-Core-Lösungen. Datenquellen, Batch- und Partitionierungsstrategien, Spark, Checkpoints, Pipeline-Integration, Stores, Sicherheit, Monitoring, Performance, Fehlersuche und Migration werden in einem zusammenhängenden Betriebsprojekt umgesetzt.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• GX Core für SQL-, Datei-, Cloud-, pandas- und Spark-Datenquellen architektonisch planen.
• Batches und Partitionen für skalierbare, wiederholbare Validierung entwerfen.
• Checkpoints, Actions und Pipeline-Gates robust automatisieren.
• Stores, Secrets, Zugriffsrechte, Monitoring, Backup und Wiederherstellung produktionsfähig gestalten.
• Performanceprobleme, technische Fehler und Versionswechsel systematisch beherrschen.

Zielgruppe

Erfahrene Data Engineers, Plattform- und DevOps-Teams, Spark-Entwickler, Administratoren und technische Architekten mit Verantwortung für produktive Datenqualitätsplattformen.

Voraussetzungen

Sichere Python-Kenntnisse, Erfahrung mit Datenpipelines und mindestens einer SQL-, Cloud- oder Spark-Plattform. GX-Core-Grundlagen werden vorausgesetzt oder vorab über das Grundlagen- beziehungsweise Kompaktseminar erworben.

Seminarinhalte

1. Schritt 1: Zielarchitektur und Betriebsanforderungen festlegen

   Datenprodukte, Engines, Umgebungen, Prüffrequenzen, Verfügbarkeitsziele, Schutzbedarf und Verantwortlichkeiten werden als Architekturrahmen dokumentiert.

2. Schritt 2: Data Context und Deployment-Modell aufbauen

   Persistenter Kontext, Projektstruktur, Container- oder Job-Ausführung sowie getrennte Umgebungen werden reproduzierbar eingerichtet.

3. Schritt 3: SQL Data Sources produktionsfähig anbinden

   Treiber, Connection Strings, Servicekonten, Table und Query Assets sowie Verbindungstests werden sicher konfiguriert.

4. Schritt 4: Filesystem und Object Storage integrieren

   Lokale Dateien, S3-kompatibler Storage, Azure Blob oder Google Cloud Storage werden mit präzisen Asset-Mustern und Secrets angebunden.

5. Schritt 5: Pandas und Spark passend einsetzen

   In-Memory- und verteilte Verarbeitung werden nach Datenvolumen, Latenz, Kosten und Betriebsmodell ausgewählt.

6. Schritt 6: Batch- und Partitionierungsstrategie entwickeln

   Gesamtbestände, Zeitpartitionen, Pipeline-Läufe und Nachlieferungen werden als stabile Batch Definitions mit Parametern modelliert.

7. Schritt 7: Skalierbare Expectation Suites planen

   Regeln werden nach Kosten, Scan-Verhalten, Pushdown, Shuffle und Diagnosebedarf priorisiert.

8. Schritt 8: Validation Definitions und Result Formats optimieren

   Ausführungsumfang, Metadaten und Ergebnisdetail werden für regulären Betrieb und Tiefendiagnose getrennt festgelegt.

9. Schritt 9: Checkpoints und Actions automatisieren

   Mehrere Validation Definitions, Severity, Benachrichtigung und eigene Folgeschritte werden zu einem kontrollierten Lauf verbunden.

10. Schritt 10: Pipeline-Gates und Orchestrierung umsetzen

    Exit Codes, Retries, Quarantäne, Freigaben, Task-Abhängigkeiten und Laufartefakte werden in eine Laborpipeline integriert.

11. Schritt 11: Stores und Data Docs betreiben

    Ablage, Zugriff, Aufbewahrung, Build und Veröffentlichung werden mit minimalen Rechten und klarer Lebensdauer eingerichtet.

12. Schritt 12: Secrets und Servicekonten absichern

    Kurzlebige Zugangsdaten, Secret Stores, TLS, Netzwerkbegrenzung und Protokollschutz werden praktisch geprüft.

13. Schritt 13: Monitoring und Alarmierung aufbauen

    Laufstatus, technische Fehler, fehlende Läufe, Laufzeit, Qualitätsverletzungen und Action-Fehler erhalten getrennte Signale.

14. Schritt 14: Performance für SQL und Spark optimieren

    Filter, Partition Pruning, Indizes, Spaltenauswahl, Batch-Größe, Caching und Result-Begrenzung werden anhand von Messwerten verbessert.

15. Schritt 15: Systematische Fehlersuche durchführen

    Data Context, Verbindung, Batch, Expectation, Validation Result, Checkpoint und Store werden mit einer festen Diagnosekette untersucht.

16. Schritt 16: Backup und Wiederherstellung testen

    Konfiguration und Stores werden gesichert, in einer sauberen Zielumgebung wiederhergestellt und mit Referenzläufen verifiziert.

17. Schritt 17: Upgrade und Migration vorbereiten

    Abhängigkeiten, Referenzbatches, Regressionstests, Parallelbetrieb, Cutover und Rollback werden für einen Versionswechsel geplant.

18. Schritt 18: Betriebsabnahme und Runbook erstellen

    Architektur, Kontrollen, Verantwortlichkeiten, Eskalation, Wartung und Wiederanlauf werden in einem abnahmefähigen Runbook zusammengeführt.

Praxisübungen

• Produktionsarchitektur für zwei Datenquellen und drei Umgebungen entwerfen.
• SQL- und Cloud-Dateiquelle mit getrennten Servicekonten und Secrets anbinden.
• Datumsbasierte Batches und Nachlieferungsszenario umsetzen.
• Spark- oder SQL-Regel anhand Laufzeit und Ergebnisgröße optimieren.
• Checkpoint mit Severity, Action, Quarantäne und Pipeline-Gate betreiben.
• Monitoring-Nutzlast und datenschutzgerechte Data Docs erzeugen.
• Store-Ausfall, Verbindungsfehler und fehlerhafte Partition diagnostizieren.
• Backup wiederherstellen und Referenz-Checkpoint ausführen.
• Upgrade- oder Teilmigrationsplan mit Paralleltest und Rollback erstellen.

Methodik

Fünf Tage folgen einem produktionsnahen Plattformprojekt. Architektur, Konfiguration, Automatisierung, Sicherheit und Betrieb werden nicht isoliert behandelt, sondern in einer vollständigen Laufkette aufgebaut, gestört, optimiert und abgenommen.