Seminar Great Expectations (GX Core) – Migration von GX 0.18 auf GX Core 1.x

Der Wechsel von GX 0.18 auf GX Core 1.x ist kein reines Paketupdate. Objektmodell, API-Aufrufe, Datenanbindung, Batches, Validierungsabläufe und Konfiguration müssen inventarisiert, auf Zielmuster abgebildet, schrittweise umgestellt und mit Referenzdaten fachlich sowie technisch verglichen werden.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Bestehende 0.18-Projekte, Konfigurationen und Abhängigkeiten vollständig inventarisieren.
• Alte Konzepte und API-Nutzungen den GX-Core-1.x-Objekten zuordnen.
• Data Sources, Assets, Batch Definitions, Suites, Validation Definitions und Checkpoints kontrolliert migrieren.
• Custom Code, Plugins, Stores und Data Docs auf Kompatibilität prüfen.
• Paralleltests, Cutover, Rollback und Nachlaufkontrolle planen und durchführen.

Zielgruppe

Data Engineers, Entwickler, Plattformteams und technische Projektleitungen, die vorhandene Great-Expectations-0.18-Lösungen auf GX Core 1.x überführen.

Voraussetzungen

Praktische Kenntnisse des bestehenden 0.18-Projekts, sichere Python-Anwendung und Zugriff auf Quellcode, Konfiguration und repräsentative Referenzdaten. Grundverständnis des GX-Core-1.x-Objektmodells ist hilfreich.

Seminarinhalte

1. Schritt 1: Migrationsrahmen und Zielzustand festlegen

   Umfang, Datenprodukte, Umgebungen, Betriebsfenster, Verantwortlichkeiten und akzeptierte Funktionsabweichungen werden verbindlich definiert.

2. Schritt 2: Bestandsaufnahme automatisieren

   Versionen, Data Context, Datasources, Data Assets, Batch Requests, Suites, Checkpoints, Stores, Plugins und externe Integrationen werden erfasst.

3. Schritt 3: Abhängigkeiten und Kompatibilität prüfen

   Python-Version, GX-Paket, Datenbanktreiber, Cloud-Bibliotheken, Spark und eigene Pakete werden in einer Zielmatrix bewertet.

4. Schritt 4: Alte und neue Objektmodelle abbilden

   Bestehende Datenanbindung und Batch-Logik werden auf Data Source, Data Asset und Batch Definition der 1.x-Architektur übertragen.

5. Schritt 5: Kontext und Projektstruktur neu aufsetzen

   Ein sauberes Zielprojekt wird getrennt vom Altbestand erstellt. Versionierbare Konfiguration, Secrets und generierte Artefakte werden neu geordnet.

6. Schritt 6: Data Sources und Assets migrieren

   Verbindungen, Tabellen, Queries, Dateien und DataFrames werden mit den aktuellen APIs eingerichtet und separat getestet.

7. Schritt 7: Batch-Logik übertragen

   Batch Requests, Splitter, Laufzeitparameter und Partitionen werden als neue Batch Definitions modelliert und mit identischen Referenzausschnitten verglichen.

8. Schritt 8: Expectation Suites prüfen

   Expectation-Namen, Parameter, mostly, Bedingungen und Metadaten werden auf Verfügbarkeit und Bedeutungsänderungen untersucht.

9. Schritt 9: Validation Definitions einführen

   Die explizite Verbindung von Batch Definition und Suite wird aufgebaut und als eigenständiger Testpunkt genutzt.

10. Schritt 10: Checkpoints und Actions migrieren

    Validierungsbündel, Actions, Benachrichtigungen und Pipeline-Entscheidungen werden neu konfiguriert und mit Fehlerfällen geprüft.

11. Schritt 11: Stores und Data Docs umstellen

    Ablageorte, Berechtigungen, Ergebnisformate und Berichtsbuilds werden in der Zielumgebung verifiziert.

12. Schritt 12: Custom Expectations und Hilfscode anpassen

    Imports, Klassen, Metriken, Parameter und Tests werden auf die Zielversion gebracht. Nicht mehr benötigte Kompatibilitätsschichten werden entfernt.

13. Schritt 13: Parallelvergleich durchführen

    Alt- und Neulauf werden auf denselben Referenzbatches ausgeführt. Erfolgsstatus, Statistiken, einzelne Regeln und erwartete Abweichungen werden verglichen.

14. Schritt 14: Cutover und Rollback planen

    Umschaltkriterien, Sicherung, Rückfallpfad, Kommunikationsplan und Verantwortliche werden vor dem produktiven Wechsel festgelegt.

15. Schritt 15: Nachlauf und Stilllegung abschließen

    Produktive Läufe werden eng überwacht, Altartefakte kontrolliert archiviert und die 0.18-Umgebung erst nach erfolgreicher Abnahme stillgelegt.

Praxisübungen

• Inventarskript für ein vorbereitetes 0.18-Projekt ausführen und Lücken ergänzen.
• Eine alte Datenanbindung und Batch-Logik auf 1.x-Objekte übertragen.
• Suite und Checkpoint migrieren und gegen identische Referenzdaten vergleichen.
• Custom-Hilfscode oder eine einfache Custom Expectation anpassen.
• Cutover- und Rollback-Checkliste mit fachlichen Abnahmekriterien erstellen.

Methodik

Die Migration wird als kontrolliertes Projekt und nicht als Live-Umbau behandelt. Ein Altprojekt wird inventarisiert, in ein getrenntes Zielprojekt übertragen, parallel getestet und anhand einer Cutover-Matrix abgenommen.