Seminar Soda Core – Data Contracts und Contract Testing

Das Seminar vermittelt Data Contracts als ausführbare Qualitätsspezifikation. Verträge werden in YAML strukturiert, lokal getestet, gegen Daten verifiziert und kontrolliert mit Soda Cloud verbunden.

Die Übungen folgen einem Software-Engineering-Ansatz mit versionierbaren Dateien, reproduzierbaren Umgebungen und eindeutigem Pass-Fail-Verhalten. Jeder Schritt wird durch fehlerhafte und korrigierte Datenstände geprüft.

Lernziele

• Soda Core und datenquellenspezifische Pakete reproduzierbar installieren
• Data Contracts mit Schema-, Dataset- und Spaltenchecks korrekt modellieren
• Schwellenwerte, Filter, Variablen und benannte Checks gezielt einsetzen
• Verträge testen, veröffentlichen, abrufen und lokal oder remote verifizieren

Inhaltsübersicht

1. Arbeitsumgebung und Datenquelle vorbereiten
2. Contract-YAML und Dataset-Identität aufbauen
3. Schema- und Dataset-Checks modellieren
4. Spaltenchecks und Qualitätsregeln erstellen
5. Filter, Variablen und wiederverwendbare Konfiguration nutzen
6. CLI-Workflow für Verträge anwenden
7. Soda Cloud und Ausführungsvarianten anbinden
8. Contract-Testfall vollständig abnehmen

Seminarinhalte

1. Arbeitsumgebung und Datenquelle vorbereiten

1. Schritt 1: Isolierte Python-Umgebung und passendes Soda-Datenquellenpaket installieren.
2. Schritt 2: Datenquellenkonfiguration mit minimalen Zugangsdaten erstellen.
3. Schritt 3: Verbindung und Treiberparameter mit einem kontrollierten Test prüfen.
4. Schritt 4: Dateistruktur für Konfiguration, Verträge, Tests und Ausgaben festlegen.

2. Contract-YAML und Dataset-Identität aufbauen

1. Schritt 1: Vollständig qualifizierten Dataset-Namen aus Quelle, Präfixen und Objekt ableiten.
2. Schritt 2: Dataset-, Checks- und Columns-Blöcke korrekt strukturieren.
3. Schritt 3: Vertrag mit Namen, Beschreibungen und maschinenlesbaren Attributen ergänzen.
4. Schritt 4: Syntaxprüfung ausführen und Strukturfehler gezielt korrigieren.

3. Schema- und Dataset-Checks modellieren

1. Schritt 1: Erwartete Spalten, Datentypen und Strukturänderungen definieren.
2. Schritt 2: Zeilenzahl, Freshness und weitere datasetweite Prüfungen ergänzen.
3. Schritt 3: Muss-, Warn- und Toleranzanforderungen durch passende Grenzen ausdrücken.
4. Schritt 4: Vertrag gegen kontrollierte Schema- und Volumenabweichungen verifizieren.

4. Spaltenchecks und Qualitätsregeln erstellen

1. Schritt 1: Missing-, Duplicate- und Invalid-Prüfungen für kritische Attribute auswählen.
2. Schritt 2: Gültige Werte, Formate und numerische Bereiche definieren.
3. Schritt 3: Schwellenwerte absolut oder prozentual passend zur Datenmenge setzen.
4. Schritt 4: Fehlerbilder erzeugen und Prüfergebnisse bis zur betroffenen Regel verfolgen.

5. Filter, Variablen und wiederverwendbare Konfiguration nutzen

1. Schritt 1: Prüfbereich mit Dataset- oder Check-Filtern begrenzen.
2. Schritt 2: Laufzeitabhängige Werte als Variablen statt harter Kodierung definieren.
3. Schritt 3: Partitionen und Zeitfenster für inkrementelle Daten berücksichtigen.
4. Schritt 4: Mehrere Umgebungen mit konsistenten Verträgen und getrennten Werten testen.

6. CLI-Workflow für Verträge anwenden

1. Schritt 1: Vertrag aus vorhandenem Dataset bootstrappen oder manuell erstellen.
2. Schritt 2: Dry Run und lokale Verifikation in einer festen Befehlsfolge ausführen.
3. Schritt 3: Ergebnisse, Exitcodes und ausführliche Logs für Automatisierung auswerten.
4. Schritt 4: Fehlerhafte Konfiguration, ungültigen Vertrag und fachlichen Checkfehler unterscheiden.

7. Soda Cloud und Ausführungsvarianten anbinden

1. Schritt 1: Cloud-Konfiguration mit API-Schlüssel sicher bereitstellen.
2. Schritt 2: Vertrag veröffentlichen und mit Berechtigungen sowie Version prüfen.
3. Schritt 3: Vertrag aus Soda Cloud abrufen und Abweichungen kontrollieren.
4. Schritt 4: Lokale Ausführung und Runner-Ausführung nach Netzwerk- und Governance-Anforderung auswählen.

8. Contract-Testfall vollständig abnehmen

1. Schritt 1: Akzeptanzkriterien und erwartete Pass-Fail-Matrix definieren.
2. Schritt 2: Gute, grenzwertige und fehlerhafte Datenstände verifizieren.
3. Schritt 3: Vertrag und Datenkorrektur getrennt versionieren und erneut testen.
4. Schritt 4: Abnahmeprotokoll mit Vertrag, Laufkontext, Ergebnis und Freigabe erstellen.

Praxislabor

Ein vollständiger Data Contract wird für ein Beispiel-Dataset erstellt, mit Schema- und Spaltenfehlern getestet, versioniert, veröffentlicht und erneut verifiziert. Die Übung beinhaltet lokale und remote geplante Ausführung sowie die Auswertung von Exitcodes.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Analytics Engineering, Softwareentwicklung, Data Quality Engineering und technische Datenproduktteams.

Voraussetzungen: Gute YAML- und SQL-Grundkenntnisse, sichere Arbeit in der Kommandozeile und grundlegende Python-Paketverwaltung.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.