Seminar dbt Core – Sources, Seeds und Snapshots

Das Seminar behandelt drei Ressourcentypen, die häufig unterschätzt werden: Sources machen Herkunft und Ladezustand prüfbar, Seeds versionieren kleine Referenzdaten und Snapshots bewahren veränderliche Quellzustände historisch. Für alle drei entstehen klare Einsatz- und Betriebsregeln.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Sources mit Herkunft, Metadaten, Tests und korrekter Namensauflösung definieren.
• Freshness-Schwellen und Reaktionen auf verspätete Ladevorgänge einrichten.
• Seeds für geeignete statische Referenzdaten versioniert verwalten.
• Snapshots mit Timestamp- oder Check-Strategie korrekt historisieren.
• Schemaänderungen, Hard Deletes, Aufbewahrung und Wiederanlauf sicher betreiben.

Schrittweise Seminarinhalte

1. Sources und Quelltabellenverträge

Schwerpunkt: Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Sources und Quelltabellenverträge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständige Source-Definition mit nachvollziehbarer Herkunft und Namensauflösung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Source Freshness und Ladezustände

Schwerpunkt: Zeitstempel, Freshness-Schwellen, Warn- und Fehlergrenzen, Filter, sources.json, Scheduler-Reihenfolge und Störungsbehandlung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Source Freshness und Ladezustände“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Zeitstempel, Freshness-Schwellen, Warn- und Fehlergrenzen, Filter, sources.json, Scheduler-Reihenfolge und Störungsbehandlung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen wiederholbaren Freshness-Check mit klarer Reaktion auf verspätete Quelldaten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Datenprüfungen und Qualitätsregeln

Schwerpunkt: unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenprüfungen und Qualitätsregeln“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Satz ausführbarer Datenqualitätsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Seeds für kleine, statische Referenzdaten

Schwerpunkt: CSV-Struktur, Datentypen, Delimiter, Quoting, Full Refresh, Versionierung, Tests und Abgrenzung zu operativen Stammdaten.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Seeds für kleine, statische Referenzdaten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CSV-Struktur, Datentypen, Delimiter, Quoting, Full Refresh, Versionierung, Tests und Abgrenzung zu operativen Stammdaten identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen kontrollierten Seed-Prozess für selten geänderte Referenzwerte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Snapshots und historisierte Zustände

Schwerpunkt: Slowly Changing Dimension Type 2, Timestamp- und Check-Strategie, unique_key, updated_at, Hard Deletes und Gültigkeitsintervalle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Snapshots und historisierte Zustände“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Slowly Changing Dimension Type 2, Timestamp- und Check-Strategie, unique_key, updated_at, Hard Deletes und Gültigkeitsintervalle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine historisierte Beispieltabelle mit nachvollziehbarer Änderungslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Snapshot-Betrieb, Schemaänderungen und Aufbewahrung

Schwerpunkt: Zielschemas, wiederholte Läufe, Backfills, neue Spalten, Retention, Datenvolumen, Tests und Wiederherstellung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Snapshot-Betrieb, Schemaänderungen und Aufbewahrung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Zielschemas, wiederholte Läufe, Backfills, neue Spalten, Retention, Datenvolumen, Tests und Wiederherstellung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein Betriebs- und Aufbewahrungskonzept für produktive Snapshots dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Node Selection und Selektoren

Schwerpunkt: Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Node Selection und Selektoren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis wiederverwendbare Selektoren für lokale Entwicklung, CI und Produktionsläufe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Retry, Idempotenz und Wiederanlauf

Schwerpunkt: fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Retry, Idempotenz und Wiederanlauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Wiederanlaufverfahren für technische und fachliche Fehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Definition und Test mehrerer Sources einschließlich Freshness-Schwellen.
• Import eines typisierten Seeds mit kontrollierter Änderung und Full Refresh.
• Aufbau eines SCD2-Snapshots und Analyse von Änderung, Löschung und Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, Data Quality, Datenarchitektur und Plattformbetrieb.

Voraussetzungen: dbt-Core- und SQL-Grundkenntnisse sowie Verständnis von Ladezeitpunkten und historischen Datenanforderungen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.