Seminar dbt Core – SQL-Modellierung, DAG und Schichtenarchitektur

Das Seminar stellt die fachliche Zeilenbedeutung vor die technische Modellsyntax. Auf dieser Grundlage entstehen klar geschichtete Modelle, stabile Abhängigkeiten und lesbare SQL-Muster, die sich testen, ändern und in Datenprodukte überführen lassen.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Grain, Schlüssel und Modellverantwortung eindeutig festlegen.
• Staging-, Intermediate- und Mart-Schichten zweckgerecht abgrenzen.
• ref() und source() für einen stabilen und analysierbaren DAG einsetzen.
• Robuste SQL-Muster für Joins, Deduplizierung, Datums- und Window-Logik anwenden.
• Dimensions- und Faktmodelle entwickeln und technische Schulden schrittweise abbauen.

Schrittweise Seminarinhalte

1. Grain, Schlüssel und Modellverantwortung

Schwerpunkt: fachliche Zeilenbedeutung, Primärschlüssel, Duplikate, Änderungsverhalten, Nullwerte, Modellname und Eigentümerschaft.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Grain, Schlüssel und Modellverantwortung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fachliche Zeilenbedeutung, Primärschlüssel, Duplikate, Änderungsverhalten, Nullwerte, Modellname und Eigentümerschaft identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine prüfbare Modellvereinbarung mit eindeutigem Grain und Schlüsselkonzept dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Staging-, Intermediate- und Mart-Schichten

Schwerpunkt: Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Staging-, Intermediate- und Mart-Schichten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine skalierbare Schichtenarchitektur mit klaren Abhängigkeitsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. ref(), source() und der gerichtete Abhängigkeitsgraph

Schwerpunkt: logische Referenzen, Kompilierung auf physische Relationen, DAG-Kanten, Upstream- und Downstream-Auswahl sowie zyklische Abhängigkeiten.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „ref(), source() und der gerichtete Abhängigkeitsgraph“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu logische Referenzen, Kompilierung auf physische Relationen, DAG-Kanten, Upstream- und Downstream-Auswahl sowie zyklische Abhängigkeiten identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen nachvollziehbaren DAG mit stabilen logischen Schnittstellen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Robuste SQL-Modellierungsmuster

Schwerpunkt: CTEs, explizite Spaltenlisten, Joins, Deduplizierung, Window Functions, Datumslogik, Nullbehandlung und deterministische Ergebnisse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Robuste SQL-Modellierungsmuster“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CTEs, explizite Spaltenlisten, Joins, Deduplizierung, Window Functions, Datumslogik, Nullbehandlung und deterministische Ergebnisse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen lesbaren und testbaren SQL-Stil für wiederkehrende Transformationsmuster dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Dimensionen, Fakten und veröffentlichte Datenprodukte

Schwerpunkt: Dimensionstabellen, Faktengrain, Surrogatschlüssel, Rollen von Dimensionen, Änderungslogik, Aggregationen und BI-fähige Schnittstellen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Dimensionen, Fakten und veröffentlichte Datenprodukte“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Dimensionstabellen, Faktengrain, Surrogatschlüssel, Rollen von Dimensionen, Änderungslogik, Aggregationen und BI-fähige Schnittstellen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein fachlich abgestimmtes Mart-Modell mit dokumentierten Konsumgrenzen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Datenprüfungen und Qualitätsregeln

Schwerpunkt: unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenprüfungen und Qualitätsregeln“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Satz ausführbarer Datenqualitätsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Beschreibungen, Docs Blocks und Metadatenqualität

Schwerpunkt: Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Beschreibungen, Docs Blocks und Metadatenqualität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständig beschriebene Modellgruppe mit überprüfbarer Mindestqualität dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Refactoring und technische Schulden

Schwerpunkt: lange SQL-Skripte, verschachtelte Unterabfragen, wiederholte Logik, Modellzuschnitt, Makrogrenzen, Tests und schrittweise Umstellung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Refactoring und technische Schulden“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu lange SQL-Skripte, verschachtelte Unterabfragen, wiederholte Logik, Modellzuschnitt, Makrogrenzen, Tests und schrittweise Umstellung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Refactoring-Plan mit kleinen, überprüfbaren Änderungsschritten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Festlegung von Grain und Schlüssel für mehrere fachliche Modelle.
• Aufbau eines Staging-, Intermediate- und Mart-DAG aus einer Rohdatenquelle.
• Refactoring eines monolithischen SQL-Modells mit Tests und dokumentierten Schnittstellen.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, BI-Entwicklung, Datenmodellierung und technische Architektur.

Voraussetzungen: Sichere SQL-Kenntnisse und dbt-Core-Grundlagen; Erfahrung mit dimensionaler Modellierung ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.