Seminar dbt Core – Kompaktseminar von der Installation zur produktiven Pipeline

Das Kompaktformat vermittelt die zentralen Arbeitsschritte von der leeren Projektablage bis zu einer getesteten und automatisierbaren Pipeline. Die Übungen bauen aufeinander auf und ergeben am Ende ein vollständiges Referenzprojekt mit Betriebscheckliste.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• dbt Core installieren, verbinden und ein strukturiertes Projekt anlegen.
• Sources und SQL-Modelle in einer klaren Schichtenarchitektur entwickeln.
• Materialisierungen und inkrementelle Verarbeitung zweckgerecht einsetzen.
• Datenprüfungen, Unit Tests, Dokumentation und Makros integrieren.
• Git-, CI- und Produktionsabläufe zu einem einheitlichen Prozess verbinden.

Schrittweise Seminarinhalte

1. dbt Core im modernen Datenstack

Schwerpunkt: ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „dbt Core im modernen Datenstack“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgegrenztes Zielbild für Entwicklung, Ausführung und Betrieb von dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Isolierte Installation und Python-Umgebung

Schwerpunkt: Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Isolierte Installation und Python-Umgebung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine reproduzierbare lokale dbt-Core-Installation mit dokumentierter Versionsbasis dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Aufbau eines dbt-Projekts

Schwerpunkt: Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Aufbau eines dbt-Projekts“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine wartbare Projektstruktur mit klaren Ablage- und Benennungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Sources und Quelltabellenverträge

Schwerpunkt: Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Sources und Quelltabellenverträge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständige Source-Definition mit nachvollziehbarer Herkunft und Namensauflösung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Staging-, Intermediate- und Mart-Schichten

Schwerpunkt: Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Staging-, Intermediate- und Mart-Schichten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine skalierbare Schichtenarchitektur mit klaren Abhängigkeitsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. ref(), source() und der gerichtete Abhängigkeitsgraph

Schwerpunkt: logische Referenzen, Kompilierung auf physische Relationen, DAG-Kanten, Upstream- und Downstream-Auswahl sowie zyklische Abhängigkeiten.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „ref(), source() und der gerichtete Abhängigkeitsgraph“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu logische Referenzen, Kompilierung auf physische Relationen, DAG-Kanten, Upstream- und Downstream-Auswahl sowie zyklische Abhängigkeiten identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen nachvollziehbaren DAG mit stabilen logischen Schnittstellen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Standardmaterialisierungen im Vergleich

Schwerpunkt: view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Standardmaterialisierungen im Vergleich“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine Entscheidungsmatrix für die passende Materialisierung je Modellklasse dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Grundlagen inkrementeller Modelle

Schwerpunkt: is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Grundlagen inkrementeller Modelle“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein korrekt wiederholbares inkrementelles Modell mit dokumentierter Ladegrenze dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

9. Datenprüfungen und Qualitätsregeln

Schwerpunkt: unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenprüfungen und Qualitätsregeln“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Satz ausführbarer Datenqualitätsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

10. Unit Tests für SQL-Modelllogik

Schwerpunkt: given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Unit Tests für SQL-Modelllogik“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen isolierten Unit-Test für komplexe SQL-Entscheidungslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

11. Jinja-Grundlagen in SQL und YAML

Schwerpunkt: Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Jinja-Grundlagen in SQL und YAML“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis lesbare Jinja-Templates mit kontrollierter SQL-Erzeugung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

12. Makros, Argumente und wiederverwendbare SQL-Bausteine

Schwerpunkt: macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Makros, Argumente und wiederverwendbare SQL-Bausteine“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine getestete Makrobibliothek für wiederkehrende Transformationslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

13. Beschreibungen, Docs Blocks und Metadatenqualität

Schwerpunkt: Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Beschreibungen, Docs Blocks und Metadatenqualität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständig beschriebene Modellgruppe mit überprüfbarer Mindestqualität dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

14. Repository-, Branch- und Commit-Strategie

Schwerpunkt: Projektablage, .gitignore, Feature Branches, kleine Commits, Commit-Nachrichten, Pull Requests und geschützte Hauptzweige.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Repository-, Branch- und Commit-Strategie“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektablage, .gitignore, Feature Branches, kleine Commits, Commit-Nachrichten, Pull Requests und geschützte Hauptzweige identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen verbindlichen Git-Arbeitsablauf für dbt-Projekte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

15. CI-Pipeline und Slim-CI-Ablauf

Schwerpunkt: Checkout, Installation, deps, parse, unit tests, state-basierter build, Artefakte, Dokumentation, Cache und Freigabestatus.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „CI-Pipeline und Slim-CI-Ablauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Checkout, Installation, deps, parse, unit tests, state-basierter build, Artefakte, Dokumentation, Cache und Freigabestatus identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine ausführbare Pull-Request-Pipeline mit begrenztem Datenbankaufwand dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

16. Laufzeitpaket, Container und unveränderliche Builds

Schwerpunkt: Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Laufzeitpaket, Container und unveränderliche Builds“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein reproduzierbares, freigegebenes Laufzeitpaket für dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines vollständigen Laborprojekts mit Staging-, Intermediate- und Mart-Schicht.
• Erweiterung um Data Tests, Unit Test, Dokumentation und ein wiederverwendbares Makro.
• Umstellung eines Modells auf inkrementelle Verarbeitung mit kontrolliertem Wiederaufbau.
• Entwurf einer CI- und Produktionspipeline einschließlich Artefakten und Runbook.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, BI-Entwicklung, Datenarchitektur, Plattformbetrieb und technische Projektteams.

Voraussetzungen: Sichere SQL-Grundkenntnisse, grundlegende Datenbankkenntnisse und Routine auf der Kommandozeile.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.