Seminar dbt Core – Dokumentation, Lineage, Exposures und Artefakte

Das Seminar macht den dbt-DAG als fachliche und technische Dokumentationsgrundlage nutzbar. Neben Beschreibungen und Exposures stehen die erzeugten Artefakte im Mittelpunkt, damit Änderungen, Laufzustände und nachgelagerte Auswirkungen nachvollziehbar bleiben.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Modelle, Spalten, Sources und weitere Ressourcen konsistent beschreiben.
• Lineage für Auswirkungsanalysen und selektive Prüfungen verwenden.
• Kritische Dashboards, Anwendungen und Prozesse als Exposures erfassen.
• Manifest, Catalog, Run Results und Freshness-Artefakte auswerten.
• dbt Docs kontrolliert erzeugen, prüfen und bereitstellen.

Schrittweise Seminarinhalte

1. Beschreibungen, Docs Blocks und Metadatenqualität

Schwerpunkt: Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Beschreibungen, Docs Blocks und Metadatenqualität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständig beschriebene Modellgruppe mit überprüfbarer Mindestqualität dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Lineage und Abhängigkeitsanalyse

Schwerpunkt: ref- und source-Kanten, DAG-Navigation, Upstream- und Downstream-Auswirkungen, Gruppen, Tags und Änderungsanalyse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Lineage und Abhängigkeitsanalyse“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ref- und source-Kanten, DAG-Navigation, Upstream- und Downstream-Auswirkungen, Gruppen, Tags und Änderungsanalyse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine dokumentierte Auswirkungsanalyse für eine geplante Modelländerung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Exposures und nachgelagerte Verwendungen

Schwerpunkt: Dashboards, Anwendungen, Data-Science-Prozesse, Owner, Abhängigkeiten, Reifegrad, Kritikalität und selektive Builds.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Exposures und nachgelagerte Verwendungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Dashboards, Anwendungen, Data-Science-Prozesse, Owner, Abhängigkeiten, Reifegrad, Kritikalität und selektive Builds identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine gepflegte Exposure-Landkarte für kritische Datenprodukte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Manifest, Catalog, Run Results und weitere Artefakte

Schwerpunkt: manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Manifest, Catalog, Run Results und weitere Artefakte“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Artefaktkatalog mit definierten Aufbewahrungs- und Auswertungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Dokumentation erzeugen, prüfen und bereitstellen

Schwerpunkt: docs generate, lokale Vorschau, Artefaktablage, Zugriffsschutz, Aktualität, Build-Reihenfolge und Veröffentlichungsprozess.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Dokumentation erzeugen, prüfen und bereitstellen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu docs generate, lokale Vorschau, Artefaktablage, Zugriffsschutz, Aktualität, Build-Reihenfolge und Veröffentlichungsprozess identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen sicheren, automatisierbaren Veröffentlichungsablauf für dbt Docs dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Dokumentation einer Modellgruppe mit Spalten, Ownern und Docs Blocks.
• Erstellung einer Exposure-Landkarte für ein kritisches Reportingprodukt.
• Auswertung von Manifest und Run Results für eine Änderungs- und Laufzeitanalyse.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineering, Data Governance, BI-Entwicklung, Data Product Ownership, Plattformbetrieb und technische Dokumentation.

Voraussetzungen: Grundkenntnisse in dbt Core, YAML und dem Aufbau eines Modell-DAG.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.