Seminar dbt Core – Deployment, Scheduling und produktiver Betrieb

dbt Core führt Transformationen aus, bringt jedoch keinen zentralen Produktionsscheduler mit. Das Seminar zeigt deshalb, wie Code, Umgebung, Secrets, Selektoren und Artefakte zu wiederholbaren Jobs in einer extern orchestrierten Betriebsplattform verbunden werden.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Ein unveränderliches und reproduzierbares Laufzeitpaket erstellen.
• Produktionsjobs anhand von Abhängigkeiten, Selektoren und Servicezielen zuschneiden.
• Scheduling, Parallelität und Wartungsfenster sicher koordinieren.
• Retries, Teilfehler, Backfills und Rollbacks kontrolliert behandeln.
• Monitoring, Artefakte, Runbooks und Verantwortungsübergaben operationalisieren.

Schrittweise Seminarinhalte

1. Laufzeitpaket, Container und unveränderliche Builds

Schwerpunkt: Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Laufzeitpaket, Container und unveränderliche Builds“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein reproduzierbares, freigegebenes Laufzeitpaket für dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Scheduling und externe Orchestrierung

Schwerpunkt: Betriebssystem-Scheduler, CI-Runner, Workflow-Orchestratoren, Abhängigkeiten zu Ladeprozessen, Kalender, Zeitzonen und Wartungsfenster.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Scheduling und externe Orchestrierung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Betriebssystem-Scheduler, CI-Runner, Workflow-Orchestratoren, Abhängigkeiten zu Ladeprozessen, Kalender, Zeitzonen und Wartungsfenster identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen abgestimmten Zeit- und Abhängigkeitsplan für produktive dbt-Läufe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Jobzuschnitt, Selektoren und Ausführungsreihenfolge

Schwerpunkt: build versus getrennte Kommandos, Ressourcenauswahl, Tags, Freshness, Snapshots, Seeds, Teilprojekte, Dokumentation und Semantikprüfungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Jobzuschnitt, Selektoren und Ausführungsreihenfolge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu build versus getrennte Kommandos, Ressourcenauswahl, Tags, Freshness, Snapshots, Seeds, Teilprojekte, Dokumentation und Semantikprüfungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen wartbaren Satz klar abgegrenzter Produktionsjobs dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Node Selection und Selektoren

Schwerpunkt: Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Node Selection und Selektoren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis wiederverwendbare Selektoren für lokale Entwicklung, CI und Produktionsläufe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Parallelität, Locks und gleichzeitige Läufe

Schwerpunkt: Threads, Warehouse-Kapazität, konkurrierende Jobs, Schemakollisionen, inkrementelle Tabellen, Snapshot-Ziele und Sperrstrategien.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Parallelität, Locks und gleichzeitige Läufe“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Threads, Warehouse-Kapazität, konkurrierende Jobs, Schemakollisionen, inkrementelle Tabellen, Snapshot-Ziele und Sperrstrategien identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein sicheres Parallelitäts- und Ausschlusskonzept für den Regelbetrieb dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Retry, Idempotenz und Wiederanlauf

Schwerpunkt: fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Retry, Idempotenz und Wiederanlauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Wiederanlaufverfahren für technische und fachliche Fehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Observability mit Artefakten und Kennzahlen

Schwerpunkt: run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Observability mit Artefakten und Kennzahlen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen messbaren Betriebsstatus mit definierten Kennzahlen und Alarmgrenzen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Incident-, Problem- und Change-Runbooks

Schwerpunkt: Priorität, Auswirkung, Sofortmaßnahme, Beweissicherung, Root Cause, Known Error, Korrektur, Abnahme und Nachkontrolle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Incident-, Problem- und Change-Runbooks“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Priorität, Auswirkung, Sofortmaßnahme, Beweissicherung, Root Cause, Known Error, Korrektur, Abnahme und Nachkontrolle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein vollständiges technisches Runbook für den produktiven dbt-Betrieb dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Erstellung eines versionierten Laufzeitpakets mit getrennt eingebundenem Profil.
• Entwurf eines Jobplans für Freshness, Snapshots, Builds, Tests und Dokumentation.
• Simulation eines Teilfehlers mit result-basierter Wiederholung und kontrolliertem Backfill.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Platform Operations, DevOps, Analytics Engineering, Data Engineering, Service Management und technische Projektleitung.

Voraussetzungen: dbt-Core-Grundkenntnisse, Erfahrung mit Linux oder Containerlaufzeiten sowie grundlegendes Verständnis von Scheduling und CI.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.