Seminar dbt Core – Observability, Logs und Troubleshooting

Das Seminar ersetzt spontane Fehlersuche durch einen festen Diagnoseablauf. Von Invocation-ID und Logevent über kompilierten SQL-Code bis zu Datenbank- und Artefaktinformationen wird jede Störung reproduzierbar eingegrenzt, behoben und als Runbook dokumentiert.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Logs und strukturierte Ereignisse sicher korrelieren und aufbewahren.
• Vom Modellcode zum kompilierten und ausgeführten SQL nachvollziehen.
• Verbindungs-, Parse-, Compiler-, Datenbank- und Testfehler systematisch unterscheiden.
• Artefakte und Laufzeitkennzahlen für proaktive Observability nutzen.
• Incident-, Problem- und Change-Runbooks mit klaren Wiederanlaufschritten erstellen.

Schrittweise Seminarinhalte

1. Events, Konsolenausgabe und dbt.log

Schwerpunkt: Log-Level, strukturierte Ereignisse, Invocation-ID, Thread-ID, Zeitstempel, Warnungen, Fehlercodes, Maskierung und Aufbewahrung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Events, Konsolenausgabe und dbt.log“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Log-Level, strukturierte Ereignisse, Invocation-ID, Thread-ID, Zeitstempel, Warnungen, Fehlercodes, Maskierung und Aufbewahrung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein standardisiertes Verfahren zur Logsammlung und Laufkorrelation dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Kompilierter SQL-Code und Laufzeitdiagnose

Schwerpunkt: target/compiled, target/run, Jinja-Auflösung, Relation-Namen, Adapter-SQL, Query-ID, Datenbankplan und reproduzierbare Ausführung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Kompilierter SQL-Code und Laufzeitdiagnose“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu target/compiled, target/run, Jinja-Auflösung, Relation-Namen, Adapter-SQL, Query-ID, Datenbankplan und reproduzierbare Ausführung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Diagnoseablauf vom Modellcode bis zur tatsächlich ausgeführten Datenbankanweisung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Observability mit Artefakten und Kennzahlen

Schwerpunkt: run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Observability mit Artefakten und Kennzahlen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen messbaren Betriebsstatus mit definierten Kennzahlen und Alarmgrenzen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Verbindungs-, TLS- und Berechtigungsstörungen

Schwerpunkt: Profile, DNS, Zertifikate, Netzwerk, Authentisierung, Rollen, Schemas, Warehouse-Zustand und Timeouts.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Verbindungs-, TLS- und Berechtigungsstörungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Profile, DNS, Zertifikate, Netzwerk, Authentisierung, Rollen, Schemas, Warehouse-Zustand und Timeouts identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Diagnosebaum für Infrastruktur- und Zugriffsfehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Parse-, Compiler- und Jinja-Fehler

Schwerpunkt: YAML-Syntax, Namenskollisionen, nicht gefundene Nodes, zyklische Referenzen, Makroauflösung, execute-Kontext und Packagekonflikte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Parse-, Compiler- und Jinja-Fehler“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu YAML-Syntax, Namenskollisionen, nicht gefundene Nodes, zyklische Referenzen, Makroauflösung, execute-Kontext und Packagekonflikte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine systematische Vorgehensweise zur Eingrenzung von Projekt- und Kompilierungsfehlern dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Datenbank-, Modell- und Testfehler

Schwerpunkt: SQL-Syntax, Datentypen, Schemaänderungen, inkrementelle Zustände, Locks, Ressourcenlimits, fehlerhafte Daten und Testresultate.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenbank-, Modell- und Testfehler“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu SQL-Syntax, Datentypen, Schemaänderungen, inkrementelle Zustände, Locks, Ressourcenlimits, fehlerhafte Daten und Testresultate identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein Maßnahmenkatalog für häufige Laufzeit- und Datenqualitätsstörungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Retry, Idempotenz und Wiederanlauf

Schwerpunkt: fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Retry, Idempotenz und Wiederanlauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Wiederanlaufverfahren für technische und fachliche Fehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Incident-, Problem- und Change-Runbooks

Schwerpunkt: Priorität, Auswirkung, Sofortmaßnahme, Beweissicherung, Root Cause, Known Error, Korrektur, Abnahme und Nachkontrolle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Incident-, Problem- und Change-Runbooks“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Priorität, Auswirkung, Sofortmaßnahme, Beweissicherung, Root Cause, Known Error, Korrektur, Abnahme und Nachkontrolle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein vollständiges technisches Runbook für den produktiven dbt-Betrieb dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Korrelation eines fehlgeschlagenen Laufs über Invocation-ID, Log und Run Results.
• Analyse vorbereiteter Fehler in Profil, YAML, Jinja, inkrementellem Zustand und Datenprüfung.
• Erstellung eines Incident-Runbooks mit Sofortmaßnahme, Root Cause und Nachkontrolle.

Zielgruppe und Voraussetzungen

Zielgruppe: Second- und Third-Level-Support, Analytics Engineering, Data Platform Operations, DevOps und technische Serviceverantwortung.

Voraussetzungen: dbt-Core-Grundkenntnisse, Erfahrung mit SQL, Datenbankberechtigungen, Logs und produktiven Datenpipelines.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.