Seminar dbt Core – Data Tests, Unit Tests und Test-Driven Development

Das Seminar verbindet klassische Datenqualitätsprüfungen mit isolierten Unit Tests für SQL-Logik. Aus fachlichen Risiken entstehen konkrete Tests, aussagekräftige Fehlermeldungen und abgestufte Reaktionen für Entwicklung, CI und Produktionsbetrieb.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Datenqualitätsrisiken in passende Testarten und Prüfstufen übersetzen.
• Standardtests, eigene generische Tests und singuläre Tests wartbar strukturieren.
• Komplexe SQL-Logik mit statischen Unit-Test-Eingaben vor der Materialisierung prüfen.
• Test-Driven Development für analytische Transformationen anwenden.
• Fehleranalyse, store_failures, Severity und CI-Gates betrieblich beherrschen.

Schrittweise Seminarinhalte

1. Datenprüfungen und Qualitätsregeln

Schwerpunkt: unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenprüfungen und Qualitätsregeln“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Satz ausführbarer Datenqualitätsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Eigene generische Tests

Schwerpunkt: test-Blöcke, Parameter, column_name, zusätzliche Argumente, Konfiguration, Wiederverwendung und verständliche Fehlerausgaben.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Eigene generische Tests“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu test-Blöcke, Parameter, column_name, zusätzliche Argumente, Konfiguration, Wiederverwendung und verständliche Fehlerausgaben identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine wiederverwendbare Bibliothek fachlicher und technischer Qualitätstests dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Singuläre Tests und komplexe Qualitätsabfragen

Schwerpunkt: SQL-basierte Fehlerabfragen, Geschäftsregeln, Join-Prüfungen, Schwellenwerte, Debugging und Ergebnisablage.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Singuläre Tests und komplexe Qualitätsabfragen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu SQL-basierte Fehlerabfragen, Geschäftsregeln, Join-Prüfungen, Schwellenwerte, Debugging und Ergebnisablage identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen nachvollziehbaren Test für eine komplexe, projektbezogene Regel dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Unit Tests für SQL-Modelllogik

Schwerpunkt: given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Unit Tests für SQL-Modelllogik“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen isolierten Unit-Test für komplexe SQL-Entscheidungslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Test-Driven Development im Analytics Engineering

Schwerpunkt: fachliches Beispiel, zuerst fehlschlagender Test, minimale Implementierung, Refactoring, Regression und Review.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Test-Driven Development im Analytics Engineering“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fachliches Beispiel, zuerst fehlschlagender Test, minimale Implementierung, Refactoring, Regression und Review identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen wiederholbaren TDD-Ablauf für datenbezogene Transformationslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Source Freshness und Ladezustände

Schwerpunkt: Zeitstempel, Freshness-Schwellen, Warn- und Fehlergrenzen, Filter, sources.json, Scheduler-Reihenfolge und Störungsbehandlung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Source Freshness und Ladezustände“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Zeitstempel, Freshness-Schwellen, Warn- und Fehlergrenzen, Filter, sources.json, Scheduler-Reihenfolge und Störungsbehandlung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen wiederholbaren Freshness-Check mit klarer Reaktion auf verspätete Quelldaten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Testauswahl, Fehleranalyse und Quality Gates

Schwerpunkt: dbt build, indirekte Auswahl, Tags, result-Selektoren, gespeicherte Fehler, Flaky Tests, Quarantäne und CI-Abbruchregeln.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Testauswahl, Fehleranalyse und Quality Gates“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dbt build, indirekte Auswahl, Tags, result-Selektoren, gespeicherte Fehler, Flaky Tests, Quarantäne und CI-Abbruchregeln identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Quality-Gate-Modell für Entwicklung, CI und Produktion dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Observability mit Artefakten und Kennzahlen

Schwerpunkt: run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Observability mit Artefakten und Kennzahlen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen messbaren Betriebsstatus mit definierten Kennzahlen und Alarmgrenzen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Entwicklung einer Testmatrix für Schlüssel, Wertebereiche, Beziehungen und Geschäftsregeln.
• Implementierung eines generischen Tests mit Parametern und verständlicher Fehlerausgabe.
• TDD-Übung für ein Modell mit Datumslogik, CASE-Ausdrücken und Edge Cases.
• Aufbau eines Quality Gates mit Warn-, Fehler- und Quarantäneregeln.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, Data Quality Management, BI-Entwicklung und technische Teamleitung.

Voraussetzungen: Praktische SQL- und dbt-Core-Grundkenntnisse; Erfahrung mit YAML und Versionskontrolle ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.