Seminar dbt Core – Python-Modelle und User-Defined Functions

Das Seminar klärt zuerst, wann Python oder eine UDF gegenüber SQL und Makros wirklich sinnvoll ist. Danach werden Remote-Ausführung, Modell-API, inkrementelle Varianten und datenbankseitige Funktionen so umgesetzt, dass Tests, Berechtigungen und Deployment beherrschbar bleiben.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• SQL, Python-Modell, Makro und UDF anhand technischer Kriterien unterscheiden.
• Adapter- und Runtimevoraussetzungen für Remote-Python-Ausführung prüfen.
• Python-Modelle mit ref(), source(), Konfiguration und DataFrames entwickeln.
• Inkrementelle Python-Modelle und SQL- beziehungsweise Python-UDFs aufbauen.
• Tests, Berechtigungen, Deployment und Fehlerdiagnose für beide Ressourcentypen organisieren.

Schrittweise Seminarinhalte

1. SQL, Python, Makro oder UDF auswählen

Schwerpunkt: Ausführungsort, Datenvolumen, Bibliotheken, Portabilität, Testbarkeit, Wiederverwendung, Laufzeitkosten und Konsum außerhalb von dbt.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „SQL, Python, Makro oder UDF auswählen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ausführungsort, Datenvolumen, Bibliotheken, Portabilität, Testbarkeit, Wiederverwendung, Laufzeitkosten und Konsum außerhalb von dbt identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine Entscheidungsmatrix für die geeignete Implementierungsform dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Python-Runtime und Adaptervoraussetzungen

Schwerpunkt: remote Ausführung auf der Datenplattform, Session, unterstützte Adapter, Python-Abhängigkeiten, Netzwerkzugriff und Ressourcenlimits.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Python-Runtime und Adaptervoraussetzungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu remote Ausführung auf der Datenplattform, Session, unterstützte Adapter, Python-Abhängigkeiten, Netzwerkzugriff und Ressourcenlimits identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine geprüfte Laufzeitarchitektur für Python-Modelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Python-Modell-API und DataFrame-Verarbeitung

Schwerpunkt: model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Python-Modell-API und DataFrame-Verarbeitung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Python-Modell mit klarer Abhängigkeit und Materialisierung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Inkrementelle Python-Modelle

Schwerpunkt: table und incremental, dbt.is_incremental, unique_key, Strategieunterstützung, Filterung, Schemaänderung und Wiederaufbau.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Inkrementelle Python-Modelle“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu table und incremental, dbt.is_incremental, unique_key, Strategieunterstützung, Filterung, Schemaänderung und Wiederaufbau identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein wiederholbares inkrementelles Python-Modell mit definiertem Fehlerverhalten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. User-Defined Functions in SQL und Python

Schwerpunkt: Funktionssignatur, Argumente, Rückgabetyp, SQL- oder Python-Body, Jinja zur Erstellungszeit, Overloads und Adapterunterstützung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „User-Defined Functions in SQL und Python“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Funktionssignatur, Argumente, Rückgabetyp, SQL- oder Python-Body, Jinja zur Erstellungszeit, Overloads und Adapterunterstützung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine versionierte UDF-Definition mit klarer Laufzeitschnittstelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. UDF-Lifecycle, Abhängigkeiten und Bereitstellung

Schwerpunkt: DAG-Knoten, Build-Auswahl, Änderung, Overload, Berechtigungen, Nutzung außerhalb von dbt, Rückwärtskompatibilität und Rollback.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „UDF-Lifecycle, Abhängigkeiten und Bereitstellung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu DAG-Knoten, Build-Auswahl, Änderung, Overload, Berechtigungen, Nutzung außerhalb von dbt, Rückwärtskompatibilität und Rollback identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen kontrollierten Veröffentlichungsprozess für Warehouse-Funktionen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Tests und Fehleranalyse für Python-Modelle und UDFs

Schwerpunkt: Datenprüfungen, SQL-Unit-Tests gegen UDF-Nutzung, Fixture-Daten, Laufzeitlogs, Sessionfehler, Paketfehler und Datenbankdiagnose.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Tests und Fehleranalyse für Python-Modelle und UDFs“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Datenprüfungen, SQL-Unit-Tests gegen UDF-Nutzung, Fixture-Daten, Laufzeitlogs, Sessionfehler, Paketfehler und Datenbankdiagnose identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen adaptergerechten Test- und Diagnosekatalog für Python- und UDF-Komponenten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Laufzeitpaket, Container und unveränderliche Builds

Schwerpunkt: Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Laufzeitpaket, Container und unveränderliche Builds“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektcheckout, Python-Umgebung, Adapter, Packages, Profileinbindung, Artefaktverzeichnisse, Container-Image und Versionskennzeichnung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein reproduzierbares, freigegebenes Laufzeitpaket für dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Implementierung eines Python-Modells mit zwei Upstream-Abhängigkeiten.
• Umstellung auf inkrementelle Verarbeitung mit dokumentierter Schlüssel- und Filterlogik.
• Definition und Nutzung einer UDF einschließlich Build-Auswahl und Berechtigungsprüfung.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineers, Analytics Engineers, Python-Entwicklung, Data Science Engineering und Plattformarchitektur.

Voraussetzungen: Gute dbt-Core-, SQL- und Python-Kenntnisse; eingesetzte Datenplattform und Adapter müssen die benötigte Python- beziehungsweise UDF-Funktion unterstützen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.