Seminar dbt Core – Adapter, Profile und Umgebungsmanagement

Das Seminar behandelt die technische Laufzeitbasis eines stabilen dbt-Core-Betriebs. Adapter, Profile, Authentisierung und Zielumgebungen werden so aufgebaut, dass lokale Entwicklung, automatisierte Prüfung und Produktion reproduzierbar getrennt bleiben.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Core- und Adapterversionen kompatibel auswählen und reproduzierbar installieren.
• profiles.yml mit mehreren Outputs, Targets und sicheren Authentisierungsverfahren konfigurieren.
• Entwicklungs-, Test- und Produktionsschemas konfliktfrei voneinander trennen.
• Secrets über Umgebungsvariablen und Laufzeitplattformen bereitstellen.
• Verbindungs-, TLS-, Rollen- und Berechtigungsfehler systematisch diagnostizieren.

Schrittweise Seminarinhalte

1. Adapterarchitektur und Kompatibilität

Schwerpunkt: Trennung von Core-Engine und Adapter, unterstützte Datenplattform, Versionsmatrix, Paketabhängigkeiten und Freigabestatus.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adapterarchitektur und Kompatibilität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Trennung von Core-Engine und Adapter, unterstützte Datenplattform, Versionsmatrix, Paketabhängigkeiten und Freigabestatus identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine belastbare Adapter- und Versionsmatrix für Entwicklung, CI und Produktion dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Adapterinstallation und reproduzierbare Abhängigkeiten

Schwerpunkt: virtuelle Umgebung, Core- und Adapterversion, Constraints, Locking, Installationsprüfung und getrennte Laufzeitimages.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adapterinstallation und reproduzierbare Abhängigkeiten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu virtuelle Umgebung, Core- und Adapterversion, Constraints, Locking, Installationsprüfung und getrennte Laufzeitimages identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein reproduzierbares Installationspaket für lokale Nutzung, CI und Produktion dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Profile, Outputs und Verbindungen

Schwerpunkt: profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Profile, Outputs und Verbindungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein mehrstufiges Profil mit getrennten Entwicklungs- und Produktionszielen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Erweiterte Profile und Authentisierungsvarianten

Schwerpunkt: mehrere Outputs, Rollenwechsel, Schlüssel- oder Tokenauthentisierung, Threads, Timeouts, Retry-Parameter und Query-Tags.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Erweiterte Profile und Authentisierungsvarianten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu mehrere Outputs, Rollenwechsel, Schlüssel- oder Tokenauthentisierung, Threads, Timeouts, Retry-Parameter und Query-Tags identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein gehärtetes Profil für mehrere Betriebsrollen und Zielumgebungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Umgebungen, Targets und Schemastrategie

Schwerpunkt: Entwicklung, Test, Abnahme und Produktion, target.name, persönliche Schemas, generate_schema_name, Bereinigung und Datenisolation.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Umgebungen, Targets und Schemastrategie“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Entwicklung, Test, Abnahme und Produktion, target.name, persönliche Schemas, generate_schema_name, Bereinigung und Datenisolation identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine konfliktfreie Umgebungs- und Schemastrategie für mehrere Entwickler und Pipelines dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Umgebungsvariablen und Secret Handling

Schwerpunkt: env_var, Secret Stores, CI-Variablen, Rotation, Maskierung, lokale Entwicklungswerte und Ausschluss sensibler Dateien aus Git.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Umgebungsvariablen und Secret Handling“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu env_var, Secret Stores, CI-Variablen, Rotation, Maskierung, lokale Entwicklungswerte und Ausschluss sensibler Dateien aus Git identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein dokumentiertes Verfahren zur geheimnisfreien Projektablage und sicheren Laufzeitkonfiguration dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Adapterspezifische Konfiguration und Portabilität

Schwerpunkt: Datentypen, Quoting, Schema- und Datenbanknamen, Materialisierungen, inkrementelle Strategien, Grants und Katalogabfragen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adapterspezifische Konfiguration und Portabilität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Datentypen, Quoting, Schema- und Datenbanknamen, Materialisierungen, inkrementelle Strategien, Grants und Katalogabfragen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine dokumentierte Portabilitätsmatrix mit bewusst akzeptierten Plattformunterschieden dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Verbindungsdiagnose und Berechtigungsfehler

Schwerpunkt: dbt debug, DNS, TLS, Proxy, Netzwerkpfad, Authentisierung, Rollen, Warehouse-Zustand, Timeouts und Logauswertung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Verbindungsdiagnose und Berechtigungsfehler“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dbt debug, DNS, TLS, Proxy, Netzwerkpfad, Authentisierung, Rollen, Warehouse-Zustand, Timeouts und Logauswertung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen reproduzierbaren Diagnosebaum für Verbindungs- und Berechtigungsstörungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Aufbau einer isolierten Installation mit festgelegter Core- und Adapterversion.
• Konfiguration eines Profils mit Entwicklungs-, CI- und Produktionsoutput.
• Analyse vorbereiteter Fehler bei TLS, Rollen, Schemaerzeugung und Secret-Auflösung.

Zielgruppe und Voraussetzungen

Zielgruppe: Data-Platform-Administration, Analytics Engineering, DevOps, CI/CD-Verantwortliche und technische Projektleitung.

Voraussetzungen: Grundkenntnisse in Python, Kommandozeile, Datenbankverbindungen und dem eingesetzten Data Warehouse.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.