Seminar Airbyte – Transformationen mit dbt und ELT-Architekturen

Von Airbyte geladene Rohdaten werden mit dbt in getestete, dokumentierte und versionierte ELT-Schichten überführt und kontrolliert an Synchronisationen gekoppelt.

Die Schulung verbindet fachliche Einordnung, nachvollziehbare Konfiguration, systematische Prüfung und praktische Übungen an einer durchgängigen Arbeitsumgebung.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Roh-, Staging-, Kern- und Bereitstellungsschichten sinnvoll abgrenzen
• Airbyte-Zielobjekte stabil als dbt-Quellen modellieren
• Modelle, Tests, Dokumentation und inkrementelle Verarbeitung aufbauen
• Schemaänderungen und Ladefehler vor nachgelagerten Modellen abfangen
• Airbyte-Sync und dbt-Ausführung zuverlässig orchestrieren
• CI/CD, Freigabe, Rücknahme und Betriebsüberwachung etablieren

Zielgruppe

Analytics Engineers, Data Engineers, Data Warehouse Entwickler, Data Modeler und technische Verantwortliche für analytische Datenprodukte.

Voraussetzungen

Airbyte-Grundlagen, gute SQL-Kenntnisse, Erfahrung mit einem Data Warehouse und Grundkenntnisse von Git sowie dbt.

Seminarinhalte

Modul 1: ELT-Zielbild und Schichtenmodell

Rohdaten und fachliche Modelle erhalten getrennte Aufgaben, Eigentümer und Qualitätsregeln.

1. Schritt 1: Quellprozesse, Zielverbraucher und Aktualitätsbedarf erfassen
2. Schritt 2: Roh-, Staging-, Kern- und Mart-Schicht definieren
3. Schritt 3: Namens-, Schlüssel- und Historisierungsregeln festlegen
4. Schritt 4: Abnahme- und Qualitätskriterien je Schicht dokumentieren

Modul 2: Airbyte-Zielobjekte als dbt Sources

Geladene Tabellen werden mit eindeutigen Namen, Freshness und Strukturprüfungen eingebunden.

1. Schritt 1: Namespaces und tatsächliche Zieltabellen inventarisieren
2. Schritt 2: dbt-Quellen und Tabellen deklarieren
3. Schritt 3: Freshness-, Pflichtfeld- und Schlüsselprüfungen konfigurieren
4. Schritt 4: Abweichungen zwischen Katalog und Warehouse-Struktur untersuchen

Modul 3: Staging und Typbereinigung

Technische Rohstrukturen werden in konsistente, verständliche Ausgangsmodelle überführt.

1. Schritt 1: Felder auswählen und eindeutige fachliche Namen vergeben
2. Schritt 2: Datums-, Zahlen- und Boolean-Typen normalisieren
3. Schritt 3: Verschachtelte oder technische Metadaten kontrolliert auflösen
4. Schritt 4: Staging-Modell mit Grenz- und Nullwerttests prüfen

Modul 4: Kernmodelle und inkrementelle Verarbeitung

Geschäftslogik wird modular, testbar und bei großen Datenmengen effizient aufgebaut.

1. Schritt 1: Schlüssel, Beziehungen und Änderungslogik des Kernmodells definieren
2. Schritt 2: Inkrementelles Modell und Aktualisierungsstrategie wählen
3. Schritt 3: Verspätete Daten und Rücksetzfälle berücksichtigen
4. Schritt 4: Ergebnis gegen Rohdaten und fachliche Beispiele validieren

Modul 5: Tests, Dokumentation und Lineage

Qualität und Abhängigkeiten werden als ausführbare Regeln statt als separate Papierdokumentation geführt.

1. Schritt 1: Eindeutigkeit, Nicht-Null, Beziehungen und akzeptierte Werte testen
2. Schritt 2: Eigene fachliche Tests für kritische Regeln ergänzen
3. Schritt 3: Modelle, Felder und Eigentümer dokumentieren
4. Schritt 4: Abhängigkeiten und Auswirkung einer Änderung über Lineage prüfen

Modul 6: Schemaänderungen und Fehlergrenzen

Quelländerungen werden abgefangen, bevor sie unbemerkt mehrere Modelle beschädigen.

1. Schritt 1: Neue, entfernte und typgeänderte Felder klassifizieren
2. Schritt 2: Source- und Staging-Tests als frühe Barriere verwenden
3. Schritt 3: Kompatible Anpassung oder kontrollierten Abbruch entscheiden
4. Schritt 4: Migration und Rücknahme für inkompatible Änderungen planen

Modul 7: Orchestrierung von Sync und Transformation

dbt startet erst nach validierter Datenladung und liefert einen eindeutigen Endstatus zurück.

1. Schritt 1: Airbyte-Job und nachgelagerte dbt-Ausführung verknüpfen
2. Schritt 2: Erfolg, Teilfehler, Timeout und Wiederholung definieren
3. Schritt 3: Freshness und Datenstand als Übergabekriterium prüfen
4. Schritt 4: Fehlerpfad und manuelle Wiederaufnahme in einem Runbook dokumentieren

Modul 8: CI/CD und produktive Freigabe

Änderungen an Modellen werden getestet, geprüft und in klaren Schritten ausgerollt.

1. Schritt 1: Lint-, Compile-, Unit- und Datentests in CI ausführen
2. Schritt 2: Test- und Produktionsziele sowie Geheimnisse trennen
3. Schritt 3: Freigabe mit selektivem Build und Smoke-Test durchführen
4. Schritt 4: Rücknahme, Dokumentationspflege und Betriebsüberwachung abschließen

Praxisübungen

1. Entwurf eines ELT-Schichtenmodells für eine Airbyte-Pipeline
2. Deklaration von dbt Sources mit Freshness- und Schlüsselprüfungen
3. Aufbau eines Staging- und inkrementellen Kernmodells mit Tests
4. Simulation einer inkompatiblen Schemaänderung mit kontrolliertem Abbruch
5. Kopplung von Airbyte-Sync und dbt-Lauf einschließlich Fehler- und Retry-Pfad
6. Entwurf einer CI/CD-Freigabe mit Daten- und Smoke-Tests

Methodik

Kurze fachliche Einführungen wechseln mit Demonstrationen, geführten Konfigurationsschritten, eigenständigen Übungen, Fehleranalysen und dokumentierten Abnahmekontrollen. Ergebnisse werden anhand technischer Prüfpunkte und fachlicher Stichproben bewertet.