Seminar Open Data Discovery Platform (ODD) – Integration mit dbt, Airflow, BI und ML

Das Seminar verbindet technische Transformations-, Orchestrierungs-, Berichts- und ML-Metadaten zu einer durchgängigen Sicht in der Open Data Discovery Platform. Besondere Aufmerksamkeit gilt stabilen Identitäten, korrekter Lineage und der Abgrenzung zwischen automatisiert gewonnenem und fachlich gepflegtem Kontext.

Inhaltsverzeichnis

1. Lernziele
2. Zielgruppe
3. Kapitel 1: Integrationsbild und Identitäten
4. Kapitel 2: dbt- und Transformationsmetadaten
5. Kapitel 3: Airflow und Orchestrierung
6. Kapitel 4: BI- und Nutzungsmetadaten
7. Kapitel 5: ML-Metadaten und Betrieb
8. Praxisübungen
9. Voraussetzungen und Anschluss

Lernziele

• Metadatenarten der Werkzeuge fachlich einordnen
• stabile Identitäten und ODDRN-Konventionen festlegen
• Lineage über Systemgrenzen konsistent abbilden
• Integrationen mit Scopes und Testfällen abnehmen
• Betrieb und Änderungskontrolle standardisieren

Zielgruppe

Analytics Engineering, Data Engineering, BI-Entwicklung, ML Engineering, Datenarchitektur und Plattformteams.

Kapitel 1: Integrationsbild und Identitäten

Inhaltsverzeichnis dieses Kapitels

1. Projekte, Umgebungen und Workspaces
2. Modelle, Jobs, Dashboards und Experimente
3. ODDRN über Werkzeuggrenzen
4. Dubletten und identische physische Daten
5. Schritt-für-Schritt-Umsetzung

Objekte aus mehreren Werkzeugen werden in ein gemeinsames, kollisionsfreies Identitätsmodell überführt.

1. Projekte, Umgebungen und Workspaces

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Modelle, Jobs, Dashboards und Experimente

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. ODDRN über Werkzeuggrenzen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Dubletten und identische physische Daten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. Werkzeuge und Umgebungen in einer Matrix erfassen
2. relevante Objekttypen und stabile Schlüssel bestimmen
3. ODDRN-Regeln pro Hierarchiestufe definieren
4. gemeinsame physische Datenobjekte identifizieren
5. Kollisions- und Umbenennungsszenarien testen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 2: dbt- und Transformationsmetadaten

Inhaltsverzeichnis dieses Kapitels

1. dbt-Projekte, Sources und Models
2. Spalten und Dokumentation
3. Tests und Qualitätskontext
4. Compile- und Run-Artefakte
5. Schritt-für-Schritt-Umsetzung

Modelle, Quellen, Tests und Abhängigkeiten werden als nachvollziehbare Transformationskette erfasst.

1. dbt-Projekte, Sources und Models

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Spalten und Dokumentation

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Tests und Qualitätskontext

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Compile- und Run-Artefakte

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. Projekt und Zielumgebung eindeutig zuordnen
2. Sources und Models mit Datenbankentitäten verbinden
3. Spaltenbeschreibungen und Tests übernehmen
4. Modellabhängigkeiten als Lineage prüfen
5. Abweichungen zwischen Artefakt und produktivem Zustand dokumentieren

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 3: Airflow und Orchestrierung

Inhaltsverzeichnis dieses Kapitels

1. DAGs, Tasks und Laufkontext
2. Operatoren und Datenzugriffe
3. zeitliche Abhängigkeiten
4. dynamische Aufgaben und unvollständige Lineage
5. Schritt-für-Schritt-Umsetzung

DAGs und Tasks werden mit den tatsächlich gelesenen und geschriebenen Datenobjekten verbunden.

1. DAGs, Tasks und Laufkontext

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Operatoren und Datenzugriffe

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. zeitliche Abhängigkeiten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. dynamische Aufgaben und unvollständige Lineage

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. repräsentative DAG auswählen
2. Tasks und relevante Ein-/Ausgaben erfassen
3. Identitäten mit physischen Datenobjekten abgleichen
4. Lineage-Pfade im Katalog kontrollieren
5. dynamische oder nicht erkennbare Zugriffe als Lücke kennzeichnen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 4: BI- und Nutzungsmetadaten

Inhaltsverzeichnis dieses Kapitels

1. Workspaces, Reports und Dashboards
2. Datasets, Abfragen und Felder
3. Owner und Zielgruppen
4. Impact auf geschäftskritische Auswertungen
5. Schritt-für-Schritt-Umsetzung

Berichte und Dashboards werden als nachgelagerte Verbraucher mit fachlicher Relevanz eingebunden.

1. Workspaces, Reports und Dashboards

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Datasets, Abfragen und Felder

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Owner und Zielgruppen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Impact auf geschäftskritische Auswertungen

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. BI-Bestand nach produktiver Nutzung priorisieren
2. Datasets und Abfragen auf Quelldaten abbilden
3. Owner und geschäftlichen Zweck ergänzen
4. Downstream-Lineage bis zum Dashboard prüfen
5. kritische Berichte für Change-Impact markieren

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Kapitel 5: ML-Metadaten und Betrieb

Inhaltsverzeichnis dieses Kapitels

1. Experimente, Runs und Modelle
2. Trainings- und Bewertungsdaten
3. Version, Status und Verantwortlichkeit
4. Monitoring und reproduzierbare Aktualisierung
5. Schritt-für-Schritt-Umsetzung

Experimente, Modelle und Trainingsdaten werden in einen kontrollierten Metadatenlebenszyklus eingebettet.

1. Experimente, Runs und Modelle

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

2. Trainings- und Bewertungsdaten

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

3. Version, Status und Verantwortlichkeit

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

4. Monitoring und reproduzierbare Aktualisierung

Der Themenbereich wird fachlich eingeordnet, anhand eines repräsentativen Plattformszenarios demonstriert und mit Qualitäts-, Sicherheits- sowie Betriebskriterien verknüpft. Abhängigkeiten, verantwortliche Rollen und typische Fehlannahmen werden dabei ausdrücklich dokumentiert.

Schritt für Schritt

1. ML-Objekte und erforderliche Attribute bestimmen
2. Trainingsdaten über stabile Identitäten verknüpfen
3. Modellversion und Status dokumentieren
4. Integration mit repräsentativen Runs testen
5. Laufintervalle, Fehlerbehandlung und Owner festlegen

Kontrollpunkte

• Ergebnis ist fachlich und technisch nachvollziehbar.
• Verantwortung, Voraussetzungen und Abhängigkeiten sind benannt.
• Fehlerfälle, Rückfalloptionen und Nachkontrolle sind dokumentiert.

Praxisübungen

1. werkzeugübergreifendes Identitätsmodell erstellen
2. dbt-Lineage anhand eines Beispielprojekts prüfen
3. Airflow-DAG mit Datenobjekten verbinden
4. BI-Impact-Pfad analysieren
5. ML-Modell und Trainingsdaten katalogisieren

Voraussetzungen und Anschluss

Voraussetzungen: Grundkenntnisse mindestens eines behandelten Werkzeugs sowie zu Datenmodellen und Pipelines.

Anschluss: Als Vertiefung eignen sich Data Lineage und Impact-Analyse sowie ML- und Vector-Store-Metadaten.