Seminar OpenLineage Observability, Data Quality und Governance

Zielsetzung

Das Seminar verbindet OpenLineage und Marquez mit Data Observability, Datenqualitätsprozessen und Governance-Anforderungen. Es zeigt, wie Lineage-Metadaten für Ursachenanalyse, Auswirkungsbewertung, Verantwortlichkeiten und Datenproduktsteuerung genutzt werden.

Inhaltsübersicht

• Lineage als Grundlage für Ursachenanalyse und Impact-Analyse
• Verbindung von Laufzeitmetadaten, Qualitätshinweisen und fachlichen Verantwortlichkeiten
• Governance-Strukturen für Namespaces, Datasets und Datenprodukte
• Auswertung von Fehlern, Laufzeiten, Aktualität und Abhängigkeiten
• Mindestanforderungen an verwertbare Lineage-Metadaten

Seminarinhalte

1. Schritt 1: Nutzen von Lineage konkretisieren
   Lineage wird nicht als Selbstzweck betrachtet. Das Seminar ordnet konkrete Anwendungsfälle zu: Ursachenanalyse, Auswirkungsbewertung, Audit, Datenqualitätsprüfung, Betriebsanalyse und Kommunikation zwischen Teams.
2. Schritt 2: Observability-Daten einordnen
   Laufzeit, Status, Fehler, Wiederholungen und technische Details werden in Beziehung zur Datenverarbeitung gesetzt. So entsteht ein Bild, wann ein Datenfluss technisch erfolgreich, fachlich aber trotzdem fragwürdig sein kann.
3. Schritt 3: Qualitätsinformationen ergänzen
   Schema, Tests, Prüfregeln, Frische, Vollständigkeit und bekannte Einschränkungen werden als ergänzende Informationen betrachtet. Nicht jede Qualitätsregel gehört in Lineage, aber Lineage zeigt, wo ihre Wirkung entsteht.
4. Schritt 4: Governance-Modell aufbauen
   Verantwortlichkeiten, Namensräume, Datenproduktgrenzen und Kritikalität werden strukturiert. Ziel ist eine Ordnung, die auch nach mehreren Teams und vielen Pipelines noch lesbar bleibt.
5. Schritt 5: Impact- und Root-Cause-Analyse üben
   Fehler in vorgelagerten Datenquellen, verspätete Läufe und geänderte Ausgabeschemata werden analysiert. Die Lineage dient dabei als Navigationsinstrument für die technische und fachliche Bewertung.
6. Schritt 6: Kennzahlen und Prüfregeln festlegen
   Geeignete Mindestkennzahlen werden definiert: Abdeckungsgrad, fehlende Datasets, fehlerhafte Runs, verwaiste Jobs, Namensabweichungen und Aktualitätsprobleme.
7. Schritt 7: Governance-Betrieb vorbereiten
   Zum Abschluss entsteht ein Regelwerk für Rollen, Pflegeprozesse, Prüfung der Metadatenqualität und Eskalationswege bei fehlerhafter Lineage.

Praktische Übungen

• Bewertung eines Lineage-Graphen aus Governance-Sicht
• Analyse einer fehlerhaften Pipeline mit Root-Cause-Methode
• Ableitung betroffener Datenprodukte aus einem Quellenproblem
• Definition von Qualitätsmetadaten für Datasets und Runs
• Erstellung einer Governance-Checkliste für OpenLineage-Umgebungen

Zielgruppe

Data Governance Teams, Data Stewards, Data Engineers, Plattformteams, BI-Verantwortliche und Datenproduktverantwortliche.

Voraussetzungen

Grundverständnis von Datenpipelines, Datenqualität und organisatorischer Datenverantwortung.