Seminar OpenLineage Integration mit Apache Spark

Zielsetzung

Das Seminar vermittelt die OpenLineage-Erfassung in Spark-basierten Datenverarbeitungen. Behandelt werden Konfiguration, Laufzeitmetadaten, Dataset-Erkennung, SQL- und DataFrame-Verarbeitung sowie die Analyse der Ergebnisse in Marquez.

Inhaltsübersicht

• Einordnung von Spark-Anwendungen, Jobs, Stages und Datenzugriffen
• OpenLineage-Konfiguration für Spark-Umgebungen
• Erfassung von Eingabe- und Ausgabedatasets in Batch-Verarbeitung
• Unterschiede zwischen SQL-, DataFrame- und dateibasierten Zugriffen
• Fehleranalyse bei fehlender oder unvollständiger Lineage

Seminarinhalte

1. Schritt 1: Spark-Laufzeiten verstehen
   Spark-Anwendungen werden in ihren technischen Ebenen betrachtet: Anwendung, Job, Stage, Task, SQL-Abfrage und Datenzugriff. Nicht jede Ebene ist für fachliche Lineage gleich wichtig.
2. Schritt 2: OpenLineage anbinden
   Die benötigte Konfiguration wird schrittweise aufgebaut. Zielendpunkt, Namespace, Umgebungsparameter und Laufzeitoptionen werden so gesetzt, dass Ereignisse reproduzierbar entstehen.
3. Schritt 3: Batch-Pipeline ausführen
   Eine Spark-Verarbeitung liest Quelldaten, transformiert sie und schreibt Ergebnisdaten. Die entstehenden OpenLineage-Ereignisse werden geprüft und mit dem sichtbaren Marquez-Graphen abgeglichen.
4. Schritt 4: Zugriffsmuster vergleichen
   SQL-Abfragen, DataFrames, Tabellenzugriffe und dateibasierte Ein- und Ausgaben werden verglichen. Dabei wird deutlich, wo automatische Erkennung gut funktioniert und wo explizite Modellierung nötig wird.
5. Schritt 5: Schema- und Qualitätsinformationen ergänzen
   Schemaangaben, technische Laufzeitdaten und qualitätsrelevante Hinweise werden als Metadaten betrachtet. Es wird geklärt, welche Informationen für Betrieb, Governance und Impact-Analyse wirklich nützlich sind.
6. Schritt 6: Fehlerbilder bearbeiten
   Fehlende Events, falsche Dataset-Pfade, wechselnde Job-Namen und getrennte Umgebungen werden nachgestellt. Die Reparatur erfolgt über Konfigurationsprüfung, Namensregeln und strukturierte Diagnose.
7. Schritt 7: Produktionsmuster ableiten
   Aus den Übungen entsteht ein Muster für Spark-Projekte: Mindestkonfiguration, Namensregeln, Testablauf, Betriebsprüfung und Dokumentation für spätere Plattformintegration.

Praktische Übungen

• Konfiguration einer Spark-Verarbeitung für OpenLineage-Ereignisse
• Auswertung der erzeugten Jobs, Runs und Datasets in Marquez
• Vergleich von SQL- und DataFrame-basierten Zugriffen
• Analyse eines fehlerhaften Dataset-Mappings
• Definition eines Produktionsmusters für Spark-Lineage

Zielgruppe

Spark-Entwicklung, Data Engineers, Lakehouse-Teams, Plattformteams und technische Data Stewards.

Voraussetzungen

Praxis in Spark oder PySpark, Grundkenntnisse in Datenplattformen und grundlegendes Verständnis von Batch-Verarbeitung.