Seminar OpenLineage Projektworkshop Proof of Concept bis Rollout

Zielsetzung

Der Workshop führt von der fachlichen Zieldefinition über einen belastbaren Proof of Concept bis zur Rollout-Planung für OpenLineage und Marquez. Im Vordergrund stehen Projektstruktur, technische Architektur, Auswahl der Integrationen, Bewertungskriterien und Betriebsübergabe.

Inhaltsübersicht

• Zielbild, Nutzenargumentation und Abgrenzung für Data-Lineage-Projekte
• Auswahl geeigneter Use Cases für Proof of Concept und Pilotbetrieb
• Technische Architektur mit Produzenten, Backend, UI und Governance-Prozessen
• Bewertungskriterien für Erfolg, Datenqualität, Abdeckung und Betrieb
• Rollout-Planung mit Rollen, Meilensteinen und Übergabe an den Regelbetrieb

Seminarinhalte

1. Schritt 1: Ausgangslage aufnehmen
   Die vorhandene Datenplattform wird strukturiert beschrieben: Orchestrierung, Transformationen, Datenbanken, Data Lake, BI, Verantwortlichkeiten und aktuelle Schmerzpunkte.
2. Schritt 2: Use Cases priorisieren
   Mögliche Anwendungsfälle werden bewertet: Fehleranalyse, Audit, Impact-Analyse, Datenprodukttransparenz, Dokumentation und Qualitätsüberwachung. Der Workshop trennt Pflicht von Wunschzettel, was in Projekten sehr gesund ist.
3. Schritt 3: PoC-Schnitt planen
   Ein schlanker, aber aussagekräftiger Proof of Concept wird definiert. Er enthält konkrete Pipelines, Datasets, Produzenten, Erfolgskriterien und Abnahmepunkte.
4. Schritt 4: Zielarchitektur entwerfen
   OpenLineage-Produzenten, Marquez-Backend, Namensräume, Umgebungen, Zugriffe und Betriebsgrenzen werden in eine Zielarchitektur übertragen.
5. Schritt 5: Bewertungsmodell erstellen
   Der Workshop legt Kriterien fest: Vollständigkeit der Lineage, Datenqualität der Metadaten, Betriebsaufwand, Integrationsfähigkeit, Nutzen für Teams und Risiken.
6. Schritt 6: Pilotbetrieb planen
   Vom PoC wird ein Pilot abgeleitet. Behandelt werden Teamrollen, Zeitplan, Kommunikationswege, Dokumentation, Schulungsbedarf und technische Erweiterungen.
7. Schritt 7: Rollout strukturieren
   Mehrere Integrationswellen werden geplant. Jede Welle erhält Scope, Voraussetzungen, Namensregeln, Abnahmekriterien und Verantwortlichkeiten.
8. Schritt 8: Übergabe in den Betrieb definieren
   Abschließend entsteht ein Übergabepaket mit Architekturentscheidungen, Betriebsregeln, Checklisten, Governance-Vorgaben und nächsten Schritten für den Regelbetrieb.

Praktische Übungen

• Erstellung einer Use-Case-Matrix für Data Lineage
• Definition eines geeigneten PoC-Schnitts
• Entwurf einer Zielarchitektur für OpenLineage und Marquez
• Bewertung eines Pilotprojekts anhand messbarer Kriterien
• Ausarbeitung eines Rollout-Plans mit Verantwortlichkeiten

Zielgruppe

Projektleitungen, Data Platform Owner, Data Architects, Data Governance, Data Engineering Leads und technische Entscheider.

Voraussetzungen

Grundverständnis der vorhandenen Datenplattform, typischer Datenflüsse und organisatorischer Verantwortlichkeiten.