Seminar Dataedo SQL-Lineage, Prozesse und manuelle Lineage

Das Seminar konzentriert sich auf komplexe SQL-Transformationen, Prozessmodelle und Lücken, die nicht vollständig automatisch erkannt werden. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: Lineage-Modell und Analysefragen
6. Arbeitsschritt 2: SQL-Parsing und Lineage-Fehleranalyse
7. Arbeitsschritt 3: Automatische Lineage aufbauen
8. Arbeitsschritt 4: Manuelle Lineage und Prozessdarstellung
9. Arbeitsschritt 5: Impact Analysis und Ursachenanalyse
10. Arbeitsschritt 6: Systematische Fehlerdiagnose
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• SQL-Artefakte und Parseranforderungen für Lineage vorbereiten.
• Tabellen- und Spaltenbeziehungen gegen SQL-Ausdrücke validieren.
• Alias-, Join- und verschachtelte Ausdrücke bei Fehlern untersuchen.
• Dateien, manuelle Übergaben und Fachprozesse ergänzen.
• Lineage-Lücken mit Eigentümer und Pflegeauslöser verwalten.

Zielgruppen und Rollen

Data Engineering, SQL-Entwicklung, ETL- und BI-Entwicklung, Data Architecture, Betrieb und technische Data Stewards.

Voraussetzungen

Sichere SQL-Grundkenntnisse und Verständnis typischer Datenverarbeitungsprozesse.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: Lineage-Modell und Analysefragen

Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.

1. 1. Ausgangslage klären: Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.
2. 2. Vorbereitung abschließen: Quell-, Transformations- und Zielobjekte sowie gewünschte Granularität erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Eine Lineage-Kette lesen, Ebenen wechseln und technische sowie fachliche Beziehungen unterscheiden.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Richtung, Objektauflösung und erkennbare Lücken gegen einen Referenzfluss prüfen.
5. 5. Vorgehen standardisieren: Darstellungsregeln und Mindestumfang für belastbare Lineage festlegen.

Praxisaufgabe: Ein Datenfluss wird aus Sicht von Betrieb, Entwicklung und Fachbereich jeweils unterschiedlich analysiert.

Arbeitsschritt 2: SQL-Parsing und Lineage-Fehleranalyse

SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.

1. 1. Ausgangslage klären: SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.
2. 2. Vorbereitung abschließen: SQL-Artefakte, Dialekt, Objektreferenzen, Berechtigungen und bekannte Parsergrenzen erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Parsing ausführen, Fehlermeldungen einordnen und problematische Referenzen schrittweise korrigieren.
4. 4. Ergebnis kontrollieren: Tabellen- und Spaltenlineage gegen ausgewählte SQL-Ausdrücke manuell verifizieren.
5. 5. Vorgehen standardisieren: Fehlerkategorien, Workarounds und Eskalationsdaten in einem Diagnoseleitfaden dokumentieren.

Praxisaufgabe: Mehrere SQL-Beispiele mit Aliasen, Joins und verschachtelten Ausdrücken werden analysiert und bereinigt.

Arbeitsschritt 3: Automatische Lineage aufbauen

Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.

1. 1. Ausgangslage klären: Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.
2. 2. Vorbereitung abschließen: Quellen, Parservoraussetzungen, Verbindungsbezüge und Importreihenfolge vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Metadaten importieren, automatische Lineage ausführen und Quell-Ziel-Beziehungen zusammenführen.
4. 4. Ergebnis kontrollieren: Erkannte Verbindungen, Spaltenzuordnung, Transformationsschritte und Lücken stichprobenartig prüfen.
5. 5. Vorgehen standardisieren: Ausführungsreihenfolge, Wiederholung und Abnahmeprotokoll für automatische Lineage standardisieren.

Praxisaufgabe: Eine mehrstufige Verarbeitungskette wird importiert und bis zur Spaltenebene validiert.

Arbeitsschritt 4: Manuelle Lineage und Prozessdarstellung

Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.

1. 1. Ausgangslage klären: Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.
2. 2. Vorbereitung abschließen: Prozessgrenzen, beteiligte Systeme, Übergaben, Verantwortliche und Nachweise erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Manuelle Knoten und Beziehungen anlegen und mit der automatisch erkannten Lineage verbinden.
4. 4. Ergebnis kontrollieren: Doppelte, widersprüchliche und nicht belegte Beziehungen mit Beteiligten überprüfen.
5. 5. Vorgehen standardisieren: Pflegeauslöser und Eigentümerschaft für manuelle Lineage festlegen.

Praxisaufgabe: Ein Medienbruch zwischen Quellsystem, Datei und Bericht wird als vollständiger Prozessfluss modelliert.

Arbeitsschritt 5: Impact Analysis und Ursachenanalyse

Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.

1. 1. Ausgangslage klären: Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.
2. 2. Vorbereitung abschließen: Analyseobjekt, Änderungsart, Reichweite, Kritikalität und betroffene Rollen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Upstream- und Downstream-Pfade verfolgen, betroffene Assets sammeln und Abhängigkeiten priorisieren.
4. 4. Ergebnis kontrollieren: Ergebnisse mit Systemwissen, Eigentümern und Stichproben gegen die reale Verarbeitung abgleichen.
5. 5. Vorgehen standardisieren: Ein einheitliches Impact-Protokoll mit Entscheidung, Risiko und Folgemaßnahme definieren.

Praxisaufgabe: Eine geplante Spaltenänderung wird bis zu Berichten und Kennzahlen verfolgt und bewertet.

Arbeitsschritt 6: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Analyse mehrerer komplexer SQL-Beispiele.
2. Übung 2: Korrektur einer unvollständig erkannten Spaltenlineage.
3. Übung 3: Modellierung eines Medienbruchs.
4. Übung 4: Bewertung der Auswirkungen einer nicht dokumentierten Übergabe.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• SQL-Diagnoseleitfaden
• Parser-Testkatalog
• Prozessmodell
• Lineage-Lückenregister
• Impact-Notiz