Seminar Dataedo Intensivseminar Data Lineage, Data Quality und Modellierung

Das Intensivseminar verbindet Datenmodell-Dokumentation, technische Herkunft, Impact Analysis und Qualitätssteuerung zu einem durchgängigen Analysemodell. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: ER-Diagramme und Beziehungen
6. Arbeitsschritt 2: Metadatenimport und Scansteuerung
7. Arbeitsschritt 3: Lineage-Modell und Analysefragen
8. Arbeitsschritt 4: Automatische Lineage aufbauen
9. Arbeitsschritt 5: Manuelle Lineage und Prozessdarstellung
10. Arbeitsschritt 6: SQL-Parsing und Lineage-Fehleranalyse
11. Arbeitsschritt 7: OpenLineage-Ereignisse integrieren
12. Arbeitsschritt 8: Datenherkunft für KI und analytische Modelle
13. Arbeitsschritt 9: Impact Analysis und Ursachenanalyse
14. Arbeitsschritt 10: Datenprofiling und Ausgangsbefund
15. Arbeitsschritt 11: Data-Quality-Regeln modellieren
16. Arbeitsschritt 12: Benutzerdefinierte SQL-Qualitätsregeln
17. Arbeitsschritt 13: Scheduler, Agent und Aufgabenplanung
18. Arbeitsschritt 14: Qualitätsüberwachung und Maßnahmensteuerung
19. Arbeitsschritt 15: Data Products definieren und publizieren
20. Arbeitsschritt 16: Systematische Fehlerdiagnose
21. Praxisübungen
22. Arbeitsunterlagen und Praxisartefakte

Lernziele

• Technische Modelle und Beziehungen verständlich dokumentieren.
• Automatische und manuelle Lineage zu einer belastbaren Herkunftskette verbinden.
• SQL-Parsing und Lineage-Lücken systematisch bearbeiten.
• Impact- und Ursachenanalysen nachvollziehbar durchführen.
• Datenherkunft für KI- und Modellpipelines dokumentieren.
• Profiling in fachliche und technische Qualitätsregeln überführen.
• Qualitätsläufe planen, auswerten und mit Data Products verbinden.

Zielgruppen und Rollen

Data Architecture, Data Engineering, Data Modeling, Data Quality, BI-Entwicklung, Data Stewards und technische Governance.

Voraussetzungen

Grundkenntnisse zu relationalen Datenmodellen, SQL, Datenflüssen und fachlichen Qualitätsanforderungen.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: ER-Diagramme und Beziehungen

Datenmodelle verständlich visualisieren und fehlende fachliche oder technische Beziehungen ergänzen.

1. 1. Ausgangslage klären: Datenmodelle verständlich visualisieren und fehlende fachliche oder technische Beziehungen ergänzen.
2. 2. Vorbereitung abschließen: Diagrammzweck, Objektumfang, Namenskonvention und Zielgruppe festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Diagramm erzeugen, Tabellen anordnen, Beziehungen prüfen und manuelle Verknüpfungen ergänzen.
4. 4. Ergebnis kontrollieren: Lesbarkeit, Kardinalitäten, Schlüsselfelder und Abgrenzung anhand von Nutzungsszenarien kontrollieren.
5. 5. Vorgehen standardisieren: Pflegeauslöser, Diagrammverantwortung und Veröffentlichungsregeln dokumentieren.

Praxisaufgabe: Ein unübersichtliches Schema wird zu einem fokussierten, verständlichen Fachdiagramm aufbereitet.

Arbeitsschritt 2: Metadatenimport und Scansteuerung

Technische Metadaten vollständig, wiederholbar und kontrolliert in den Katalog übernehmen.

1. 1. Ausgangslage klären: Technische Metadaten vollständig, wiederholbar und kontrolliert in den Katalog übernehmen.
2. 2. Vorbereitung abschließen: Importumfang, Filter, Objektarten, Ausschlüsse und Abnahmebedingungen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Einen initialen Import ausführen, Filter nachschärfen und einen Folgeimport vorbereiten.
4. 4. Ergebnis kontrollieren: Objektanzahl, Hierarchie, Datentypen, Beziehungen und Fehlermeldungen gegen die Quelle prüfen.
5. 5. Vorgehen standardisieren: Importparameter, Prüfprotokoll und Verantwortlichkeit als wiederverwendbare Vorlage sichern.

Praxisaufgabe: Ein Metadatenimport wird mit Soll-Ist-Abgleich und dokumentierter Fehlerbehandlung durchgeführt.

Arbeitsschritt 3: Lineage-Modell und Analysefragen

Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.

1. 1. Ausgangslage klären: Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.
2. 2. Vorbereitung abschließen: Quell-, Transformations- und Zielobjekte sowie gewünschte Granularität erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Eine Lineage-Kette lesen, Ebenen wechseln und technische sowie fachliche Beziehungen unterscheiden.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Richtung, Objektauflösung und erkennbare Lücken gegen einen Referenzfluss prüfen.
5. 5. Vorgehen standardisieren: Darstellungsregeln und Mindestumfang für belastbare Lineage festlegen.

Praxisaufgabe: Ein Datenfluss wird aus Sicht von Betrieb, Entwicklung und Fachbereich jeweils unterschiedlich analysiert.

Arbeitsschritt 4: Automatische Lineage aufbauen

Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.

1. 1. Ausgangslage klären: Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.
2. 2. Vorbereitung abschließen: Quellen, Parservoraussetzungen, Verbindungsbezüge und Importreihenfolge vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Metadaten importieren, automatische Lineage ausführen und Quell-Ziel-Beziehungen zusammenführen.
4. 4. Ergebnis kontrollieren: Erkannte Verbindungen, Spaltenzuordnung, Transformationsschritte und Lücken stichprobenartig prüfen.
5. 5. Vorgehen standardisieren: Ausführungsreihenfolge, Wiederholung und Abnahmeprotokoll für automatische Lineage standardisieren.

Praxisaufgabe: Eine mehrstufige Verarbeitungskette wird importiert und bis zur Spaltenebene validiert.

Arbeitsschritt 5: Manuelle Lineage und Prozessdarstellung

Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.

1. 1. Ausgangslage klären: Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.
2. 2. Vorbereitung abschließen: Prozessgrenzen, beteiligte Systeme, Übergaben, Verantwortliche und Nachweise erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Manuelle Knoten und Beziehungen anlegen und mit der automatisch erkannten Lineage verbinden.
4. 4. Ergebnis kontrollieren: Doppelte, widersprüchliche und nicht belegte Beziehungen mit Beteiligten überprüfen.
5. 5. Vorgehen standardisieren: Pflegeauslöser und Eigentümerschaft für manuelle Lineage festlegen.

Praxisaufgabe: Ein Medienbruch zwischen Quellsystem, Datei und Bericht wird als vollständiger Prozessfluss modelliert.

Arbeitsschritt 6: SQL-Parsing und Lineage-Fehleranalyse

SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.

1. 1. Ausgangslage klären: SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.
2. 2. Vorbereitung abschließen: SQL-Artefakte, Dialekt, Objektreferenzen, Berechtigungen und bekannte Parsergrenzen erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Parsing ausführen, Fehlermeldungen einordnen und problematische Referenzen schrittweise korrigieren.
4. 4. Ergebnis kontrollieren: Tabellen- und Spaltenlineage gegen ausgewählte SQL-Ausdrücke manuell verifizieren.
5. 5. Vorgehen standardisieren: Fehlerkategorien, Workarounds und Eskalationsdaten in einem Diagnoseleitfaden dokumentieren.

Praxisaufgabe: Mehrere SQL-Beispiele mit Aliasen, Joins und verschachtelten Ausdrücken werden analysiert und bereinigt.

Arbeitsschritt 7: OpenLineage-Ereignisse integrieren

Laufzeitbezogene Job- und Dataset-Informationen in die technische Datenherkunft einbinden.

1. 1. Ausgangslage klären: Laufzeitbezogene Job- und Dataset-Informationen in die technische Datenherkunft einbinden.
2. 2. Vorbereitung abschließen: Produzenten, Namespace, Jobnamen, Dataset-Identifikatoren und Übertragungsweg definieren.
3. 3. Konfiguration und Umsetzung durchführen: Beispielereignisse erzeugen, empfangen und den passenden Katalogobjekten zuordnen.
4. 4. Ergebnis kontrollieren: Reihenfolge, Duplikate, unbekannte Datasets und Lücken in der Ereigniskette kontrollieren.
5. 5. Vorgehen standardisieren: Namenskonvention, Überwachungswerte und Fehlerbehandlung für produktive Ereignisse festlegen.

Praxisaufgabe: Eine kleine Verarbeitungspipeline wird über Ereignisse abgebildet und mit vorhandener Lineage verbunden.

Arbeitsschritt 8: Datenherkunft für KI und analytische Modelle

Trainings-, Feature-, Referenz- und Ausgabedaten in einer nachvollziehbaren Herkunftskette abbilden.

1. 1. Ausgangslage klären: Trainings-, Feature-, Referenz- und Ausgabedaten in einer nachvollziehbaren Herkunftskette abbilden.
2. 2. Vorbereitung abschließen: Datenstufen, Modellartefakte, Transformationen, Qualitätsnachweise und Verantwortliche erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Quellen, Features, Modellschritte und Ausgaben als verknüpfte Assets dokumentieren.
4. 4. Ergebnis kontrollieren: Lücken, zeitliche Gültigkeit, Versionen und kritische Abhängigkeiten anhand einer Kontrollfrage prüfen.
5. 5. Vorgehen standardisieren: Mindestumfang und Aktualisierungsereignisse für AI-Lineage definieren.

Praxisaufgabe: Eine Modellpipeline wird vom Rohdatum bis zur konsumierten Ausgabe als prüfbare Kette modelliert.

Arbeitsschritt 9: Impact Analysis und Ursachenanalyse

Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.

1. 1. Ausgangslage klären: Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.
2. 2. Vorbereitung abschließen: Analyseobjekt, Änderungsart, Reichweite, Kritikalität und betroffene Rollen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Upstream- und Downstream-Pfade verfolgen, betroffene Assets sammeln und Abhängigkeiten priorisieren.
4. 4. Ergebnis kontrollieren: Ergebnisse mit Systemwissen, Eigentümern und Stichproben gegen die reale Verarbeitung abgleichen.
5. 5. Vorgehen standardisieren: Ein einheitliches Impact-Protokoll mit Entscheidung, Risiko und Folgemaßnahme definieren.

Praxisaufgabe: Eine geplante Spaltenänderung wird bis zu Berichten und Kennzahlen verfolgt und bewertet.

Arbeitsschritt 10: Datenprofiling und Ausgangsbefund

Verteilungen, Vollständigkeit und auffällige Werte als Grundlage für Qualitätsregeln verstehen.

1. 1. Ausgangslage klären: Verteilungen, Vollständigkeit und auffällige Werte als Grundlage für Qualitätsregeln verstehen.
2. 2. Vorbereitung abschließen: Spaltenauswahl, Stichprobe, sensible Felder, Laufzeitgrenzen und Abnahmekriterien festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Profiling ausführen und Kennzahlen zu Nullwerten, Eindeutigkeit, Mustern und Wertebereichen auswerten.
4. 4. Ergebnis kontrollieren: Auffälligkeiten gegen Fachregeln und Quellsystemwissen prüfen und priorisieren.
5. 5. Vorgehen standardisieren: Profilingintervall und Umgang mit sensiblen Ergebnissen als Standard festlegen.

Praxisaufgabe: Ein unbekannter Datensatz wird profiliert und in konkrete Qualitätsfragen überführt.

Arbeitsschritt 11: Data-Quality-Regeln modellieren

Fachliche Erwartungen in messbare, verständliche und verantwortete Prüfregeln übersetzen.

1. 1. Ausgangslage klären: Fachliche Erwartungen in messbare, verständliche und verantwortete Prüfregeln übersetzen.
2. 2. Vorbereitung abschließen: Regelvorlage, Dimension, Schwellenwert, Gültigkeitsbereich, Eigentümer und Reaktion definieren.
3. 3. Konfiguration und Umsetzung durchführen: Vorgefertigte und konfigurierbare Regeln an geeigneten Datenfeldern einrichten.
4. 4. Ergebnis kontrollieren: Treffer, Fehlalarme, Grenzwerte und fachliche Aussage anhand von Testdaten kontrollieren.
5. 5. Vorgehen standardisieren: Review, Versionierung und Freigabe von Qualitätsregeln standardisieren.

Praxisaufgabe: Aus mehreren Fachanforderungen werden prüfbare Regeln mit Schwellenwert und Verantwortlichkeit erstellt.

Arbeitsschritt 12: Benutzerdefinierte SQL-Qualitätsregeln

Komplexe fachliche Prüfungen mit transparentem SQL und kontrollierter Ausführung abbilden.

1. 1. Ausgangslage klären: Komplexe fachliche Prüfungen mit transparentem SQL und kontrollierter Ausführung abbilden.
2. 2. Vorbereitung abschließen: Abfrageziel, Rückgabeformat, Filter, Testdaten, Laufzeitgrenze und Berechtigungen vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Eine SQL-Regel entwickeln, parametrisieren und in die Qualitätsprüfung einbinden.
4. 4. Ergebnis kontrollieren: Ergebnisfälle, Performance, Nullbehandlung und Abweichungen gegen manuelle Referenzwerte prüfen.
5. 5. Vorgehen standardisieren: Code-Review, Versionierung und Freigabeweg für SQL-Regeln definieren.

Praxisaufgabe: Eine mehrtabellige Konsistenzprüfung wird entwickelt, getestet und fachlich abgenommen.

Arbeitsschritt 13: Scheduler, Agent und Aufgabenplanung

Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.

1. 1. Ausgangslage klären: Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.
2. 2. Vorbereitung abschließen: Aufgabentypen, Abhängigkeiten, Zeitfenster, Agent-Zuordnung und Fehlerreaktion festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Aufgaben anlegen, Reihenfolge konfigurieren, Lauf starten und Protokolle auswerten.
4. 4. Ergebnis kontrollieren: Laufstatus, Dauer, Abhängigkeiten, Wiederholung und Benachrichtigung kontrollieren.
5. 5. Vorgehen standardisieren: Betriebskalender, Namensschema und Eskalation für fehlgeschlagene Aufgaben definieren.

Praxisaufgabe: Eine mehrstufige Nachtverarbeitung wird geplant, ausgeführt und mit einem Fehlerfall getestet.

Arbeitsschritt 14: Qualitätsüberwachung und Maßnahmensteuerung

Regelergebnisse über Zeit beobachten und Abweichungen in geregelte Maßnahmen überführen.

1. 1. Ausgangslage klären: Regelergebnisse über Zeit beobachten und Abweichungen in geregelte Maßnahmen überführen.
2. 2. Vorbereitung abschließen: Ausführungsplan, Schwellenwerte, Eigentümer, Benachrichtigung und Eskalationsstufen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Regelsets ausführen, Trends prüfen, Befunde priorisieren und Aufgaben auslösen.
4. 4. Ergebnis kontrollieren: Fehlerrate, Wiederholungen, offene Maßnahmen und Datenproduktbezug kontrollieren.
5. 5. Vorgehen standardisieren: Qualitätsbericht, Besprechungsrhythmus und Abschlusskriterien für Befunde standardisieren.

Praxisaufgabe: Mehrere Prüfläufe werden verglichen und in einen priorisierten Maßnahmenplan überführt.

Arbeitsschritt 15: Data Products definieren und publizieren

Wiederverwendbare Datenangebote mit Zweck, Vertrag, Qualitätsaussage und Verantwortlichkeit beschreiben.

1. 1. Ausgangslage klären: Wiederverwendbare Datenangebote mit Zweck, Vertrag, Qualitätsaussage und Verantwortlichkeit beschreiben.
2. 2. Vorbereitung abschließen: Produktvorlage, Zielgruppe, Eingänge, Ausgänge, Servicekriterien und Freigabestatus festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Ein Data Product anlegen, relevante Assets bündeln und Nutzungshinweise dokumentieren.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Verständlichkeit, Qualitätsnachweis und Zugriffsweg aus Verbrauchersicht testen.
5. 5. Vorgehen standardisieren: Lebenszyklus, Versionierung und Produktverantwortung als Standard definieren.

Praxisaufgabe: Aus mehreren Datenobjekten wird ein konsumierbares Data Product mit klarer Leistungsbeschreibung erstellt.

Arbeitsschritt 16: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Aufbereitung eines komplexen Datenmodells.
2. Übung 2: Validierung einer mehrstufigen Spaltenlineage.
3. Übung 3: Ergänzung eines manuellen Prozessschritts.
4. Übung 4: Impact-Bewertung einer Strukturänderung.
5. Übung 5: Modellierung einer KI-Datenherkunft von Rohdaten bis Ausgabe.
6. Übung 6: Entwicklung und Trendanalyse eines Qualitätsregelsets.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• Modell- und Beziehungsdokumentation
• Lineage-Abnahmeprotokoll
• Impact-Bericht
• AI-Lineage-Diagramm
• Regelkatalog
• Qualitätsdashboard-Konzept
• Diagnoseleitfaden