Seminar Dataedo Data Quality und Profiling

Das Seminar führt vom Profiling und der fachlichen Qualitätsanforderung bis zu ausführbaren Regeln, Trendbewertung und Maßnahmensteuerung. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: Datenprofiling und Ausgangsbefund
6. Arbeitsschritt 2: Data-Quality-Regeln modellieren
7. Arbeitsschritt 3: Benutzerdefinierte SQL-Qualitätsregeln
8. Arbeitsschritt 4: Scheduler, Agent und Aufgabenplanung
9. Arbeitsschritt 5: Qualitätsüberwachung und Maßnahmensteuerung
10. Arbeitsschritt 6: Data Products definieren und publizieren
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• Profiling-Ergebnisse in konkrete Qualitätsfragen übersetzen.
• Messbare Regeln mit Dimension, Schwellenwert und Eigentümer modellieren.
• Komplexe Prüfungen als kontrollierte SQL-Regeln umsetzen.
• Regelsets planen und Ergebnisse über Zeit bewerten.
• Befunde priorisieren und in nachvollziehbare Maßnahmen überführen.

Zielgruppen und Rollen

Data Quality Management, Data Stewards, Data Engineering, Fachverantwortliche, Data Product Owner und Analytics-Teams.

Voraussetzungen

Grundkenntnisse zu Datenstrukturen und fachlichen Qualitätsanforderungen; SQL-Grundkenntnisse sind für eigene Regeln hilfreich.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: Datenprofiling und Ausgangsbefund

Verteilungen, Vollständigkeit und auffällige Werte als Grundlage für Qualitätsregeln verstehen.

1. 1. Ausgangslage klären: Verteilungen, Vollständigkeit und auffällige Werte als Grundlage für Qualitätsregeln verstehen.
2. 2. Vorbereitung abschließen: Spaltenauswahl, Stichprobe, sensible Felder, Laufzeitgrenzen und Abnahmekriterien festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Profiling ausführen und Kennzahlen zu Nullwerten, Eindeutigkeit, Mustern und Wertebereichen auswerten.
4. 4. Ergebnis kontrollieren: Auffälligkeiten gegen Fachregeln und Quellsystemwissen prüfen und priorisieren.
5. 5. Vorgehen standardisieren: Profilingintervall und Umgang mit sensiblen Ergebnissen als Standard festlegen.

Praxisaufgabe: Ein unbekannter Datensatz wird profiliert und in konkrete Qualitätsfragen überführt.

Arbeitsschritt 2: Data-Quality-Regeln modellieren

Fachliche Erwartungen in messbare, verständliche und verantwortete Prüfregeln übersetzen.

1. 1. Ausgangslage klären: Fachliche Erwartungen in messbare, verständliche und verantwortete Prüfregeln übersetzen.
2. 2. Vorbereitung abschließen: Regelvorlage, Dimension, Schwellenwert, Gültigkeitsbereich, Eigentümer und Reaktion definieren.
3. 3. Konfiguration und Umsetzung durchführen: Vorgefertigte und konfigurierbare Regeln an geeigneten Datenfeldern einrichten.
4. 4. Ergebnis kontrollieren: Treffer, Fehlalarme, Grenzwerte und fachliche Aussage anhand von Testdaten kontrollieren.
5. 5. Vorgehen standardisieren: Review, Versionierung und Freigabe von Qualitätsregeln standardisieren.

Praxisaufgabe: Aus mehreren Fachanforderungen werden prüfbare Regeln mit Schwellenwert und Verantwortlichkeit erstellt.

Arbeitsschritt 3: Benutzerdefinierte SQL-Qualitätsregeln

Komplexe fachliche Prüfungen mit transparentem SQL und kontrollierter Ausführung abbilden.

1. 1. Ausgangslage klären: Komplexe fachliche Prüfungen mit transparentem SQL und kontrollierter Ausführung abbilden.
2. 2. Vorbereitung abschließen: Abfrageziel, Rückgabeformat, Filter, Testdaten, Laufzeitgrenze und Berechtigungen vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Eine SQL-Regel entwickeln, parametrisieren und in die Qualitätsprüfung einbinden.
4. 4. Ergebnis kontrollieren: Ergebnisfälle, Performance, Nullbehandlung und Abweichungen gegen manuelle Referenzwerte prüfen.
5. 5. Vorgehen standardisieren: Code-Review, Versionierung und Freigabeweg für SQL-Regeln definieren.

Praxisaufgabe: Eine mehrtabellige Konsistenzprüfung wird entwickelt, getestet und fachlich abgenommen.

Arbeitsschritt 4: Scheduler, Agent und Aufgabenplanung

Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.

1. 1. Ausgangslage klären: Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.
2. 2. Vorbereitung abschließen: Aufgabentypen, Abhängigkeiten, Zeitfenster, Agent-Zuordnung und Fehlerreaktion festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Aufgaben anlegen, Reihenfolge konfigurieren, Lauf starten und Protokolle auswerten.
4. 4. Ergebnis kontrollieren: Laufstatus, Dauer, Abhängigkeiten, Wiederholung und Benachrichtigung kontrollieren.
5. 5. Vorgehen standardisieren: Betriebskalender, Namensschema und Eskalation für fehlgeschlagene Aufgaben definieren.

Praxisaufgabe: Eine mehrstufige Nachtverarbeitung wird geplant, ausgeführt und mit einem Fehlerfall getestet.

Arbeitsschritt 5: Qualitätsüberwachung und Maßnahmensteuerung

Regelergebnisse über Zeit beobachten und Abweichungen in geregelte Maßnahmen überführen.

1. 1. Ausgangslage klären: Regelergebnisse über Zeit beobachten und Abweichungen in geregelte Maßnahmen überführen.
2. 2. Vorbereitung abschließen: Ausführungsplan, Schwellenwerte, Eigentümer, Benachrichtigung und Eskalationsstufen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Regelsets ausführen, Trends prüfen, Befunde priorisieren und Aufgaben auslösen.
4. 4. Ergebnis kontrollieren: Fehlerrate, Wiederholungen, offene Maßnahmen und Datenproduktbezug kontrollieren.
5. 5. Vorgehen standardisieren: Qualitätsbericht, Besprechungsrhythmus und Abschlusskriterien für Befunde standardisieren.

Praxisaufgabe: Mehrere Prüfläufe werden verglichen und in einen priorisierten Maßnahmenplan überführt.

Arbeitsschritt 6: Data Products definieren und publizieren

Wiederverwendbare Datenangebote mit Zweck, Vertrag, Qualitätsaussage und Verantwortlichkeit beschreiben.

1. 1. Ausgangslage klären: Wiederverwendbare Datenangebote mit Zweck, Vertrag, Qualitätsaussage und Verantwortlichkeit beschreiben.
2. 2. Vorbereitung abschließen: Produktvorlage, Zielgruppe, Eingänge, Ausgänge, Servicekriterien und Freigabestatus festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Ein Data Product anlegen, relevante Assets bündeln und Nutzungshinweise dokumentieren.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Verständlichkeit, Qualitätsnachweis und Zugriffsweg aus Verbrauchersicht testen.
5. 5. Vorgehen standardisieren: Lebenszyklus, Versionierung und Produktverantwortung als Standard definieren.

Praxisaufgabe: Aus mehreren Datenobjekten wird ein konsumierbares Data Product mit klarer Leistungsbeschreibung erstellt.

Praxisübungen

1. Übung 1: Profiling eines unbekannten Datensatzes.
2. Übung 2: Ableitung und Test mehrerer Qualitätsregeln.
3. Übung 3: Entwicklung einer mehrtabelligen SQL-Konsistenzprüfung.
4. Übung 4: Auswertung mehrerer Prüfläufe und Maßnahmenplanung.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• Profilingbericht
• Regelkatalog
• SQL-Regelvorlage
• Ausführungsplan
• Qualitätsmaßnahmenliste