Seminar Soda – Diagnostics Warehouse, Analyse und Reporting

Das Seminar vermittelt eine belastbare Diagnosearchitektur für wiederkehrende Datenqualitätsprobleme. Scan-Ergebnisse, fehlerhafte Datensätze und historische Entwicklungen werden so strukturiert, dass Ursachenanalysen nachvollziehbar und auditierbar durchgeführt werden können.

Neben der technischen Bereitstellung werden Datenschutz, Abfragekonzepte, Berichtsmuster und betriebliche Leitplanken behandelt. Alle Übungen arbeiten mit einem kontrollierten Fehlerdatensatz und dokumentierten Prüfschritten.

Lernziele

• die Rolle des Diagnostics Warehouse im Soda-Betriebsmodell erklären
• Scan-, Fehler- und Verlaufsdaten sicher im eigenen Warehouse organisieren
• Abfragen für Root-Cause-Analyse und wiederkehrende Qualitätsmuster entwickeln
• Aufbewahrung, Berechtigungen, Kosten und Betriebsüberwachung verbindlich regeln

Inhaltsübersicht

1. Diagnosearchitektur und Datenmodell verstehen
2. Warehouse und Sicherheit vorbereiten
3. Diagnosedaten erfassen und prüfen
4. Ursachen auf Datensatzebene analysieren
5. Historie und Reporting aufbauen
6. Betrieb, Aufbewahrung und Kosten steuern

Seminarinhalte

1. Diagnosearchitektur und Datenmodell verstehen

1. Schritt 1: Datenflüsse von Verifikation oder Scan bis zur Diagnoseablage nachzeichnen.
2. Schritt 2: Metadaten, Prüfergebnisse, fehlgeschlagene Datensätze und historische Zustände unterscheiden.
3. Schritt 3: Mandanten-, Umgebungs- und Dataset-Grenzen für die Ablage definieren.
4. Schritt 4: Abfrage- und Berichtsfälle in ein logisches Diagnosemodell übertragen.

2. Warehouse und Sicherheit vorbereiten

1. Schritt 1: Zielumgebung, Schema, technische Identität und minimale Berechtigungen festlegen.
2. Schritt 2: Netzwerkpfade und Secret-Bereitstellung für Schreib- und Lesezugriffe prüfen.
3. Schritt 3: Schutzklassen für Fehlerdatensätze und sensible Spalten bestimmen.
4. Schritt 4: Testzugriff, Trennung der Rollen und Protokollierung kontrollieren.

3. Diagnosedaten erfassen und prüfen

1. Schritt 1: Verifikationen mit bewusst erzeugten Fehlerfällen ausführen.
2. Schritt 2: Ankunft, Vollständigkeit und Zuordnung der gespeicherten Ergebnisse verifizieren.
3. Schritt 3: Failed-Row-Erfassung auf erforderliche Spalten und Stichprobengrößen begrenzen.
4. Schritt 4: Fehlerhafte oder unvollständige Diagnoseübertragungen systematisch eingrenzen.

4. Ursachen auf Datensatzebene analysieren

1. Schritt 1: Ein Problem vom Dashboard bis zu betroffenen Datensätzen zurückverfolgen.
2. Schritt 2: Fehler nach Dimension, Quelle, Partition und Zeitpunkt gruppieren.
3. Schritt 3: Zusammenhänge zwischen Schemaänderung, Volumenabweichung und Regelverletzung prüfen.
4. Schritt 4: Befund, Belegabfrage und Korrekturhypothese in einem Diagnoseprotokoll dokumentieren.

5. Historie und Reporting aufbauen

1. Schritt 1: Trendabfragen für wiederkehrende Verletzungen und Fehlerquoten erstellen.
2. Schritt 2: Kennzahlen für offene Probleme, Wiederholungsrate und Zeit bis zur Behebung definieren.
3. Schritt 3: Berichte nach Datenprodukt, Verantwortlichkeit und Schweregrad strukturieren.
4. Schritt 4: Prüfbare Filter, Zeiträume und Datenstände für Management- und Technikberichte festlegen.

6. Betrieb, Aufbewahrung und Kosten steuern

1. Schritt 1: Aufbewahrungsfristen und Löschregeln nach Diagnose- und Nachweispflichten bestimmen.
2. Schritt 2: Speicher- und Abfragekosten mit Partitionierung und gezielten Abfragen kontrollieren.
3. Schritt 3: Berechtigungsprüfungen, Schemaänderungen und Ladefehler überwachen.
4. Schritt 4: Runbook für Störungen, Wiederanlauf und regelmäßige Qualitätskontrollen erstellen.

Praxislabor

Ein vollständiger Diagnosefall wird von einer fehlgeschlagenen Verifikation über die sichere Datensatzanalyse bis zum historischen Bericht bearbeitet. Die Übung enthält Schutzmaßnahmen für sensible Attribute und eine dokumentierte Lösch- und Aufbewahrungsentscheidung.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Quality Engineering, Data Engineering, Analytics Engineering, Plattformbetrieb, Data Governance, Datenschutz und technische Revision.

Voraussetzungen: Grundkenntnisse in SQL, Data-Warehouse-Strukturen und Soda-Verifikationen oder Soda-Scans; freigeschaltete Schulungsfunktion oder vorbereitete Laborumgebung.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.