Seminar Soda Cloud – Datenquellen, Datasets und Onboarding

Das Seminar schafft einen wiederholbaren Onboarding-Prozess vom Quellsystem bis zum aktiv überwachten Datenprodukt. Verbindungen, Dataset-Auswahl und Verantwortlichkeiten werden kontrolliert eingerichtet und mit nachvollziehbaren Abnahmetests belegt.

Die technische Anbindung wird mit Governance- und Betriebsfragen verbunden. Dadurch entstehen keine isolierten Datenquellen, sondern betreibbare Objekte mit Ownern, Mindestkontrollen und dokumentiertem Übergabestatus.

Lernziele

• Datenquellen nach Risiko, Netzpfad und technischem Zugriff vorbereiten
• Datasets zielgerichtet entdecken, auswählen und benennen
• Metadaten, Profile und erste Qualitätskontrollen verifizieren
• ein standardisiertes Onboarding-Paket mit Ownern, Baseline und Betriebsübergabe erstellen

Inhaltsübersicht

1. Onboarding-Umfang und Inventar festlegen
2. Verbindung und technische Identität vorbereiten
3. Datasets entdecken und auswählen
4. Metadaten und Datenprofil prüfen
5. Baseline-Vertrag und erste Monitore einrichten
6. Verantwortung und Übergabe abschließen

Seminarinhalte

1. Onboarding-Umfang und Inventar festlegen

1. Schritt 1: Quellsystem, Datenbereiche, Umgebungen und kritische Datasets erfassen.
2. Schritt 2: Owner, technische Ansprechpartner und Datenschutzklasse zuordnen.
3. Schritt 3: Namenskonventionen und vollständig qualifizierte Dataset-Identifikatoren definieren.
4. Schritt 4: Priorisierte Onboarding-Welle mit klaren Abnahmekriterien bilden.

2. Verbindung und technische Identität vorbereiten

1. Schritt 1: Unterstütztes Verbindungsmodell und erforderliche Treiber auswählen.
2. Schritt 2: Leserechte auf benötigte Metadaten und Datenbereiche minimieren.
3. Schritt 3: Netzwerk, TLS, Firewall und DNS für den Ausführungsort prüfen.
4. Schritt 4: Secrets sicher bereitstellen und einen kontrollierten Verbindungstest durchführen.

3. Datasets entdecken und auswählen

1. Schritt 1: Discovery oder Metadatenimport für den vorgesehenen Bereich ausführen.
2. Schritt 2: Tabellen, Views, Partitionen und technische Hilfsobjekte unterscheiden.
3. Schritt 3: Inklusions- und Exklusionsregeln gegen das Inventar prüfen.
4. Schritt 4: Ausgewählte Datasets mit Owner, Zweck und Kritikalität kennzeichnen.

4. Metadaten und Datenprofil prüfen

1. Schritt 1: Schema, Datentypen, Zeilenzahl und Aktualitätsmerkmale kontrollieren.
2. Schritt 2: Unerwartete Spalten, leere Tabellen und unklare Zeitfelder dokumentieren.
3. Schritt 3: Sensible Attribute für Diagnose- und Stichprobenregeln markieren.
4. Schritt 4: Technische Befunde mit dem Datenproduktteam abgleichen.

5. Baseline-Vertrag und erste Monitore einrichten

1. Schritt 1: Minimalen Vertrag aus Schema- und Kernqualitätsregeln ableiten.
2. Schritt 2: Volumen-, Freshness- und Schema-Monitore priorisieren.
3. Schritt 3: Verifikation und Monitorlauf in einer sicheren Testphase ausführen.
4. Schritt 4: Grenzen, Zeitplan und Alarmempfänger anhand realer Laufdaten nachjustieren.

6. Verantwortung und Übergabe abschließen

1. Schritt 1: Dataset-Rollen und Verantwortlichkeiten verbindlich zuweisen.
2. Schritt 2: Betriebszeiten, Wartungsfenster und Eskalationsweg festhalten.
3. Schritt 3: Abnahmecheckliste für Verbindung, Vertrag, Monitoring und Sicherheit ausfüllen.
4. Schritt 4: Onboarding-Paket versionieren und in das Plattform-Backlog übergeben.

Praxislabor

Eine neue Datenquelle wird mit technischer Identität angebunden, ein begrenzter Dataset-Bereich entdeckt und geprüft. Für ein priorisiertes Dataset entstehen Baseline-Vertrag, Kernmonitore, Owner-Zuordnung und eine vollständige Übergabecheckliste.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Platform Engineering, Data Engineering, Datenbank- und Cloudbetrieb, Data Governance sowie Datenproduktteams.

Voraussetzungen: Grundkenntnisse der anzubindenden Datenplattform, Netzwerk- und Berechtigungskonzepte; administrative Soda-Cloud-Basiskenntnisse sind hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.