Seminar Monda File Data Readiness für S3, SFTP, Blob und GCS

Dateibasierte Datenprodukte benötigen mehr als einen Ablageort. Verzeichnisstruktur, Format, Schema, Zeichencodierung, Benennung, Teilung und Prüfbarkeit werden so vorbereitet, dass automatisierte Aufnahme und wiederholbare Bereitstellung zuverlässig funktionieren.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe und Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Arbeitsweise

Zielsetzung

Ein dateibasiertes Datenprodukt wird nach verbindlichen Readiness-Regeln vorbereitet, validiert und für die technische Anbindung dokumentiert.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineers, Datenlieferanten, Plattformbetrieb, Data Product Owner, Integrationsverantwortliche und Qualitätssicherung

Voraussetzungen: Grundkenntnisse zu CSV oder Parquet sowie zu mindestens einem Objektspeicher oder SFTP; Beispiel- oder Testdateien sollten verfügbar sein.

Seminarinhalte

1. Produktordner und Benennung standardisieren

1. Schritt 1: Pro Datenprodukt einen eindeutig abgegrenzten Ablagebereich festlegen.
2. Schritt 2: Ordner, Dateien und Zeitbezug nach einer stabilen Konvention benennen.
3. Schritt 3: Temporäre, technische und freizugebende Dateien trennen.
4. Schritt 4: Beispielstruktur gegen den automatisierten Aufnahmeprozess prüfen.

2. Format und Schema vorbereiten

1. Schritt 1: CSV und Parquet anhand Volumen, Typinformation und Verbrauchersystem auswählen.
2. Schritt 2: Spaltennamen, Datentypen und Reihenfolge verbindlich definieren.
3. Schritt 3: Schemaänderungen in kompatible und brechende Änderungen einteilen.
4. Schritt 4: Datenwörterbuch und Beispielwerte ergänzen.

3. CSV-Dateien robust gestalten

1. Schritt 1: UTF-8, Trennzeichen, Dezimalzeichen und Zeilenende verbindlich festlegen.
2. Schritt 2: Kopfzeile, Anführungszeichen und Escape-Regeln kontrollieren.
3. Schritt 3: Leere Werte von echten Nullwerten unterscheiden.
4. Schritt 4: Datei mit Positiv- und Negativfällen validieren.

4. Große Dateien und Lieferpakete planen

1. Schritt 1: Dateigröße und Verarbeitungslimit der beteiligten Systeme erfassen.
2. Schritt 2: Große Bestände nach fachlich stabilen Schlüsseln partitionieren.
3. Schritt 3: Kompression und Entpackbarkeit im Zielprozess testen.
4. Schritt 4: Vollbestand, Delta und Korrekturlieferung eindeutig kennzeichnen.

5. Readiness-Prüfung automatisieren

1. Schritt 1: Pflichtdateien, Schema, Encoding, Größe und Namensmuster als Prüfregeln formulieren.
2. Schritt 2: Prüfungen vor Freigabe oder Upload ausführen.
3. Schritt 3: Fehler mit Datei, Regel und Korrekturhinweis protokollieren.
4. Schritt 4: Freigabe erst nach vollständiger Wiederholungsprüfung erteilen.

6. S3, SFTP, Blob und GCS anbinden

1. Schritt 1: Endpunkt, Pfad, Berechtigung und Netzwerkzugang je Zieltyp erfassen.
2. Schritt 2: Minimal erforderliche Lese- oder Schreibrechte konfigurieren.
3. Schritt 3: Testdatei übertragen und Integrität prüfen.
4. Schritt 4: Betriebsübergabe mit Kontakt-, Fehler- und Rotationsverfahren dokumentieren.

Praxisübungen

• Eine fehlerhafte CSV-Datei systematisch prüfen und korrigieren.
• Eine produktfähige Ordner- und Dateinamenskonvention entwickeln.
• Eine Readiness-Checkliste mit automatisierbaren Prüfkriterien erstellen.

Arbeitsweise

Fachliche Einordnung, Demonstrationen, geführte Schritt-für-Schritt-Arbeit, Fallanalysen und kontrollierte Prüfungen werden verbunden. Jede Konfiguration wird mit einem erwarteten Ergebnis, einem Negativfall und einer dokumentierten Nachkontrolle abgeschlossen.