Seminar Lobster_data – Datenbankintegration und ETL

Die Schulung behandelt Datenbankzugriffe und ETL-orientierte Integrationen mit Lobster_data. Von der sicheren Verbindung über Abfragen und Änderungsselektion bis zu Transformation, Ladeverfahren, Transaktionen und Wiederanlauf wird ein vollständiger Datenfluss aufgebaut. Schwerpunkt ist die korrekte Verarbeitung großer und wiederkehrender Datenmengen.

Inhaltsverzeichnis

1. Lernziele
2. Seminarinhalte
3. Praxisübungen
4. Einordnung in den Lernpfad

Lernziele

• Datenbankquellen und -ziele sicher anbinden und Verbindungsparameter kontrolliert verwalten.
• Voll-, Delta- und ereignisorientierte Ladeverfahren passend zum Anwendungsfall auswählen.
• Transformationen, Transaktionen und Fehlerpfade für konsistente Datenbestände umsetzen.
• ETL-Prozesse hinsichtlich Durchsatz, Wiederanlauf und Nachvollziehbarkeit optimieren.

Seminarinhalte

Tag 1: Extraktion und Datenmodell

1. Schritt 1: Quell- und Zieldatenmodelle, Schlüssel, Beziehungen, Änderungsmerkmale und Datenqualitätsregeln aufnehmen.
2. Schritt 2: Datenbankverbindungen mit Treibern, Dienstkonten, Verschlüsselung und minimalen Rechten konfigurieren.
3. Schritt 3: Abfragen für Vollbeladung, Delta-Selektion und parametrisierte Verarbeitung entwickeln und kontrolliert testen.
4. Schritt 4: Große Ergebnismengen mit Paging, Batching und geeigneter Sortierung stabil verarbeiten.
5. Schritt 5: Datentypen, Nullwerte, Zeichensätze, Zeitangaben und Dezimalwerte verlustfrei in das Mapping überführen.
6. Schritt 6: Eine Extraktionsstrecke mit Wasserzeichen und nachvollziehbarer Laufsteuerung aufbauen.

Tag 2: Transformation, Laden und Wiederanlauf

1. Schritt 1: Zieldatensätze mit Insert-, Update-, Upsert- und Löschstrategien fachlich korrekt behandeln.
2. Schritt 2: Transaktionsgrenzen, Commit-Größen und Fehlerisolierung passend zu Datenmenge und Konsistenzanforderung festlegen.
3. Schritt 3: Referenzdaten, Schlüsselübersetzungen und Abhängigkeiten zwischen Ladeobjekten organisieren.
4. Schritt 4: Fehlerhafte Datensätze in Quarantäne führen, korrigieren und ohne Doppelverarbeitung erneut einspielen.
5. Schritt 5: Laufzeiten, Datenmengen und Datenbanklast messen und Engpässe durch Abfrage-, Batch- und Indexanpassungen reduzieren.
6. Schritt 6: Einen vollständigen ETL-Job mit Delta-Logik, Transformation, Zielbeladung, Protokollierung und Wiederanlauf abschließen.

Praxisübungen

Aufbau einer inkrementellen Datenbankextraktion; Mapping relationaler Daten in ein Zielmodell; Upsert-Verarbeitung mit Transaktionssteuerung; Quarantäne fehlerhafter Datensätze; Performancevergleich verschiedener Batch-Größen.

Einordnung in den Lernpfad

Mapping-Grundlagen und Integrationsprofile sollten vorausgehen. Für ereignisgesteuerte Ketten ist anschließend Orchestrierung oder IoT- und Event-Integration sinnvoll.