Seminar RisingWave – CDC und Datenbankintegration

Change Data Capture überführt operative Datenbankänderungen kontinuierlich in Streaming-Pipelines. Die Schulung behandelt Quellsystemvorbereitung, Initialsnapshot, Änderungsstrom, Schemaentwicklung, Konsistenz und Fehlersuche für mehrere verbreitete Datenbanksysteme.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• CDC-Quellen technisch und fachlich korrekt vorbereiten
• Initialdaten und laufende Änderungen ohne unkontrollierte Lücken übernehmen
• Schemaänderungen, Schlüssel und Löschvorgänge belastbar behandeln
• Fortschritt, Latenz und Datenkonsistenz Ende zu Ende überwachen

Zielgruppe

Data Engineers, Datenbankadministration, Integrationsentwicklung, Analytics Engineering und technische Projektleitung.

Voraussetzungen

SQL-Kenntnisse, Verständnis relationaler Schlüssel und Transaktionen sowie Grundkenntnisse mindestens eines Quellsystems wie PostgreSQL, MySQL oder SQL Server.

Seminarinhalte

1. Schritt 1: CDC-Verfahren und Grenzen einordnen

   Logbasierte Änderungserfassung, Snapshot, Replikationsposition, Transaktionsgrenzen und Zielmodell werden von periodischen Vollabzügen abgegrenzt.

2. Schritt 2: Quellsystem vorbereiten

   Replikationsparameter, Benutzerrechte, Netzwerkpfade, Aufbewahrung der Änderungsprotokolle und belastbare Primärschlüssel werden geprüft.

3. Schritt 3: PostgreSQL-CDC konfigurieren

   Publikation, Replikationsslot, Tabellenumfang, Startposition und Überwachung werden an einer vollständigen Beispielquelle eingerichtet.

4. Schritt 4: MySQL- und SQL-Server-CDC vergleichen

   Binlog- beziehungsweise CDC-Voraussetzungen, Berechtigungen, Datentypen und betriebliche Besonderheiten werden systematisch gegenübergestellt.

5. Schritt 5: MongoDB-Änderungen einordnen

   Dokumentstruktur, Schlüssel, Änderungsereignisse und mögliche Modellierungsunterschiede zur relationalen Verarbeitung werden berücksichtigt.

6. Schritt 6: Initialsnapshot kontrollieren

   Startzeitpunkt, Tabellenumfang, Parallelität, Fortschritt und Übergang vom Snapshot zum laufenden Änderungsstrom werden beobachtet.

7. Schritt 7: Änderungsereignisse modellieren

   Insert, Update, Delete, Schlüsseländerung und Transaktionsreihenfolge werden in Upsert-, Append- und materialisierte Zielmodelle überführt.

8. Schritt 8: Schemaentwicklung beherrschen

   Neue Spalten, Typänderungen, Umbenennungen und inkompatible Änderungen werden mit Test-, Freigabe- und Rückfallverfahren behandelt.

9. Schritt 9: Konsistenz und Latenz prüfen

   Zeilenanzahl, Schlüsselstichproben, Quellposition, Fortschritt, Wasserzeichen und fachliche Summen werden zu einem Kontrollverfahren kombiniert.

10. Schritt 10: Fehler und Wiederanlauf bearbeiten

    Unterbrochene Verbindung, abgelaufene Logposition, fehlender Schlüssel, Datentypfehler und Neustart werden in einer festen Diagnosefolge gelöst.

Praxisübungen

• Eine PostgreSQL-CDC-Quelle einschließlich Initialsnapshot einrichten
• Updates und Löschungen bis in eine Materialized View verfolgen
• Eine Schemaänderung in Test, Freigabe und produktiven Übergang zerlegen
• Ein Abstimmungsprotokoll für Vollständigkeit, Reihenfolge und Latenz erstellen

Methodik

Die Schulung verwendet eine operative Beispieldatenbank und erzeugt reale Änderungsfolgen. Jeder Integrationsschritt wird durch technische und fachliche Kontrollabfragen abgesichert. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind angemessen, weil Quellvorbereitung, Snapshot, laufende Änderungen, Schemaentwicklung und Fehlerfälle praktisch erprobt werden und mehrere Datenbankvarianten verglichen werden müssen.