Seminar Debezium – Sink Connectoren für JDBC und MongoDB

Das Seminar behandelt die kontrollierte Replikation von Debezium-Ereignissen aus Kafka in relationale und dokumentenorientierte Zielsysteme. Der JDBC Sink Connector und der MongoDB Sink Connector werden hinsichtlich Ereignisformat, Schlüsselstrategie, Upsert- und Delete-Verhalten, Schema- beziehungsweise Dokumentabbildung, Parallelität und Betriebsverfahren verglichen.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Einsatzgrenzen der Debezium Sink Connectoren gegenüber spezialisierten ETL- und Replikationswerkzeugen bewerten.
• Quelltopics und native Debezium-Ereignisse für relationale und MongoDB-Ziele korrekt auswählen.
• Primärschlüssel-, Upsert-, Delete- und Dokument-ID-Verhalten konsistent konfigurieren.
• Schema Evolution, Datentypen und Dokumentabbildung kontrolliert umsetzen.
• Parallelität, Fehlerbehandlung, Wiederanlauf und Datenabgleich produktionsreif organisieren.

Schrittweise Seminarinhalte

1. Sink-Architektur, Delivery und Einsatzgrenzen

Schwerpunkt: Kafka Connect Sink, At-least-once, native Debezium Events, Zieltabellen oder Collections, Transaktion, Idempotenz und Replikationsziel.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Sink-Architektur, Delivery und Einsatzgrenzen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Kafka Connect Sink, At-least-once, native Debezium Events, Zieltabellen oder Collections, Transaktion, Idempotenz und Replikationsziel modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine belastbare Auswahl zwischen JDBC-, MongoDB- und alternativen Sink-Ansätzen dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Topic-Auswahl, Ereignisform und Zielbenennung

Schwerpunkt: Topics, Regex, Schema-Change-Ausschluss, Event Key, Envelope, Unwrap-Anforderung, Tabellen- oder Collection-Namen und Routing.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Topic-Auswahl, Ereignisform und Zielbenennung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Topics, Regex, Schema-Change-Ausschluss, Event Key, Envelope, Unwrap-Anforderung, Tabellen- oder Collection-Namen und Routing modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine eindeutige Quell-zu-Ziel-Abbildung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. JDBC Sink: Verbindung, Schlüssel, Upsert und Delete

Schwerpunkt: JDBC URL, Treiber, Credentials, TLS, Dialekt, PK Mode, PK Fields, Insert Mode, Upsert, Delete Enabled und Tombstones.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „JDBC Sink: Verbindung, Schlüssel, Upsert und Delete“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von JDBC URL, Treiber, Credentials, TLS, Dialekt, PK Mode, PK Fields, Insert Mode, Upsert, Delete Enabled und Tombstones modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine sichere und idempotente relationale Replikation dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. JDBC Sink: Schema Evolution und Datentypen

Schwerpunkt: Basic Schema Evolution, neue Spalten, Nullability, Defaultwerte, Identifier Quoting, Groß- und Kleinschreibung sowie Typmapping.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „JDBC Sink: Schema Evolution und Datentypen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Basic Schema Evolution, neue Spalten, Nullability, Defaultwerte, Identifier Quoting, Groß- und Kleinschreibung sowie Typmapping modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten relationalen Schemaänderungsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. MongoDB Sink: Dokumentmapping und Einschränkungen

Schwerpunkt: relationale Debezium-Quellen, Document ID, Collection Mapping, Replace oder Update, verschachtelte Felder, Deletes, Sharding und nicht unterstützte Quellereignisse.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „MongoDB Sink: Dokumentmapping und Einschränkungen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von relationale Debezium-Quellen, Document ID, Collection Mapping, Replace oder Update, verschachtelte Felder, Deletes, Sharding und nicht unterstützte Quellereignisse modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine geprüfte dokumentenorientierte Zielabbildung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Tasks, Batching und Fehlerbehandlung

Schwerpunkt: tasks.max, Parallelität, Batch, Transaktionen, Retry, Dead Letter Queue, Timeouts, Locking, Teilfehler und Durchsatz.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Tasks, Batching und Fehlerbehandlung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von tasks.max, Parallelität, Batch, Transaktionen, Retry, Dead Letter Queue, Timeouts, Locking, Teilfehler und Durchsatz modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine abgestimmte Leistungs- und Fehlerstrategie für beide Sink-Typen dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Datenabgleich, Betrieb und Wiederanlauf

Schwerpunkt: Row Count, Document Count, Hash, Stichprobe, Lag, Metriken, Reprocessing, Duplikate, Backfill und Betriebsfreigabe.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Datenabgleich, Betrieb und Wiederanlauf“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Row Count, Document Count, Hash, Stichprobe, Lag, Metriken, Reprocessing, Duplikate, Backfill und Betriebsfreigabe modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen wiederholbaren Abnahme- und Kontrollprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Replikation mehrerer Debezium-Topics in ein relationales Zielsystem.
• Abbildung relationaler Änderungsereignisse auf MongoDB-Collections und Dokument-IDs.
• Test von Upsert, Delete, Schemaänderung, Fehlerfall und Wiederanlauf mit Datenabgleich.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Datenbankadministration, MongoDB-Administration, Kafka-Connect-Betrieb, Integrationsentwicklung und Plattformengineering.

Voraussetzungen: Debezium- und Kafka-Connect-Grundlagen sowie sichere Kenntnisse relationaler Datenbanken; MongoDB-Grundkenntnisse sind für den zweiten Seminarteil erforderlich.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.