Seminar Debezium – Installation mit Kafka Connect und Produktionsbereitstellung

Das Seminar führt von der technischen Vorprüfung bis zur kontrollierten Produktionsfreigabe einer Debezium-Pipeline auf Kafka Connect. Worker, Plugins, interne Topics, Datenbankzugänge, Serialisierung, Connector-Konfiguration und Sicherheitsparameter werden reproduzierbar aufgebaut und mit Positiv- und Negativtests abgenommen.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Kompatibilitäts-, Infrastruktur- und Sicherheitsvoraussetzungen vollständig erfassen.
• Kafka Connect im verteilten Modus mit belastbaren internen Topics bereitstellen.
• Debezium-Plugins isoliert installieren und versionieren.
• Eine Quelldatenbank vorbereiten und einen Connector mit initialem Snapshot starten.
• Produktionsabnahme, Rollback und Betriebsübergabe dokumentieren.

Schrittweise Seminarinhalte

1. Anforderungsaufnahme und Versionsmatrix

Schwerpunkt: Java, Kafka Connect, Broker, Debezium, Datenbank, Serialisierung, Netzwerk, Latenz, Mengengerüst und Supportfenster.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Anforderungsaufnahme und Versionsmatrix“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Java, Kafka Connect, Broker, Debezium, Datenbank, Serialisierung, Netzwerk, Latenz, Mengengerüst und Supportfenster modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine freigegebene Installations- und Kompatibilitätsmatrix dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Kafka-Connect-Worker und interne Topics

Schwerpunkt: Distributed Mode, Worker Properties, config, offsets, status, Replikationsfaktor, ACL, Converter und REST-Schnittstelle.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Kafka-Connect-Worker und interne Topics“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Distributed Mode, Worker Properties, config, offsets, status, Replikationsfaktor, ACL, Converter und REST-Schnittstelle modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen belastbaren Kafka-Connect-Cluster für Source Connectoren dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Plugin-Installation und Isolation

Schwerpunkt: Plugin Path, Archive, Abhängigkeiten, JDBC-Treiber, Classloader, Prüfsumme, Version und Rollback.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Plugin-Installation und Isolation“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Plugin Path, Archive, Abhängigkeiten, JDBC-Treiber, Classloader, Prüfsumme, Version und Rollback modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine reproduzierbare und prüfbare Plugin-Bereitstellung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Datenbankvorbereitung und Dienstkonto

Schwerpunkt: Transaktionslog, Replikationsfunktion, Berechtigungen, TLS, Netzwerk, Retention, Snapshotzugriff und Namensauflösung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Datenbankvorbereitung und Dienstkonto“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Transaktionslog, Replikationsfunktion, Berechtigungen, TLS, Netzwerk, Retention, Snapshotzugriff und Namensauflösung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine minimal berechtigte und getestete Quellanbindung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Connector-Konfiguration und initialer Snapshot

Schwerpunkt: Topic Prefix, Scope, Snapshot Mode, Schemahistorie, Heartbeat, Fehlerbehandlung, Offset und Start.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Connector-Konfiguration und initialer Snapshot“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Topic Prefix, Scope, Snapshot Mode, Schemahistorie, Heartbeat, Fehlerbehandlung, Offset und Start modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine funktionsfähige erste CDC-Pipeline mit dokumentiertem Startpunkt dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Topics, Serialisierung und Zugriffsschutz

Schwerpunkt: Topic-Erstellung, Partitionen, Replikation, Retention, Kompaktierung, JSON oder Registry-Format, ACL und Verschlüsselung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Topics, Serialisierung und Zugriffsschutz“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Topic-Erstellung, Partitionen, Replikation, Retention, Kompaktierung, JSON oder Registry-Format, ACL und Verschlüsselung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine sichere und konsistente Ereignisablage dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Härtung, Abnahme und Betriebsübergabe

Schwerpunkt: Secrets, TLS, Workerhärtung, Backup, Monitoring, Negativtest, Lasttest, Rollback, Runbook und Verantwortungsübergabe.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Härtung, Abnahme und Betriebsübergabe“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Secrets, TLS, Workerhärtung, Backup, Monitoring, Negativtest, Lasttest, Rollback, Runbook und Verantwortungsübergabe modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine formal abgenommene Produktionsbereitstellung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines verteilten Kafka-Connect-Workers mit internen Topics.
• Installation eines Debezium-Plugins und Konfiguration eines Source Connectors.
• Durchführung von Snapshot, Streaming-Test, Fehlerfall und kontrolliertem Restart.

Zielgruppe und Voraussetzungen

Zielgruppe: Kafka- und Plattformadministration, Datenbankadministration, DevOps, Systemintegration und technische Projektteams.

Voraussetzungen: Praxiskenntnisse in Kafka, Linux oder Containern, Netzwerken und der eingesetzten Quelldatenbank.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.