Seminar TiDB Migration und Modernisierung mit Dumpling, Lightning und DM

Eine belastbare TiDB-Migration verbindet technische Werkzeugketten mit Downtime, Datenqualität, Anwendungsumschaltung und Rückfallfähigkeit. Das Seminar führt alle Schritte an einem durchgehenden Migrationsfall zusammen.

Vier Tage sind notwendig, weil Assessment, Full Load, inkrementelle Nachführung, Cutover und Datenvalidierung jeweils eigene Labor- und Kontrollphasen benötigen; eine kürzere Dauer würde den End-to-End-Nachweis unvollständig lassen.

Inhaltsverzeichnis

1. Lernziele und fachliche Einordnung
2. Zielgruppe und Voraussetzungen
3. Kapitel 1: Migrationsassessment und Kompatibilitätsprüfung
4. Kapitel 2: Vollmigration mit Dumpling und TiDB Lightning
5. Kapitel 3: Kontinuierliche Migration mit TiDB Data Migration
6. Kapitel 4: Cutover, Synchronisationsfenster und Rückfall
7. Kapitel 5: Datenvalidierung und Produktionsabnahme
8. Praxisübungen und Laborszenarien
9. Didaktik und Arbeitsweise

Lernziele

• Kompatibilität, Datenvolumen und Downtime-Anforderungen bewerten.
• Dumpling und TiDB Lightning für performante Full Loads einsetzen.
• DM für kontinuierliche Nachführung konfigurieren und betreiben.
• Cutover und Rollback minutengenau planen.
• Technische und fachliche Datenvalidierung nachweisen.

Zielgruppe und Voraussetzungen

Zielgruppe: Datenbankmigration, Datenbankadministration, Data Engineering, Anwendungsmodernisierung, Integrationsarchitektur und technische Projektleitung.

Voraussetzungen: SQL, Linux, MySQL- beziehungsweise MariaDB-Grundlagen, TiDB-Basiswissen und Erfahrung mit Datenexport, Replikation oder Cutover-Planung.

Kapitel 1: Migrationsassessment und Kompatibilitätsprüfung

Inhaltsverzeichnis dieses Kapitels

1. Upstream-Version, Datenvolumen und Änderungsrate
2. Schema, SQL, Funktionen und Datentypen
3. Downtime, RPO, RTO und Rückfallbedarf
4. Werkzeugauswahl und Migrationswellen

Schwerpunkt: Upstream-Version, Datenvolumen und Änderungsrate, Schema, SQL, Funktionen und Datentypen, Downtime, RPO, RTO und Rückfallbedarf, Werkzeugauswahl und Migrationswellen.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Upstream-Version, Datenvolumen und Änderungsrate und Schema, SQL, Funktionen und Datentypen dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Upstream-Version, Datenvolumen und Änderungsrate, Schema, SQL, Funktionen und Datentypen, Downtime, RPO, RTO und Rückfallbedarf, Werkzeugauswahl und Migrationswellen in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Downtime, RPO, RTO und Rückfallbedarf und Werkzeugauswahl und Migrationswellen ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine belastbare Migrationsstrategie mit Risiken und Entscheidungspunkten. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 2: Vollmigration mit Dumpling und TiDB Lightning

Inhaltsverzeichnis dieses Kapitels

1. konsistenter Export und Chunking
2. SQL-, CSV- und Kompressionsformate
3. Lightning-Backend, Importleistung und Ressourcen
4. Fehlerbehandlung, Wiederaufnahme und Nachkontrolle

Schwerpunkt: konsistenter Export und Chunking, SQL-, CSV- und Kompressionsformate, Lightning-Backend, Importleistung und Ressourcen, Fehlerbehandlung, Wiederaufnahme und Nachkontrolle.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu konsistenter Export und Chunking und SQL-, CSV- und Kompressionsformate dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von konsistenter Export und Chunking, SQL-, CSV- und Kompressionsformate, Lightning-Backend, Importleistung und Ressourcen, Fehlerbehandlung, Wiederaufnahme und Nachkontrolle in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Lightning-Backend, Importleistung und Ressourcen und Fehlerbehandlung, Wiederaufnahme und Nachkontrolle ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein reproduzierbares Full-Load-Runbook mit Performanceparametern. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 3: Kontinuierliche Migration mit TiDB Data Migration

Inhaltsverzeichnis dieses Kapitels

1. DM-Architektur und Task-Modell
2. Full und Incremental Mode
3. Binlog-Position, Filter und Sharding-Szenarien
4. Monitoring, Pause, Resume und Fehlerbehebung

Schwerpunkt: DM-Architektur und Task-Modell, Full und Incremental Mode, Binlog-Position, Filter und Sharding-Szenarien, Monitoring, Pause, Resume und Fehlerbehebung.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu DM-Architektur und Task-Modell und Full und Incremental Mode dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von DM-Architektur und Task-Modell, Full und Incremental Mode, Binlog-Position, Filter und Sharding-Szenarien, Monitoring, Pause, Resume und Fehlerbehebung in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Binlog-Position, Filter und Sharding-Szenarien und Monitoring, Pause, Resume und Fehlerbehebung ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine getestete DM-Task-Konfiguration für die laufende Nachführung. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 4: Cutover, Synchronisationsfenster und Rückfall

Inhaltsverzeichnis dieses Kapitels

1. Freeze und finale Nachführung
2. Anwendungsumschaltung und Connection Strings
3. Schreibfreigabe, Beobachtung und Rückfallkriterien
4. Kommunikation, Verantwortlichkeiten und Zeitplan

Schwerpunkt: Freeze und finale Nachführung, Anwendungsumschaltung und Connection Strings, Schreibfreigabe, Beobachtung und Rückfallkriterien, Kommunikation, Verantwortlichkeiten und Zeitplan.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Freeze und finale Nachführung und Anwendungsumschaltung und Connection Strings dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Freeze und finale Nachführung, Anwendungsumschaltung und Connection Strings, Schreibfreigabe, Beobachtung und Rückfallkriterien, Kommunikation, Verantwortlichkeiten und Zeitplan in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Schreibfreigabe, Beobachtung und Rückfallkriterien und Kommunikation, Verantwortlichkeiten und Zeitplan ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht einen minutengenauen Cutover- und Rollback-Plan. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 5: Datenvalidierung und Produktionsabnahme

Inhaltsverzeichnis dieses Kapitels

1. Zeilen- und Prüfsummenvergleich
2. sync-diff-inspector und Stichproben
3. Geschäftskennzahlen und Referenzabfragen
4. Abnahme, Restfehler und Nachmigrationsarbeiten

Schwerpunkt: Zeilen- und Prüfsummenvergleich, sync-diff-inspector und Stichproben, Geschäftskennzahlen und Referenzabfragen, Abnahme, Restfehler und Nachmigrationsarbeiten.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Zeilen- und Prüfsummenvergleich und sync-diff-inspector und Stichproben dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Zeilen- und Prüfsummenvergleich, sync-diff-inspector und Stichproben, Geschäftskennzahlen und Referenzabfragen, Abnahme, Restfehler und Nachmigrationsarbeiten in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Geschäftskennzahlen und Referenzabfragen und Abnahme, Restfehler und Nachmigrationsarbeiten ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht einen prüfbaren Validierungs- und Abnahmebericht. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Praxisübungen und Laborszenarien

• Ein Assessment mit Kompatibilitäts- und Werkzeugmatrix erstellen.
• Export und Full Load mit kontrollierten Parametern durchführen.
• Eine DM-Task für inkrementelle Änderungen konfigurieren und überwachen.
• Cutover und Rückfall anhand eines Zeitplans simulieren.
• Daten mit sync-diff-inspector und fachlichen Prüfabfragen validieren.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, kontrollierte Fehlerfälle und dokumentierte Prüfpunkte vertieft. Jede Übung beginnt mit einem definierten Ausgangszustand und endet mit messbaren Abnahmekriterien, damit die erarbeiteten Vorgehensweisen als wiederholbare Standards nutzbar bleiben.