Seminar TiDB HTAP und TiFlash

TiFlash erweitert TiDB um spaltenorientierte Analyse bei konsistentem Datenstand. Das Seminar zeigt, wie Replikate, Engine-Auswahl, MPP-Pläne und Ressourcensteuerung zu einem stabilen HTAP-Betrieb zusammenspielen.

Zwei Tage sind erforderlich, um TiFlash-Replikate aufzubauen, analytische Pläne zu optimieren und gemischte OLTP- und OLAP-Lasten mit messbaren SLOs zu testen.

Inhaltsverzeichnis

1. Lernziele und fachliche Einordnung
2. Zielgruppe und Voraussetzungen
3. Kapitel 1: HTAP-Architektur und Workload-Zuordnung
4. Kapitel 2: TiFlash-Replikate und Kapazitätsplanung
5. Kapitel 3: Analytische SQL-Ausführung und MPP
6. Kapitel 4: Betrieb und Isolation gemischter Workloads
7. Praxisübungen und Laborszenarien
8. Didaktik und Arbeitsweise

Lernziele

• HTAP-Architektur und Konsistenzpfad erklären.
• TiFlash-Replikate passend zu Daten und Zonen planen.
• MPP- und Engine-Entscheidungen mit EXPLAIN ANALYZE untersuchen.
• Analytische SQL-Abfragen für TiFlash optimieren.
• OLTP- und OLAP-Ressourcen im Betrieb isolieren und überwachen.

Zielgruppe und Voraussetzungen

Zielgruppe: Datenbankadministration, Data Engineering, BI- und Analytics-Teams, Architektur, Performance Engineering und Plattformbetrieb.

Voraussetzungen: TiDB-Grundlagen, SQL-Kenntnisse sowie Grundverständnis analytischer Abfragen, Joins und Aggregationen.

Kapitel 1: HTAP-Architektur und Workload-Zuordnung

Inhaltsverzeichnis dieses Kapitels

1. OLTP auf TiKV
2. analytische Verarbeitung auf TiFlash
3. starke Konsistenz und Replikationspfad
4. Optimizer-Entscheidung und Engine-Auswahl

Schwerpunkt: OLTP auf TiKV, analytische Verarbeitung auf TiFlash, starke Konsistenz und Replikationspfad, Optimizer-Entscheidung und Engine-Auswahl.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu OLTP auf TiKV und analytische Verarbeitung auf TiFlash dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von OLTP auf TiKV, analytische Verarbeitung auf TiFlash, starke Konsistenz und Replikationspfad, Optimizer-Entscheidung und Engine-Auswahl in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere starke Konsistenz und Replikationspfad und Optimizer-Entscheidung und Engine-Auswahl ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein HTAP-Zielbild mit klarer Workload-Zuordnung. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 2: TiFlash-Replikate und Kapazitätsplanung

Inhaltsverzeichnis dieses Kapitels

1. Replica-Erstellung auf Tabellen und Datenbanken
2. Verfügbarkeit und Fortschritt
3. Zonen, Placement und Storage
4. Aufbauzeit, Wachstum und Wartung

Schwerpunkt: Replica-Erstellung auf Tabellen und Datenbanken, Verfügbarkeit und Fortschritt, Zonen, Placement und Storage, Aufbauzeit, Wachstum und Wartung.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Replica-Erstellung auf Tabellen und Datenbanken und Verfügbarkeit und Fortschritt dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Replica-Erstellung auf Tabellen und Datenbanken, Verfügbarkeit und Fortschritt, Zonen, Placement und Storage, Aufbauzeit, Wachstum und Wartung in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Zonen, Placement und Storage und Aufbauzeit, Wachstum und Wartung ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine TiFlash-Replica- und Kapazitätsplanung für ausgewählte Datenbereiche. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 3: Analytische SQL-Ausführung und MPP

Inhaltsverzeichnis dieses Kapitels

1. Engine-Präferenz und Hints
2. MPP-Joins und Aggregationen
3. Pushdown, Parallelität und Memory
4. EXPLAIN ANALYZE und Vergleich zu TiKV

Schwerpunkt: Engine-Präferenz und Hints, MPP-Joins und Aggregationen, Pushdown, Parallelität und Memory, EXPLAIN ANALYZE und Vergleich zu TiKV.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Engine-Präferenz und Hints und MPP-Joins und Aggregationen dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Engine-Präferenz und Hints, MPP-Joins und Aggregationen, Pushdown, Parallelität und Memory, EXPLAIN ANALYZE und Vergleich zu TiKV in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Pushdown, Parallelität und Memory und EXPLAIN ANALYZE und Vergleich zu TiKV ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht einen optimierten analytischen Abfragekatalog mit Planvergleich. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 4: Betrieb und Isolation gemischter Workloads

Inhaltsverzeichnis dieses Kapitels

1. Ressourcenbedarf von OLTP und OLAP
2. Resource Groups und Priorisierung
3. TiFlash-Metriken und Fehlerbilder
4. Lasttests, SLOs und Freigabekriterien

Schwerpunkt: Ressourcenbedarf von OLTP und OLAP, Resource Groups und Priorisierung, TiFlash-Metriken und Fehlerbilder, Lasttests, SLOs und Freigabekriterien.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Ressourcenbedarf von OLTP und OLAP und Resource Groups und Priorisierung dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Ressourcenbedarf von OLTP und OLAP, Resource Groups und Priorisierung, TiFlash-Metriken und Fehlerbilder, Lasttests, SLOs und Freigabekriterien in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere TiFlash-Metriken und Fehlerbilder und Lasttests, SLOs und Freigabekriterien ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein Betriebs- und Testkonzept für gemischte HTAP-Lasten. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Praxisübungen und Laborszenarien

• TiFlash-Replikate für ausgewählte Tabellen erstellen und überwachen.
• Eine analytische Abfrage auf TiKV und TiFlash vergleichen.
• MPP-Joins und Aggregationen anhand von Ausführungsplänen optimieren.
• Gemischte Last erzeugen und Resource Groups sowie TiFlash-Metriken bewerten.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, kontrollierte Fehlerfälle und dokumentierte Prüfpunkte vertieft. Jede Übung beginnt mit einem definierten Ausgangszustand und endet mit messbaren Abnahmekriterien, damit die erarbeiteten Vorgehensweisen als wiederholbare Standards nutzbar bleiben.