Seminar FoundationDB – Hochverfügbarkeit und Multi-Region-Architekturen

Das Einzelseminar vermittelt Fault Domains, Redundanzmodi, Regionskonfiguration, Coordinator-Platzierung, automatisches Recovery, Umschaltung, Katastrophenfall und Kapazitätsplanung. Die Themen werden von der fachlichen Einordnung über die Konfiguration beziehungsweise Implementierung bis zur kontrollierten Prüfung in einer zusammenhängenden Laborumgebung bearbeitet.

Jeder Themenblock enthält eine eigene Inhaltsübersicht, konkrete Arbeitsschritte und Prüfpunkte. Konfigurationen, Datenmodelle und Betriebsentscheidungen werden so dokumentiert, dass sie in Projekt- und Betriebsstandards übernommen werden können.

Inhaltsübersicht

1. 1. Fault Domains, Localities und Ausfallmodell
2. 2. Redundanzmodi und Quorumverhalten
3. 3. Regionskonfiguration und Datenfluss
4. 4. Coordinator-Platzierung und Clustererkennung
5. 5. Automatische Recovery und degradierter Betrieb
6. 6. Geplante Regionsumschaltung
7. 7. Katastrophaler Standortverlust und erzwungene Recovery
8. 8. Latenz-, Durchsatz- und Kapazitätsplanung über Regionen
9. 9. Change Management für hochverfügbare Cluster
10. 10. Multi-Region-Praxislabor

1. Fault Domains, Localities und Ausfallmodell

Kapitelinhaltsverzeichnis

1. 1.1 Einordnung und Zielsetzung
2. 1.2 Fachthemen
3. 1.3 Schritt-für-Schritt-Übung
4. 1.4 Prüfpunkte

Einordnung und Zielsetzung

Hochverfügbarkeit beginnt mit einem realistischen Ausfallmodell. Localities müssen reale Grenzen wie Strom, Netzwerk, Virtualisierung und Standort abbilden.

Fachthemen

• Zone, Machine, Data Hall und Datacenter
• Unabhängigkeit der Infrastruktur
• Gemeinsame Fehlerursachen

Schritt-für-Schritt-Übung: ein Ausfallmodell erstellen

1. Schritt 1: Hosts, Racks, Zonen, Hallen und Regionen als reale Abhängigkeiten erfassen.
2. Schritt 2: Locality-Werte mit der Infrastrukturzuordnung abgleichen.
3. Schritt 3: Gemeinsame Strom-, Netzwerk- und Storage-Abhängigkeiten markieren.
4. Schritt 4: Zulässige gleichzeitige Ausfälle je Schutzziel festlegen.
5. Schritt 5: Konfiguration und Testfälle aus diesem Modell ableiten.

Prüfpunkte

• Die Umsetzung berücksichtigt Zone, Machine, Data Hall und Datacenter und ist reproduzierbar dokumentiert.
• Das Verhalten von Unabhängigkeit der Infrastruktur ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

2. Redundanzmodi und Quorumverhalten

Kapitelinhaltsverzeichnis

1. 2.1 Einordnung und Zielsetzung
2. 2.2 Fachthemen
3. 2.3 Schritt-für-Schritt-Übung
4. 2.4 Prüfpunkte

Einordnung und Zielsetzung

Redundanzmodi werden anhand der vorhandenen Domänen und des gewünschten Ausfallverhaltens ausgewählt. Jede Konfiguration benötigt Reserve für Wiederherstellung und laufenden Betrieb.

Fachthemen

• Replikation über Domänen
• Verfügbarkeit bei Teilverlust
• Kapazitätsreserve

Schritt-für-Schritt-Übung: Redundanz gegen das Ausfallmodell prüfen

1. Schritt 1: Gewünschte Datenhaltbarkeit und Verfügbarkeit definieren.
2. Schritt 2: Passenden Modus für die realen Localities auswählen.
3. Schritt 3: Mindestanzahl und Verteilung der Prozesse nachweisen.
4. Schritt 4: Kapazität während Ausfall und Re-Replikation kalkulieren.
5. Schritt 5: Ausfalltests und Rückkehr in den Normalzustand durchführen.

Prüfpunkte

• Die Umsetzung berücksichtigt Replikation über Domänen und ist reproduzierbar dokumentiert.
• Das Verhalten von Verfügbarkeit bei Teilverlust ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

3. Regionskonfiguration und Datenfluss

Kapitelinhaltsverzeichnis

1. 3.1 Einordnung und Zielsetzung
2. 3.2 Fachthemen
3. 3.3 Schritt-für-Schritt-Übung
4. 3.4 Prüfpunkte

Einordnung und Zielsetzung

Eine Multi-Region-Konfiguration verbindet Latenz, Log-Replikation und Failover. Änderungen an Prioritäten und Regionsnutzung werden als kritische Changes behandelt.

Fachthemen

• Primary und Satellite
• Datacenter-Prioritäten
• Usable_regions und Replikationspfade

Schritt-für-Schritt-Übung: eine Regionskonfiguration entwerfen

1. Schritt 1: Standorte, Latenzen und unabhängige Fehlergrenzen erfassen.
2. Schritt 2: Primary, Remote und gegebenenfalls Satellite-Rollen zuordnen.
3. Schritt 3: Log-, Router- und Storage-Anforderungen pro Region planen.
4. Schritt 4: Konfiguration zunächst in einer repräsentativen Testumgebung anwenden.
5. Schritt 5: Status, Commit-Latenz und Verhalten bei Standortverlust messen.

Prüfpunkte

• Die Umsetzung berücksichtigt Primary und Satellite und ist reproduzierbar dokumentiert.
• Das Verhalten von Datacenter-Prioritäten ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

4. Coordinator-Platzierung und Clustererkennung

Kapitelinhaltsverzeichnis

1. 4.1 Einordnung und Zielsetzung
2. 4.2 Fachthemen
3. 4.3 Schritt-für-Schritt-Übung
4. 4.4 Prüfpunkte

Einordnung und Zielsetzung

Coordinators speichern die Information zur Clustererkennung und müssen ein belastbares Quorum bilden. Platzierung und Änderungen folgen dem Ausfallmodell.

Fachthemen

• Quorum
• Adressstabilität
• Änderung im laufenden Betrieb

Schritt-für-Schritt-Übung: Coordinator-Quorum für mehrere Standorte validieren

1. Schritt 1: Bestehende Coordinators und ihre Fault Domains erfassen.
2. Schritt 2: Kandidaten mit stabiler Adresse und unabhängiger Infrastruktur auswählen.
3. Schritt 3: Ungerade Anzahl und erreichbares Quorum für alle Betriebszustände prüfen.
4. Schritt 4: Änderung kontrolliert durchführen und Clusterdateien aktualisieren.
5. Schritt 5: Ausfälle und Netzwerkpartitionen im Labor testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Quorum und ist reproduzierbar dokumentiert.
• Das Verhalten von Adressstabilität ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

5. Automatische Recovery und degradierter Betrieb

Kapitelinhaltsverzeichnis

1. 5.1 Einordnung und Zielsetzung
2. 5.2 Fachthemen
3. 5.3 Schritt-für-Schritt-Übung
4. 5.4 Prüfpunkte

Einordnung und Zielsetzung

Das System reagiert automatisch auf viele Prozessausfälle. Betriebsverantwortliche müssen erkennen, wann abgewartet, wann Kapazität ergänzt und wann ein manueller Eingriff erforderlich ist.

Fachthemen

• Rollenrekrutierung
• Datenbewegung
• Warnungen und Recovery-Zeit

Schritt-für-Schritt-Übung: degradierten Betrieb bewerten

1. Schritt 1: Einen kontrollierten Prozess- oder Zonenverlust auslösen.
2. Schritt 2: Statusphasen, Rollenrekrutierung und Datenbewegung protokollieren.
3. Schritt 3: Verfügbarkeit, Commit-Latenz und verbleibende Redundanz messen.
4. Schritt 4: Stop-Kriterien für weitere Änderungen definieren.
5. Schritt 5: Vollständige Erholung und Rückkehr der Sicherheitsmargen bestätigen.

Prüfpunkte

• Die Umsetzung berücksichtigt Rollenrekrutierung und ist reproduzierbar dokumentiert.
• Das Verhalten von Datenbewegung ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

6. Geplante Regionsumschaltung

Kapitelinhaltsverzeichnis

1. 6.1 Einordnung und Zielsetzung
2. 6.2 Fachthemen
3. 6.3 Schritt-für-Schritt-Übung
4. 6.4 Prüfpunkte

Einordnung und Zielsetzung

Eine geplante Umschaltung reduziert Überraschungen im Notfall. Der Ablauf umfasst Lastvorbereitung, kontrollierte Konfigurationsänderung und die Prüfung aller Clientpfade.

Fachthemen

• Vorbedingungen
• Prioritätswechsel
• Anwendungs- und Datenprüfung

Schritt-für-Schritt-Übung: eine Regionsumschaltung proben

1. Schritt 1: Gesundheit, Replikationsstatus und Kapazität beider Regionen prüfen.
2. Schritt 2: Change-Fenster, Verantwortlichkeiten und Rollback festlegen.
3. Schritt 3: Regionsprioritäten kontrolliert ändern.
4. Schritt 4: Recovery, Clientkonnektivität und Latenz bis zum stabilen Zustand beobachten.
5. Schritt 5: Anwendungsprüfungen durchführen und neue Primärrolle dokumentieren.

Prüfpunkte

• Die Umsetzung berücksichtigt Vorbedingungen und ist reproduzierbar dokumentiert.
• Das Verhalten von Prioritätswechsel ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

7. Katastrophaler Standortverlust und erzwungene Recovery

Kapitelinhaltsverzeichnis

1. 7.1 Einordnung und Zielsetzung
2. 7.2 Fachthemen
3. 7.3 Schritt-für-Schritt-Übung
4. 7.4 Prüfpunkte

Einordnung und Zielsetzung

Erzwungene Recovery kann Datenverlust verursachen und ist nur für klar definierte Katastrophenfälle vorgesehen. Technische Durchführung und geschäftliche Freigabe werden strikt getrennt.

Fachthemen

• Datenverlustentscheidung
• Force recovery
• Neuaufbau der Redundanz

Schritt-für-Schritt-Übung: ein Katastrophen-Runbook entwickeln

1. Schritt 1: Unwiederbringlichkeit des Standorts und fehlende reguläre Recovery-Optionen bestätigen.
2. Schritt 2: Letzten bekannten konsistenten Zustand und mögliche Datenverlustspanne ermitteln.
3. Schritt 3: Formale Freigabe für eine Recovery mit möglichem Datenverlust einholen.
4. Schritt 4: Recovery in der gewählten Region kontrolliert durchführen und Clients umschalten.
5. Schritt 5: Daten prüfen, zweite Region neu aufbauen und den Schutzstatus wiederherstellen.

Prüfpunkte

• Die Umsetzung berücksichtigt Datenverlustentscheidung und ist reproduzierbar dokumentiert.
• Das Verhalten von force recovery ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

8. Latenz-, Durchsatz- und Kapazitätsplanung über Regionen

Kapitelinhaltsverzeichnis

1. 8.1 Einordnung und Zielsetzung
2. 8.2 Fachthemen
3. 8.3 Schritt-für-Schritt-Übung
4. 8.4 Prüfpunkte

Einordnung und Zielsetzung

Multi-Region-Sicherheit beeinflusst Commit-Latenz und Netzwerkbedarf. Planung und Lasttest müssen den Normal- und Ausfallbetrieb abdecken.

Fachthemen

• Commit-Latenz
• WAN-Bandbreite
• Ausfallkapazität

Schritt-für-Schritt-Übung: ein Multi-Region-Kapazitätsmodell erstellen

1. Schritt 1: Transaktionsrate, Mutation Bytes und Lesemuster messen.
2. Schritt 2: Netzwerklatenzen und verfügbare WAN-Bandbreite erfassen.
3. Schritt 3: Commit-Pfad und erwartete Latenz je Konfiguration modellieren.
4. Schritt 4: Kapazität für Betrieb mit einer verlorenen Region nachweisen.
5. Schritt 5: Lasttest mit Netzverzögerung und Teilverlust durchführen.

Prüfpunkte

• Die Umsetzung berücksichtigt Commit-Latenz und ist reproduzierbar dokumentiert.
• Das Verhalten von WAN-Bandbreite ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

9. Change Management für hochverfügbare Cluster

Kapitelinhaltsverzeichnis

1. 9.1 Einordnung und Zielsetzung
2. 9.2 Fachthemen
3. 9.3 Schritt-für-Schritt-Übung
4. 9.4 Prüfpunkte

Einordnung und Zielsetzung

In hochverfügbaren Clustern darf nicht gleichzeitig an mehreren Schutzschichten gearbeitet werden. Änderungen werden seriell, beobachtbar und mit klarer Rückkehrmöglichkeit umgesetzt.

Fachthemen

• Risiko und Blast Radius
• Schrittweise Änderungen
• Rollback und Beobachtungsfenster

Schritt-für-Schritt-Übung: einen risikoarmen Change planen

1. Schritt 1: Betroffene Rollen, Domänen und Schutzreserven bestimmen.
2. Schritt 2: Backup-, Status- und Kapazitätsvorbedingungen festlegen.
3. Schritt 3: Änderung in kleine, einzeln überprüfbare Schritte teilen.
4. Schritt 4: Nach jedem Schritt ein Beobachtungsfenster mit Messkriterien einhalten.
5. Schritt 5: Rollback oder Stop vor dem Verlust weiterer Redundanz auslösen.

Prüfpunkte

• Die Umsetzung berücksichtigt Risiko und Blast Radius und ist reproduzierbar dokumentiert.
• Das Verhalten von schrittweise Änderungen ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

10. Multi-Region-Praxislabor

Kapitelinhaltsverzeichnis

1. 10.1 Einordnung und Zielsetzung
2. 10.2 Fachthemen
3. 10.3 Schritt-für-Schritt-Übung
4. 10.4 Prüfpunkte

Einordnung und Zielsetzung

Das Praxislabor verbindet Konfiguration, Last und Ausfälle in einem zusammenhängenden Szenario. Der Schwerpunkt liegt auf messbaren Recovery-Zeiten und korrekt ausgeführten Betriebsentscheidungen.

Fachthemen

• Aufbau
• Fehlerszenarien
• Messung und Runbook

Schritt-für-Schritt-Übung: ein vollständiges Multi-Region-Szenario durchführen

1. Schritt 1: Zwei Regionen mit eindeutigen Localities und kontrollierbarer Netzstrecke bereitstellen.
2. Schritt 2: Regionskonfiguration und Testlast aktivieren.
3. Schritt 3: Prozess-, Zonen- und Regionsausfälle nacheinander auslösen.
4. Schritt 4: Status, Latenz, Datenstand und Recovery-Zeit erfassen.
5. Schritt 5: Runbook anhand der Beobachtungen korrigieren und erneut testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Aufbau und ist reproduzierbar dokumentiert.
• Das Verhalten von Fehlerszenarien ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.