Seminar FoundationDB – Record Layer, Indizes und relationale Modelle

Das Einzelseminar vermittelt Record-Layer-Architektur, Protobuf-Metadaten, Record Store, Indizes, Query Planner, Schemaevolution, Multi-Tenancy, relationale API und Performance. Die Themen werden von der fachlichen Einordnung über die Konfiguration beziehungsweise Implementierung bis zur kontrollierten Prüfung in einer zusammenhängenden Laborumgebung bearbeitet.

Jeder Themenblock enthält eine eigene Inhaltsübersicht, konkrete Arbeitsschritte und Prüfpunkte. Konfigurationen, Datenmodelle und Betriebsentscheidungen werden so dokumentiert, dass sie in Projekt- und Betriebsstandards übernommen werden können.

Inhaltsübersicht

1. 1. Record-Layer-Architektur und Einsatzgrenzen
2. 2. Protobuf-Schemas und Record-Metadaten
3. 3. Record Store, Context und Transaktionen
4. 4. Indizes und Indexzustände
5. 5. Query Planner und Abfrageausführung
6. 6. Schema- und Indexevolution
7. 7. Multi-Tenancy und wiederverwendbare Schemas
8. 8. Relationale API, SQL und JDBC
9. 9. Record-Layer-Performance und Online-Wartung
10. 10. Praxisprojekt mit Record API und SQL-Pfad

1. Record-Layer-Architektur und Einsatzgrenzen

Kapitelinhaltsverzeichnis

1. 1.1 Einordnung und Zielsetzung
2. 1.2 Fachthemen
3. 1.3 Schritt-für-Schritt-Übung
4. 1.4 Prüfpunkte

Einordnung und Zielsetzung

Der Record Layer ergänzt den Schlüssel-Wert-Kern um Schemas, Datensätze, Indizes und Abfragen. Die Architektur trennt FoundationDB-Cluster, stateless Anwendungsschicht und Schema-Lebenszyklus.

Fachthemen

• Java-Bibliothek über FoundationDB
• Record-orientierte und relationale API
• Stateless Services

Schritt-für-Schritt-Übung: ein Record-Layer-Zielbild erstellen

1. Schritt 1: Fachliche Datensätze, Abfragen und Mandantenanforderungen erfassen.
2. Schritt 2: Niedrige Record API und relationale SQL/JDBC-Schnittstelle hinsichtlich Reife und Bedarf vergleichen.
3. Schritt 3: Stateless Serviceinstanzen und FoundationDB-Zugriff planen.
4. Schritt 4: Keyspace, Metadaten und Store Context voneinander abgrenzen.
5. Schritt 5: Betrieb, Versionierung und Recovery in das Gesamtzielbild aufnehmen.

Prüfpunkte

• Die Umsetzung berücksichtigt Java-Bibliothek über FoundationDB und ist reproduzierbar dokumentiert.
• Das Verhalten von record-orientierte und relationale API ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

2. Protobuf-Schemas und Record-Metadaten

Kapitelinhaltsverzeichnis

1. 2.1 Einordnung und Zielsetzung
2. 2.2 Fachthemen
3. 2.3 Schritt-für-Schritt-Übung
4. 2.4 Prüfpunkte

Einordnung und Zielsetzung

Record-Typen werden über Protobuf und Metadaten beschrieben. Primärschlüssel und Feldentwicklung müssen stabil bleiben, damit vorhandene Stores kompatibel geöffnet werden können.

Fachthemen

• Record Types
• Primärschlüssel
• Union und Descriptor

Schritt-für-Schritt-Übung: ein Record-Schema definieren

1. Schritt 1: Fachliche Felder und Record Types als Protobuf-Nachrichten modellieren.
2. Schritt 2: Stabile Primärschlüssel aus unveränderlichen Feldern festlegen.
3. Schritt 3: Union beziehungsweise gemeinsame Descriptor-Struktur konfigurieren.
4. Schritt 4: RecordMetaData mit Version und Record Types aufbauen.
5. Schritt 5: Serialisierung, Primärschlüssel und Metadatenkompatibilität testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Record Types und ist reproduzierbar dokumentiert.
• Das Verhalten von Primärschlüssel ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

3. Record Store, Context und Transaktionen

Kapitelinhaltsverzeichnis

1. 3.1 Einordnung und Zielsetzung
2. 3.2 Fachthemen
3. 3.3 Schritt-für-Schritt-Übung
4. 3.4 Prüfpunkte

Einordnung und Zielsetzung

Der Record Store kapselt Datensätze und Indizes innerhalb eines Subspace oder KeySpace-Pfads. Der Context bildet die Transaktionsgrenze und muss sauber geschlossen beziehungsweise committed werden.

Fachthemen

• FDBRecordContext
• KeySpace oder Subspace
• Öffnen, Speichern und Laden

Schritt-für-Schritt-Übung: einen Record Store aufbauen

1. Schritt 1: Datenbankzugriff und Executor konfigurieren.
2. Schritt 2: Einen eindeutigen KeySpace- oder Subspace-Pfad für den Store definieren.
3. Schritt 3: Context öffnen und Store mit Metadaten erstellen oder öffnen.
4. Schritt 4: Records speichern, laden und löschen.
5. Schritt 5: Commit, Retry und Ressourcenabschluss mit Integrationstests prüfen.

Prüfpunkte

• Die Umsetzung berücksichtigt FDBRecordContext und ist reproduzierbar dokumentiert.
• Das Verhalten von KeySpace oder Subspace ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

4. Indizes und Indexzustände

Kapitelinhaltsverzeichnis

1. 4.1 Einordnung und Zielsetzung
2. 4.2 Fachthemen
3. 4.3 Schritt-für-Schritt-Übung
4. 4.4 Prüfpunkte

Einordnung und Zielsetzung

Indizes werden inkrementell gepflegt und besitzen einen expliziten Zustand. Neue Indizes werden aufgebaut und erst nach Validierung für Abfragen freigegeben.

Fachthemen

• Value, Rank, Aggregate und weitere Indexarten
• Write Only, Readable und Disabled
• Online-Aufbau

Schritt-für-Schritt-Übung: einen Index online einführen

1. Schritt 1: Abfrage und benötigte Sortier- oder Aggregationsfunktion bestimmen.
2. Schritt 2: Indexdefinition in den Metadaten ergänzen und Version erhöhen.
3. Schritt 3: Index zunächst in einen kontrollierten Aufbauzustand versetzen.
4. Schritt 4: Bestandsdaten online indexieren und Fortschritt überwachen.
5. Schritt 5: Index validieren, lesbar schalten und Queryplan prüfen.

Prüfpunkte

• Die Umsetzung berücksichtigt Value, Rank, Aggregate und weitere Indexarten und ist reproduzierbar dokumentiert.
• Das Verhalten von Write Only, Readable und Disabled ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

5. Query Planner und Abfrageausführung

Kapitelinhaltsverzeichnis

1. 5.1 Einordnung und Zielsetzung
2. 5.2 Fachthemen
3. 5.3 Schritt-für-Schritt-Übung
4. 5.4 Prüfpunkte

Einordnung und Zielsetzung

Der Query Planner verbindet Abfragesemantik mit verfügbaren Indizes. Pläne werden auf Scanbreite, Fetches, Sortierung und Speicherverhalten geprüft.

Fachthemen

• Prädikate, Sortierung und Covering
• Planvergleich
• Streaming statt großer Puffer

Schritt-für-Schritt-Übung: eine Abfrage planbasiert optimieren

1. Schritt 1: Filter, Sortierung, Projektion und erwartete Ergebnismenge formulieren.
2. Schritt 2: Vorhandene Indizes und erzeugten Queryplan erfassen.
3. Schritt 3: Full Scan, Index Scan und Fetch-Anteile bewerten.
4. Schritt 4: Gezielten Index oder Covering-Ansatz entwerfen.
5. Schritt 5: Plan, Korrektheit und Laufzeit mit repräsentativen Daten vergleichen.

Prüfpunkte

• Die Umsetzung berücksichtigt Prädikate, Sortierung und Covering und ist reproduzierbar dokumentiert.
• Das Verhalten von Planvergleich ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

6. Schema- und Indexevolution

Kapitelinhaltsverzeichnis

1. 6.1 Einordnung und Zielsetzung
2. 6.2 Fachthemen
3. 6.3 Schritt-für-Schritt-Übung
4. 6.4 Prüfpunkte

Einordnung und Zielsetzung

Schemaänderungen werden über Metadatenversionen und kompatible Protobuf-Entwicklung gesteuert. Indexe erhalten einen eigenen kontrollierten Lebenszyklus.

Fachthemen

• Metadatenversion
• Kompatible Feldänderungen
• Indexaufbau und -ablösung

Schritt-für-Schritt-Übung: eine Schemaänderung ohne Ausfall ausrollen

1. Schritt 1: Bestehende und neue Descriptoren auf Kompatibilität vergleichen.
2. Schritt 2: Metadatenversion und notwendige Indexänderungen festlegen.
3. Schritt 3: Anwendung zunächst lesekompatibel für beide Zustände machen.
4. Schritt 4: Neue Indizes online aufbauen und validieren.
5. Schritt 5: Alte Felder oder Indizes erst nach Nutzungsnachweis und Rollbackfrist entfernen.

Prüfpunkte

• Die Umsetzung berücksichtigt Metadatenversion und ist reproduzierbar dokumentiert.
• Das Verhalten von kompatible Feldänderungen ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

7. Multi-Tenancy und wiederverwendbare Schemas

Kapitelinhaltsverzeichnis

1. 7.1 Einordnung und Zielsetzung
2. 7.2 Fachthemen
3. 7.3 Schritt-für-Schritt-Übung
4. 7.4 Prüfpunkte

Einordnung und Zielsetzung

Viele unabhängige Stores können ein gemeinsames Schema nutzen. Provisionierung, Schemaentwicklung und Kapazitätsgrenzen werden automatisiert und mandantensicher gestaltet.

Fachthemen

• Store-Pfade pro Mandant
• Schema Templates
• Isolation und Provisionierung

Schritt-für-Schritt-Übung: einen mandantenfähigen Record-Service bauen

1. Schritt 1: Tenant- oder Store-ID in einen stabilen KeySpace-Pfad abbilden.
2. Schritt 2: Gemeinsame Schema-Templates und Versionsregeln definieren.
3. Schritt 3: Store-Erstellung idempotent automatisieren.
4. Schritt 4: Zugriff immer an den aufgelösten Mandantenkontext binden.
5. Schritt 5: Schema-Rollout und Lastverteilung über viele Stores testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Store-Pfade pro Mandant und ist reproduzierbar dokumentiert.
• Das Verhalten von Schema Templates ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

8. Relationale API, SQL und JDBC

Kapitelinhaltsverzeichnis

1. 8.1 Einordnung und Zielsetzung
2. 8.2 Fachthemen
3. 8.3 Schritt-für-Schritt-Übung
4. 8.4 Prüfpunkte

Einordnung und Zielsetzung

Die relationale Schnittstelle bietet SQL-Zugriff auf Record-Layer-Daten. Einsatz und Funktionsumfang werden gegen den jeweiligen Versionsstand und die benötigten SQL-Konstrukte geprüft.

Fachthemen

• Katalog und Schema
• JDBC-Zugriff
• Funktionsreife und Kompatibilität

Schritt-für-Schritt-Übung: einen SQL-basierten Zugriff evaluieren

1. Schritt 1: Benötigte Tabellen-, Typ- und Abfragefunktionen festlegen.
2. Schritt 2: Katalog, Schema und relationale Serverkomponenten in einer Testumgebung konfigurieren.
3. Schritt 3: JDBC-Verbindung und Transaktionsverhalten prüfen.
4. Schritt 4: Repräsentative Joins, Aggregationen und Sortierungen ausführen.
5. Schritt 5: Reifegrad, Performance, Betriebsmodell und Fallback zur Record API bewerten.

Prüfpunkte

• Die Umsetzung berücksichtigt Katalog und Schema und ist reproduzierbar dokumentiert.
• Das Verhalten von JDBC-Zugriff ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

9. Record-Layer-Performance und Online-Wartung

Kapitelinhaltsverzeichnis

1. 9.1 Einordnung und Zielsetzung
2. 9.2 Fachthemen
3. 9.3 Schritt-für-Schritt-Übung
4. 9.4 Prüfpunkte

Einordnung und Zielsetzung

Performance entsteht aus Record-Größe, Indexanzahl, Queryplan und FoundationDB-Transaktionskosten. Online-Wartung wird mit begrenzter Last und messbarem Fortschritt betrieben.

Fachthemen

• Indexkosten
• Queryplan und Fetches
• Online Indexing und Scans

Schritt-für-Schritt-Übung: einen Record-Store optimieren

1. Schritt 1: Schreibkosten je Record und gepflegtem Index messen.
2. Schritt 2: Häufige Queries samt Plan und gescannten Records erfassen.
3. Schritt 3: Überflüssige Indizes und unnötige Fetches identifizieren.
4. Schritt 4: Online-Indexing mit begrenzter Transaktions- und Lastgröße konfigurieren.
5. Schritt 5: Latenz, Konflikte und FoundationDB-Status während Wartung überwachen.

Prüfpunkte

• Die Umsetzung berücksichtigt Indexkosten und ist reproduzierbar dokumentiert.
• Das Verhalten von Queryplan und Fetches ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.

10. Praxisprojekt mit Record API und SQL-Pfad

Kapitelinhaltsverzeichnis

1. 10.1 Einordnung und Zielsetzung
2. 10.2 Fachthemen
3. 10.3 Schritt-für-Schritt-Übung
4. 10.4 Prüfpunkte

Einordnung und Zielsetzung

Das Praxisprojekt baut einen kleinen stateless Record-Service mit Schema, Indizes und mehreren Zugriffspfaden. Produktionstauglichkeit wird über Konkurrenz-, Migrations- und Lasttests geprüft.

Fachthemen

• Schema und Stores
• Indizes und Abfragen
• Betrieb und Tests

Schritt-für-Schritt-Übung: einen Record-Service fertigstellen

1. Schritt 1: Domäne, Primärschlüssel und Abfragen definieren.
2. Schritt 2: Protobuf-Schema, Metadaten und Store-Pfad implementieren.
3. Schritt 3: Indizes und Querypfade aufbauen.
4. Schritt 4: Optional SQL/JDBC-Zugriff gegen denselben Datenbestand evaluieren.
5. Schritt 5: Schemaevolution, Multi-Tenancy, Last und Recovery testen.

Prüfpunkte

• Die Umsetzung berücksichtigt Schema und Stores und ist reproduzierbar dokumentiert.
• Das Verhalten von Indizes und Abfragen ist mit einem positiven und einem negativen Testfall geprüft.
• Abbruch-, Rückfall- und Eskalationskriterien sind eindeutig benannt.