Seminar CrateDB – Datenmodellierung mit relationalen, JSON- und Zeitreihendaten

Ein tragfähiges CrateDB-Modell verbindet relationale Strukturen mit Objekten, Arrays und ereignisorientierten Zeitreihen. Das Seminar leitet Tabellen, Schlüssel, Partitionen, Shards und Indizes konsequent aus Schreib- und Abfragemustern ab.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele und fachliche Einordnung

• Relationale, dokumentenartige und zeitbezogene Daten in einem konsistenten Modell verbinden
• Datentypen, Primärschlüssel, Objekt- und Arraystrukturen sicher auswählen
• Partitionierung, Sharding, Replikation und Indexierung aus dem Workload ableiten
• Schemaentwicklung und Datenqualität ohne unnötige Migrationen beherrschen

Schrittweise Seminarinhalte

1. Schritt 1: Fachliche Entitäten und Ereignisse trennen

   Langlebige Stammdaten, veränderliche Zustände und unveränderliche Ereignisse werden mit ihren Beziehungen und Verantwortlichkeiten modelliert.

2. Schritt 2: Workload vor Schema festhalten

   Schreibvolumen, Aktualisierungen, Schlüsselabfragen, Zeitfilter, Aggregationen, Joins, Text- und Vektorsuche werden priorisiert.

3. Schritt 3: Geeignete Datentypen wählen

   Numerik, Zeitstempel, IP-, Geo-, Objekt-, Array- und Vektortypen werden nach Semantik, Speicher und späteren Funktionen ausgewählt.

4. Schritt 4: Primärschlüssel und Idempotenz gestalten

   Natürliche oder zusammengesetzte Schlüssel werden so gewählt, dass verteilte Writes, Upserts und Wiederholungen eindeutig bleiben.

5. Schritt 5: Objekte und Arrays modellieren

   Verschachtelung, optionale Attribute, Objektpolitik, wiederholte Werte und spätere Filter werden gegen Normalisierung und eigene Tabellen abgewogen.

6. Schritt 6: Zeitreihentabelle entwerfen

   Ereigniszeit, Erfassungszeit, Geräte- oder Mandantenschlüssel, Messwerte und Qualitätsmerkmale werden für schnelle Aufnahme und Analyse strukturiert.

7. Schritt 7: Partitionierung festlegen

   Zeitintervall oder fachlicher Schlüssel werden nach Datenmenge, Pruning, Retention und Anzahl aktiver Partitionen gewählt.

8. Schritt 8: Shard-Schlüssel bestimmen

   Datenverteilung, Hotspots, Parallelität, Joins und häufige Filter bestimmen, ob und wie eine Tabelle geclustert wird.

9. Schritt 9: Anzahl Shards und Replikate dimensionieren

   Datenmenge, Knotenzahl, Wachstum, Wiederherstellung, Abfrageparallelität und Ausfallschutz werden gemeinsam bewertet.

10. Schritt 10: Indizes und Suchfelder definieren

    Standardindexierung, Volltextanalyse, Geo- und Vektorfelder werden nur dort eingesetzt, wo konkrete Abfragen und Qualitätsziele vorliegen.

11. Schritt 11: Generierte Spalten und Constraints nutzen

    Ableitbare Werte, Pflichtangaben, Eindeutigkeit und Wertebereiche werden soweit möglich direkt im Schema abgesichert.

12. Schritt 12: Joins und Denormalisierung abwägen

    Änderungshäufigkeit, Konsistenz, Datenwiederholung, Join-Größe und Abfrageprofil führen zu einer nachvollziehbaren Modellentscheidung.

13. Schritt 13: Schemaentwicklung planen

    Neue Felder, Typwechsel, Backfill, Parallelbetrieb und Rücknahme werden versioniert und mit Anwendungskompatibilität abgestimmt.

14. Schritt 14: Modell mit realistischen Daten testen

    Aufnahme, typische Abfragen, Spitzenlast, Löschung, Recovery und Speicherentwicklung werden vor der Freigabe gemessen.

Praxisübungen und Laborszenarien

• Modellierung eines IoT-Falls mit Geräte-, Ereignis-, JSON- und Geodaten
• Vergleich normalisierter und denormalisierter Varianten anhand konkreter Abfragen
• Dimensionierung von Partitionen, Shards und Replikaten für ein Wachstumsszenario
• Durchführung einer kontrollierten Schemaerweiterung mit Backfill und Kompatibilitätstest

Zielgruppe und Voraussetzungen

Zielgruppe: Data Architects, Data Engineers, Datenbankentwickler, Backend-Teams, Analytics Engineering und technische Produktverantwortung.

Voraussetzungen: Sichere SQL-Grundlagen und Kenntnisse der fachlichen Datenobjekte, Ereignisse und wichtigsten Abfragen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Live-Demonstrationen, strukturierte Konfigurations- und SQL-Schritte, praktische Übungen sowie kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangsdaten, Prüfpunkten und einer knappen technischen Dokumentation, damit die erarbeiteten Verfahren wiederholbar bleiben.