Seminar RisingWave – Streaming-Pipelines mit Materialized Views

Materialized Views sind der Kern kontinuierlich aktualisierter Datenprodukte in RisingWave. Die Schulung entwickelt aus einer fachlichen Anforderung eine mehrstufige Pipeline mit klaren Abhängigkeiten, performanter Bereitstellung und geregeltem Änderungsprozess.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Fachliche Datenprodukte in wartbare Materialized-View-Stufen zerlegen
• Abhängigkeiten, Schlüssel, Aktualisierung und Zustand nachvollziehen
• Serving-Zugriffe und Indexe passend zum Abfragemuster gestalten
• Schema- und Logikänderungen ohne unkontrollierten Produktionsbruch ausrollen

Zielgruppe

Data Engineers, Analytics Engineers, Data Architects, BI-Entwicklung und technische Produktteams.

Voraussetzungen

Gute SQL-Kenntnisse sowie Grundverständnis von Quellen, Tabellen und Streaming-Verarbeitung.

Seminarinhalte

1. Schritt 1: Datenprodukt und Serviceziel definieren

   Konsumenten, Aktualitätsziel, Schlüssel, Abfragemuster, Qualitätsregeln und Verantwortlichkeit werden vor der Modellierung festgelegt.

2. Schritt 2: Quellen und Ausgangsqualität prüfen

   Schema, Änderungsart, Schlüsselverteilung, Zeitfelder, Duplikate und erwartete Datenrate werden als Eingangskontrollen dokumentiert.

3. Schritt 3: Staging-Stufe erstellen

   Datentypen, Felder, Zeitangaben und Qualitätskennzeichen werden in einer stabilen, wiederverwendbaren Eingangsschicht normalisiert.

4. Schritt 4: Fachliche Transformationsstufen aufbauen

   Joins, Filter, Anreicherung und Aggregation werden in nachvollziehbare Schichten mit eindeutiger Verantwortung zerlegt.

5. Schritt 5: Materialisierung gezielt einsetzen

   Materialized Views werden nur dort angelegt, wo kontinuierliche Berechnung, Wiederverwendung oder niedrige Abfragelatenz den Zustand rechtfertigen.

6. Schritt 6: Abhängigkeitsgraph kontrollieren

   Upstream- und Downstream-Objekte, Fehlerauswirkung, Änderungsreihenfolge und Wiederverwendung werden im Objektgraphen dokumentiert.

7. Schritt 7: Schlüssel und Aktualisierung prüfen

   Primärschlüssel, Upserts, Löschungen und Aggregationsänderungen werden mit konkreten Ereignisfolgen bis zum Ergebnis verfolgt.

8. Schritt 8: Indexe für Serving-Abfragen anlegen

   Filter-, Join- und Sortiermuster werden mit gezielten Indexen unterstützt; Schreib- und Speichermehrkosten werden gemessen.

9. Schritt 9: Datenqualität integrieren

   Vollständigkeit, Eindeutigkeit, Wertebereiche, zeitliche Aktualität und fachliche Summen werden je Modellstufe kontrolliert.

10. Schritt 10: Änderungen versionieren und testen

    Neue Spalten, geänderte Logik und inkompatible Schlüssel werden in parallelen Objekten aufgebaut und mit Referenzdaten verglichen.

11. Schritt 11: Produktionsumschaltung durchführen

    Abnahme, Umschaltung, Beobachtungsphase, Rückfall und Bereinigung alter Objekte werden als kontrollierter Release-Ablauf ausgeführt.

12. Schritt 12: Ende-zu-Ende-Pipeline dokumentieren

    Quellvertrag, Modellstufen, Serviceziele, Betriebskontrollen und Eigentümer werden in einer Datenproduktakte zusammengeführt.

Praxisübungen

• Ein Datenprodukt in Staging-, Transformations- und Serving-Stufe zerlegen
• Abhängigkeiten und Aktualisierungswirkung mehrerer Materialized Views prüfen
• Einen Index für ein konkretes Serving-Abfragemuster entwerfen
• Eine Logikänderung parallel aufbauen, vergleichen und kontrolliert umschalten

Methodik

Eine vollständige Pipeline wird inkrementell aufgebaut. Jede neue Stufe erhält einen Datenvertrag, Qualitätsprüfung und definierten Release-Schritt. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind notwendig, um eine mehrstufige Pipeline aufzubauen, Serving und Indexe zu prüfen und anschließend eine produktionsnahe Logikänderung mit Parallelaufbau und Umschaltung durchzuführen.