Seminar RisingWave – Kompaktseminar

Das Kompaktformat vermittelt in kurzer Zeit einen belastbaren Gesamtüberblick über Entwicklung und Betrieb einer RisingWave-Pipeline. Es konzentriert sich auf die häufigsten Integrationswege, Streaming-SQL, Materialized Views, Datenbereitstellung und grundlegende Betriebskontrollen.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• RisingWave sicher bedienen und zentrale Streaming-Konzepte anwenden
• Eine Quelle anbinden und Daten mit SQL sowie Zeitlogik modellieren
• Materialized Views für aktuelle Datenprodukte aufbauen und ausliefern
• Qualität, Sicherheit, Leistung und Betrieb einer Pipeline grundlegend kontrollieren

Zielgruppe

Neue Data Engineers, Analytics Engineers, technische Key-User, Projektteams und Fachverantwortliche mit Bedarf an einem kompakten Gesamtverständnis.

Voraussetzungen

Solide SQL-Grundkenntnisse und allgemeines Verständnis von Datenbanken und Schnittstellen. Spezielle RisingWave-Vorkenntnisse sind nicht erforderlich.

Seminarinhalte

1. Schritt 1: Plattform und Architektur einordnen

   Streaming-Datenbank, zentrale Dienste, PostgreSQL-kompatible Schnittstelle und typische Einsatzmuster werden in einem übersichtlichen Zielbild verbunden.

2. Schritt 2: Arbeitsumgebung vorbereiten

   Verbindung, Datenbank, Schema, Rollen, Namenskonventionen und sichere Konfigurationswerte werden für eine gemeinsame Laborumgebung eingerichtet.

3. Schritt 3: Ereignis- und Datenvertrag definieren

   Schlüssel, Zeitstempel, Änderungsart, Pflichtfelder, Qualität und erwartete Datenrate werden vor der technischen Anbindung festgelegt.

4. Schritt 4: Kafka-Quelle anbinden

   Broker-Verbindung, Topic, Startposition, JSON-Schema und Ereigniszeit werden eingerichtet und durch Kontrollabfragen validiert.

5. Schritt 5: CDC als Alternative einordnen

   Quellvorbereitung, Snapshot, Änderungsstrom und Schlüsselanforderungen werden an einem Datenbankbeispiel gegenüber Message Queues abgegrenzt.

6. Schritt 6: Streaming-SQL sicher anwenden

   Filter, Berechnungen, Joins, Aggregationen und Änderungssemantik werden an fortlaufenden Daten schrittweise umgesetzt.

7. Schritt 7: Zeitfenster und Watermarks modellieren

   Ereigniszeit, Tumbling Window, erwartete Verspätung und Regeln für späte Daten werden in ein überprüfbares Zeitmodell überführt.

8. Schritt 8: Materialized Views schichten

   Staging, fachliche Transformation und Serving-Ergebnis werden als wartbare Pipeline mit eindeutigen Abhängigkeiten aufgebaut.

9. Schritt 9: Datenqualität integrieren

   Vollständigkeit, Eindeutigkeit, Wertebereiche, Aktualität und Kontrollsummen werden je Modellstufe geprüft.

10. Schritt 10: Ergebnisse ausliefern

    Sink und Subscription werden nach Zielsystem, Liefersemantik, Schlüssel und Wiederanlauf ausgewählt und praktisch verglichen.

11. Schritt 11: dbt-Arbeitsweise einordnen

    Versionierbare Modelle, Tests, Dokumentation und geregelte Deployments werden in den Entwicklungsprozess eingebettet.

12. Schritt 12: Cloud und Kubernetes unterscheiden

    Gemanagter Betrieb und selbst verwalteter Cluster werden hinsichtlich Verantwortung, Skalierung, Sicherheit und Wartung gegenübergestellt.

13. Schritt 13: Monitoring und Fehleranalyse aufbauen

    Jobstatus, Datenfortschritt, Latenz, Rückstau, Metriken und Logs werden zu einer kleinen Betriebssicht zusammengeführt.

14. Schritt 14: Leistung und Kapazität prüfen

    Eingangsrate, Parallelität, Zustand und Zielkapazität werden anhand eines einfachen Lasttests gemessen und abgestimmt.

15. Schritt 15: Sicherheits- und Notfallkontrollen ergänzen

    Rollen, Secrets, TLS, Backup-Ziele, Wiederanlauf und Eskalation werden als Mindestanforderungen für den Produktivbetrieb dokumentiert.

16. Schritt 16: Ende-zu-Ende-Fall abschließen

    Ein vollständiger Ereignisstrom wird aufgenommen, zeitbezogen verarbeitet, materialisiert, ausgeliefert und mit technischen sowie fachlichen Kontrollen abgenommen.

Praxisübungen

• Eine gemeinsame Laborumgebung mit Rollen und Schema vorbereiten
• Kafka-Ereignisse aufnehmen und mit Streaming-SQL transformieren
• Eine zeitfensterbasierte Materialized-View-Pipeline erstellen
• Ergebnisse über einen Sink oder eine Subscription bereitstellen
• Latenz, Rückstau und Datenqualität messen sowie einen Fehlerfall bearbeiten

Methodik

Drei Tage folgen einer einzigen Pipeline: Aufnahme und Grundlagen, Modellierung und Materialisierung, anschließend Auslieferung und Betrieb. Jeder Tag endet mit einem funktionsfähigen Zwischenstand. Die gewählte Seminardauer beträgt 3 Tage. Drei Tage sind die kürzeste fachlich belastbare Dauer für einen Gesamtüberblick mit echter Ende-zu-Ende-Pipeline; zwei Tage würden Betrieb, Qualität und kontrollierte Auslieferung zu stark verkürzen.