Seminar RisingWave – Intensivseminar für erfahrene Data Engineers

Das Intensivformat verdichtet sämtliche fachlichen und technischen Seminarthemen für Teilnehmende mit belastbarer Streaming- und SQL-Erfahrung. Grundlagen werden nur kurz rekapituliert; der Schwerpunkt liegt auf Architekturentscheidungen, Integrationsvarianten, produktionsfähiger Modellierung und kontrolliertem Betrieb.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Alle wesentlichen RisingWave-Funktionsbereiche in einer konsistenten Gesamtarchitektur verbinden
• Komplexe Quellen, Modelle und Ausgabepfade unter Zeit- und Zustandsanforderungen entwerfen
• Cloud-, Kubernetes-, Sicherheits- und Betriebsentscheidungen begründet treffen
• Eine produktionsnahe Streaming-Plattform mit Messwerten und Runbooks abnehmen

Zielgruppe

Erfahrene Data Engineers, Streaming-Architekten, Senior Analytics Engineers, Plattformteams und technische Leitungen mit kompaktem Weiterbildungsbedarf.

Voraussetzungen

Sehr gute SQL-Kenntnisse, praktische Erfahrung mit Kafka oder vergleichbaren Ereignisplattformen, Datenbankintegration, Versionsverwaltung und grundlegender Plattformadministration.

Seminarinhalte

1. Schritt 1: Grundlagen und SQL rekapitulieren

   Objekte, Änderungssemantik, Joins, Aggregationen und kontinuierliche Materialisierung werden anhand eines anspruchsvollen Einstiegsfalls auf gemeinsamen Stand gebracht.

2. Schritt 2: Architektur und Interna bewerten

   Frontend, Meta, Compute, Zustandsablage, Streaming-Graphen, Barrieren und Wiederanlauf werden direkt mit Design- und Betriebsentscheidungen verknüpft.

3. Schritt 3: Ereignismodelle und Zeitlogik entwerfen

   Schlüssel, Ereigniszeit, Fenster, Watermarks, verspätete Daten und Zustandsaufbewahrung werden für mehrere fachliche Ströme abgestimmt.

4. Schritt 4: Kafka und Message Queues integrieren

   Partitionen, Offsets, Formate, Schema Registry, Upserts und Durchsatz werden in einem belastbaren Quellvertrag zusammengeführt.

5. Schritt 5: CDC-Pipelines aufbauen

   Snapshot, Änderungsstrom, Schemaentwicklung, Schlüssel und Abstimmung werden für eine operative Datenbank praktisch umgesetzt.

6. Schritt 6: Webhooks und Events API absichern

   HTTP-Ereignisse, Authentifizierung, Idempotenz, Retries und Lastspitzen werden als ergänzender Aufnahmeweg integriert.

7. Schritt 7: Materialized-View-Datenprodukte entwickeln

   Staging, Transformation, Serving, Abhängigkeiten, Indexe, Qualität und kontrollierte Logikänderung werden in einer mehrstufigen Pipeline umgesetzt.

8. Schritt 8: dbt-Entwicklungsprozess integrieren

   Modelle, Tests, Dokumentation, Git-Workflow und CI-Deployment werden auf die Streaming-Pipeline angewendet.

9. Schritt 9: UDFs gezielt erweitern

   SQL- und externe Funktionen werden nach Nutzen, Vertrag, Leistung, Sicherheit und Deployment bewertet und an einem Spezialfall eingesetzt.

10. Schritt 10: Sinks und Subscriptions bereitstellen

    Kafka-, Datenbank- und Lakehouse-Ziele sowie fortlaufende Consumer werden nach Liefersemantik und Wiederanlauf ausgewählt.

11. Schritt 11: Iceberg-Lakehouse anbinden

    Katalog, Objektspeicher, Partitionierung, Sink, Snapshots und Kompaktierung werden als offener Analysepfad umgesetzt.

12. Schritt 12: KI- und Agentenkontext modellieren

    Echtzeitmerkmale, Vektordaten, Hybrid Retrieval und Python-Zugriff werden als spezialisierter Serving-Fall eingeordnet.

13. Schritt 13: Cloud-Projekte betreiben

    Managed-Projekt, Zugänge, Secrets, Compute-Skalierung, Kosten und Betriebsübergabe werden als schnelle Betriebsvariante geprüft.

14. Schritt 14: Kubernetes-Bereitstellung steuern

    Helm, Operator, Storage, Netzwerk, Ressourcen, Hochverfügbarkeit und Skalierung werden für den selbst verwalteten Betrieb verdichtet.

15. Schritt 15: Rollen und Secrets absichern

    Least Privilege, Objektbesitz, TLS, zentrale Identitäten, Rotation und Nachweis werden in das Plattformdesign integriert.

16. Schritt 16: Monitoring und Troubleshooting etablieren

    Metriken, Dashboards, Logs, Datenfortschritt, Alarmierung und Incident-Ablauf werden an einer erzeugten Störung angewendet.

17. Schritt 17: Performance und Kapazität optimieren

    Baseline, SQL-Plan, Parallelität, Zustand, Source- und Sink-Durchsatz sowie Serving-Latenz werden messbasiert verbessert.

18. Schritt 18: Administration standardisieren

    Konfiguration, Routineaufgaben, Objektinventur, Change-Verfahren und Betriebsrunbooks werden für den Regelbetrieb zusammengeführt.

19. Schritt 19: Backup und Upgrade planen

    Sicherungsumfang, Restore, Validierung, Versionswechsel, Cutover und Rollback werden als kontrolliertes Wartungsfenster vorbereitet.

20. Schritt 20: Gesamtplattform abnehmen

    Architektur, Datenqualität, Leistung, Sicherheit, Wiederanlauf, Kosten und Verantwortlichkeiten werden mit einer gemeinsamen Abnahmecheckliste bewertet.

Praxisübungen

• Eine mehrstufige Plattform mit Kafka-, CDC- und HTTP-Aufnahme entwerfen
• Zeitbezogene Materialized Views einschließlich dbt-Tests entwickeln
• Kafka-, Datenbank- und Iceberg-Ausgabe mit Lieferkontrollen kombinieren
• Eine UDF und einen Echtzeit-KI-Serving-Fall integrieren
• Skalierung, Störung, Restore- und Upgrade-Entscheidung in einer Betriebssimulation bearbeiten

Methodik

Das Seminar arbeitet mit einem durchgängigen anspruchsvollen Plattformfall. Grundlagen werden nur dort wiederholt, wo sie für Architektur- oder Betriebsentscheidungen benötigt werden; der Praxisanteil bleibt hoch. Die gewählte Seminardauer beträgt 4 Tage. Vier Tage sind nur bei sehr guten Vorkenntnissen vertretbar. Die Dauer ermöglicht einen vollständigen Themenüberblick mit integrierten Übungen, verzichtet aber bewusst auf ausführliche Grundlagenwiederholung.