Seminar Cloudera Data Engineering mit Apache Spark und Iceberg

Cloudera Data Engineering ist die zentrale Laufzeit für skalierbare Datenpipelines auf Basis von Apache Spark. Das Seminar vermittelt den Aufbau produktiver Verarbeitungsstrecken vom ersten Job bis zur betriebssicheren Orchestrierung.

Neben der Entwicklung von Transformationslogik werden insbesondere Betriebsaspekte behandelt: Ressourcennutzung, Fehlerszenarien, Wiederholbarkeit, Datenqualität und die saubere Einbettung in ein modernes Lakehouse-Modell.

Seminarinhalte

• Einordnung von Cloudera Data Engineering in die Cloudera Plattform
• Virtuelle Cluster, Jobs, Ressourcensteuerung und Laufzeitmodelle
• Spark SQL, DataFrames und typische Muster für Batch- und Transformationsprozesse
• Aufbau belastbarer ETL- und ELT-Pipelines mit Iceberg-Tabellen
• Orchestrierung, Terminierung und Automatisierung wiederkehrender Datenläufe
• Fehleranalyse, Logging, Wiederanlaufstrategien und Performance-Tuning
• Governance, Betrieb und Übergabe produktiver Datenpipelines in Teams

Zielgruppe

Angesprochen sind technische Mitarbeitende, die große Datenmengen mit Spark verarbeiten und dafür robuste, wartbare Datenpipelines entwickeln müssen.

Vorkenntnisse

SQL-Grundlagen, Erfahrung mit Python oder Scala sowie Basiswissen zu Datenverarbeitung

Praxis

Die Übungen konzentrieren sich auf das praktische Erstellen, Orchestrieren und Optimieren von Spark-basierten Datenpipelines mit Iceberg.