Seminar / Training
Zielsetzung
Das Seminar vermittelt die OpenLineage-Erfassung in Spark-basierten Datenverarbeitungen. Behandelt werden Konfiguration, Laufzeitmetadaten, Dataset-Erkennung, SQL- und DataFrame-Verarbeitung sowie die Analyse der Ergebnisse in Marquez.
Inhaltsübersicht
- Einordnung von Spark-Anwendungen, Jobs, Stages und Datenzugriffen
- OpenLineage-Konfiguration für Spark-Umgebungen
- Erfassung von Eingabe- und Ausgabedatasets in Batch-Verarbeitung
- Unterschiede zwischen SQL-, DataFrame- und dateibasierten Zugriffen
- Fehleranalyse bei fehlender oder unvollständiger Lineage
Seminarinhalte
- Schritt 1: Spark-Laufzeiten verstehen
Spark-Anwendungen werden in ihren technischen Ebenen betrachtet: Anwendung, Job, Stage, Task, SQL-Abfrage und Datenzugriff. Nicht jede Ebene ist für fachliche Lineage gleich wichtig. - Schritt 2: OpenLineage anbinden
Die benötigte Konfiguration wird schrittweise aufgebaut. Zielendpunkt, Namespace, Umgebungsparameter und Laufzeitoptionen werden so gesetzt, dass Ereignisse reproduzierbar entstehen. - Schritt 3: Batch-Pipeline ausführen
Eine Spark-Verarbeitung liest Quelldaten, transformiert sie und schreibt Ergebnisdaten. Die entstehenden OpenLineage-Ereignisse werden geprüft und mit dem sichtbaren Marquez-Graphen abgeglichen. - Schritt 4: Zugriffsmuster vergleichen
SQL-Abfragen, DataFrames, Tabellenzugriffe und dateibasierte Ein- und Ausgaben werden verglichen. Dabei wird deutlich, wo automatische Erkennung gut funktioniert und wo explizite Modellierung nötig wird. - Schritt 5: Schema- und Qualitätsinformationen ergänzen
Schemaangaben, technische Laufzeitdaten und qualitätsrelevante Hinweise werden als Metadaten betrachtet. Es wird geklärt, welche Informationen für Betrieb, Governance und Impact-Analyse wirklich nützlich sind. - Schritt 6: Fehlerbilder bearbeiten
Fehlende Events, falsche Dataset-Pfade, wechselnde Job-Namen und getrennte Umgebungen werden nachgestellt. Die Reparatur erfolgt über Konfigurationsprüfung, Namensregeln und strukturierte Diagnose. - Schritt 7: Produktionsmuster ableiten
Aus den Übungen entsteht ein Muster für Spark-Projekte: Mindestkonfiguration, Namensregeln, Testablauf, Betriebsprüfung und Dokumentation für spätere Plattformintegration.
Praktische Übungen
- Konfiguration einer Spark-Verarbeitung für OpenLineage-Ereignisse
- Auswertung der erzeugten Jobs, Runs und Datasets in Marquez
- Vergleich von SQL- und DataFrame-basierten Zugriffen
- Analyse eines fehlerhaften Dataset-Mappings
- Definition eines Produktionsmusters für Spark-Lineage
Zielgruppe
Spark-Entwicklung, Data Engineers, Lakehouse-Teams, Plattformteams und technische Data Stewards.
Voraussetzungen
Praxis in Spark oder PySpark, Grundkenntnisse in Datenplattformen und grundlegendes Verständnis von Batch-Verarbeitung.
Seminar und Anbieter vergleichen
Öffentliche Schulung
Diese Seminarform ist auch als Präsenzseminar bekannt und bedeutet, dass Sie in unseren Räumlichkeiten von einem Trainer vor Ort geschult werden. Jeder Teilnehmer hat einen Arbeitsplatz mit virtueller Schulungsumgebung. Öffentliche Seminare werden in deutscher Sprache durchgeführt, die Unterlagen sind teilweise in Englisch.
Inhausschulung
Diese Seminarform bietet sich für Unternehmen an, welche gleichzeitig mehrere Teilnehmer gleichzeitig schulen möchten. Der Trainer kommt zu Ihnen ins Haus und unterrichtet in Ihren Räumlichkeiten. Diese Seminare können auf Deutsch – bei Firmenseminaren ist auch Englisch möglich – gebucht werden.
Webinar
Diese Art der Schulung ist geeignet, wenn Sie die Präsenz eines Trainers nicht benötigen, nicht reisen können und über das Internet an einer Schulung teilnehmen möchten.
Fachbereichsleiter / Leiter der Trainer / Ihre Ansprechpartner
-
Lucas Beich
Telefon: + 49 (221) 74740055
E-Mail: lucas.beich@seminar-experts.de -
Paul Goldschmidt
Telefon: + 49 (221) 74740055
E-Mail: paul.goldschmidt@seminar-experts.de
Seminardetails
| Dauer: | 3 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weitere Tage 09:00 Uhr |
| Preis: |
Öffentlich oder Live Stream: € 1.797 zzgl. MwSt. Inhaus: € 5.100 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | Spark-Entwickler, Data Engineers, Lakehouse-Teams, Plattformteams |
| Voraussetzungen: | Grundkenntnisse in Spark oder PySpark und Batch-Verarbeitung |
| Standorte: | Stream Live, Inhaus/Firmenseminar, Berlin, Bremen, Darmstadt, Dresden, Erfurt, Essen, Flensburg, Frankfurt, Freiburg, Friedrichshafen, Hamburg, Hamm, Hannover, Jena, Kassel, Köln, Konstanz, Leipzig, Luxemburg, Magdeburg, Mainz, München, Münster, Nürnberg, Paderborn, Potsdam, Regensburg, Rostock, Stuttgart, Trier, Ulm, Wuppertal, Würzburg |
| Methoden: | Vortrag, Demonstrationen, praktische Übungen am System |
| Seminararten: | Öffentlich, Webinar, Inhaus, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter + 49 (221) 74740055 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
