Seminar / Training
Lernziele
- Wartbare DAGs mit klarer Struktur, Wiederverwendung und sauberer Konfiguration entwickeln
- Moderne Airflow-APIs und Patterns sicher anwenden (z. B. TaskFlow, TaskGroups, Dynamic Task Mapping)
- Scheduling-Semantik korrekt umsetzen (Data Intervals, Backfills, Abhängigkeiten und Trigger Rules)
- Robuste Fehlerbehandlung und Performance-Grundsätze in DAG-Design integrieren
Zielgruppe
- Teams, die Airflow-DAGs entwickeln, warten oder refactoren
- Data Engineers/Analytics Engineers mit Verantwortung für produktive Datenpipelines
- Python-Entwicklung, die Airflow als Orchestrator in Plattformen integriert
Voraussetzungen
- Fundiertes Airflow-Basiswissen (DAGs, Operatoren, UI, Scheduling-Grundlagen)
- Sichere Python-Praxis; Git-Grundlagen sind hilfreich
Inhalte
- Projekt- und Repository-Struktur: DAG-Folder, Module, Wiederverwendung, Konfiguration
- TaskFlow API: Aufgaben als Python-Funktionen, Parametrisierung, XCom-Handling, typische Grenzen
- Advanced Patterns:
- TaskGroups, Branching, Trigger Rules, Conditional Flows
- Dynamic Task Mapping für variierende Workloads
- Datasets und event-getriebene Abhängigkeiten zwischen Pipelines
- Sensors und effizientes Warten: Sensor-Strategien, Deferrable Konzepte (Überblick)
- Templating (Jinja), Macros, Params und sichere Konfiguration ohne Geheimnisse im Code
- Concurrency & Ressourcensteuerung: Pools, Queues, Prioritäten, Parallelität vs. Stabilität
- Debugging und lokale Entwicklung: reproduzierbare Runs, gezielte Fehlersuche, Logging-Grundsätze
Praxisübungen
- Refactoring einer Beispiel-DAG: Struktur, Konfiguration und Wiederverwendung
- TaskFlow-Workflow bauen und erweitern: Parameter, Datenübergaben, Fehlerszenarien
- Dynamic Task Mapping einsetzen: Eingangslisten, Partitionierung, kontrollierte Parallelisierung
- Datasets modellieren und pipelineübergreifende Abhängigkeiten implementieren
- Stabilitätscheck: Retries/Timeouts, Trigger Rules, Backfill-fähiges Design
Anschluss
Für produktionsreife Teams ergänzen Testing & CI/CD sowie Betrieb & Troubleshooting die Entwicklungsinhalte um Qualitätssicherung und Betriebsstabilität.
Fachbereichsleiter / Leiter der Trainer / Ihre Ansprechpartner
-
Lucas Beich
Telefon: + 49 (221) 74740055
E-Mail: lucas.beich@seminar-experts.de -
Paul Goldschmidt
Telefon: + 49 (221) 74740055
E-Mail: paul.goldschmidt@seminar-experts.de
Seminardetails
| Dauer: | 2 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weitere Tage 09:00 Uhr |
| Preis: |
Öffentlich oder Live Stream: € 1.198 zzgl. MwSt. Inhaus: € 3.400 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | Data Engineers, Analytics Engineers, Python-Entwicklung, Teams mit Verantwortung für Airflow-DAGs |
| Vorausetzung: | Grundlagenwissen zu Airflow (z. B. aus dem Grundlagen-Seminar) und sichere Python-Praxis. Git-Grundlagen sind hilfreich. |
| Standorte: | Stream Live, Inhaus/Firmenseminar, Berlin, Bremen, Darmstadt, Dresden, Erfurt, Essen, Flensburg, Frankfurt, Freiburg, Friedrichshafen, Hamburg, Hamm, Hannover, Jena, Kassel, Köln, Konstanz, Leipzig, Luxemburg, Magdeburg, Mainz, München, Münster, Nürnberg, Paderborn, Potsdam, Regensburg, Rostock, Stuttgart, Trier, Ulm, Wuppertal, Würzburg |
| Methoden: | Vortrag, Demonstrationen, praktische Übungen am System |
| Seminararten: | Öffentlich, Webinar, Inhaus, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter + 49 (221) 74740055 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
