Seminar Apache DataFusion Entwicklung mit Rust, Python und Erweiterungen

Überblick

Dieses Seminar richtet sich an Entwicklungsteams, die Apache DataFusion nicht nur benutzen, sondern als Bibliothek in eigene Produkte, Dienste oder Datenplattformen einbetten wollen. Im Vordergrund stehen die Programmiermodelle in Rust und Python, der saubere Aufbau von Session-Kontexten, Katalogen und DataFrames sowie die kontrollierte Erweiterung der Engine für projektspezifische Anforderungen. Behandelt werden sowohl die üblichen APIs für Lesen, Transformieren und Schreiben als auch die Stellen, an denen DataFusion bewusst offen konstruiert ist: UDFs, TableProvider, eigene SQL-Erweiterungen, Logical Plans, Execution Plans und Optimizer-Regeln.

Zielgruppe

Geeignet für Teams, die eine analytische Engine in bestehende Anwendungen integrieren, eigene Datenquellen anbinden oder domänenspezifische Funktionen und Operatoren bereitstellen müssen. Das Seminar ist auf Entwicklerarbeit ausgelegt und weniger auf reine Bedienung.

Inhalte

• Aufbau von Projekten mit den DataFusion-Crates und saubere Strukturierung der Abhängigkeiten
• SessionContext, SessionConfig, Runtime-Umgebung sowie Kataloge, Schemas und Tabellen
• DataFrame- und Expr-API in Rust, Übergänge zu logischen Plänen und gezielter Einsatz des LogicalPlanBuilder
• Arbeiten mit dem Python-Binding für schnelle Prototypen und den Austausch mit pandas- oder Arrow-basierten Daten
• Streaming, Sammeln und Schreiben von Ergebnissen in CSV, JSON, Arrow, Avro und Parquet
• Lesen und Interpretieren von EXPLAIN- und EXPLAIN-ANALYZE-Ausgaben sowie Nutzung von Laufzeitmetriken
• Entwicklung eigener Scalar-, Aggregate-, Window- und Table-Funktionen
• Implementierung eines TableProvider und die Rolle des ExecutionPlan beim Zugriff auf benutzerdefinierte Datenquellen
• Erweiterung von SQL-Syntax, Operatoren und Planungsschritten ohne Fork der Engine
• Einführung in Optimizer-Regeln, Tuning-Optionen und Profiling für reale Anwendungen

Praxis

Im praktischen Teil entsteht schrittweise ein lauffähiger Prototyp, der DataFusion als eingebettete Query Engine nutzt. Je nach Schwerpunkt werden eine eigene Funktion, ein TableProvider oder eine projektspezifische SQL-Erweiterung implementiert und mit EXPLAIN, Metriken und Profiling überprüft.