Seminar Kestra Automatisierung mit Python, SQL und Skripten

Dieses Seminar zeigt, wie vorhandene Skripte, SQL-Abfragen und kleine Programme in Kestra so orchestriert werden, dass sie nachvollziehbar, parametrisierbar und betrieblich kontrollierbar werden. Ziel ist nicht, jedes Skript neu zu erfinden, sondern die oft gewachsene Skriptlandschaft in geordnete Bahnen zu bringen.

Inhaltsverzeichnis

• Skriptbasierte Tasks in Kestra
• Parameter, Inputs und Outputs
• SQL- und Dateiabläufe
• Abhängigkeiten und Laufzeitumgebungen
• Logs, Artefakte und Fehleranalyse
• Wiederverwendbare Automatisierungsmuster

Zielgruppe

Data Engineers, Automatisierungsentwickler, DevOps-Teams und technische Fachbereiche, die vorhandene Skripte, SQL-Abfragen und kleinere Programme kontrolliert in Workflows überführen möchten.

Lernziele

• Skripte als steuerbare Tasks in Workflows einbinden
• Parameter und Rückgabewerte sauber modellieren
• SQL- und Dateiverarbeitung in Abläufe integrieren
• Abhängigkeiten und Laufzeitumgebungen kontrollieren
• Logs und Artefakte für Diagnose und Nachvollziehbarkeit nutzen
• Skriptbasierte Automatisierung wartbar strukturieren

Seminarinhalt

Skripte als Workflow-Bausteine

• Einbindung von Python-, Shell- und SQL-orientierten Arbeitsschritten
• Übergabe von Parametern aus Flow-Inputs
• Nutzung von Outputs für nachgelagerte Tasks
• Trennung von Code, Konfiguration und Ausführung

Laufzeitumgebungen

• Grundlagen kontrollierter Ausführung über geeignete Runner
• Umgang mit Abhängigkeiten und Paketen
• Nutzung vorbereiteter Images oder Laufzeitinstallationen
• Ressourcenbedarf und Laufzeitgrenzen einschätzen

Daten und Dateien

• Arbeiten mit Namespace-Dateien
• Einbindung von SQL-Dateien und Hilfsskripten
• Umgang mit temporären Dateien und Artefakten
• Saubere Weitergabe von Ergebnissen zwischen Tasks

Stabilität und Diagnose

• Log-Ausgaben bewusst gestalten
• Fehlercodes und Exceptions auswerten
• Retry-Fähigkeit und Idempotenz berücksichtigen
• Skriptaufgaben für Wiederanlauf und Support vorbereiten

Praxisübungen

• Parametrisierter Python-Task mit Output
• SQL-Datei als Namespace-Datei verwenden
• Mehrstufiger Skript-Workflow mit Validierung
• Fehlerhafte Skriptausführung analysieren
• Abhängigkeiten kontrolliert bereitstellen
• Wiederverwendbare Vorlage für Skript-Workflows erstellen

Voraussetzungen

Grundlagen in Python, SQL oder Shell-Skripting. Grundkenntnisse zu Kestra-Flows sind hilfreich, aber nicht zwingend erforderlich.

Einordnung

Das Seminar konzentriert sich auf skriptnahe Automatisierung. Umfangreiche Data-Engineering-Pipelines werden im ETL/ELT-Seminar vertieft.