Seminar DataHub Erweiterungen mit Custom Sources und Actions

Proprietäre Systeme und individuelle Governance-Prozesse lassen sich selten ausschließlich mit Standardkonnektoren abbilden. Das Seminar vermittelt einen strukturierten Entwicklungsweg für wartbare DataHub-Erweiterungen.

Lernziele

• geeignete Erweiterungspunkte anhand eines Integrationsfalls auswählen
• eine eigene Metadatenquelle mit stabilen Identitäten implementieren
• Metadaten mit Transformern kontrolliert anreichern oder normalisieren
• ereignisgesteuerte Actions mit sicheren Seiteneffekten entwickeln
• Erweiterungen testen, paketieren, versionieren und überwachen

Zielgruppe

Python-Entwickler, Data Engineers, Plattformingenieure und Integrationsarchitekten, die proprietäre Quellen oder automatisierte Governance-Abläufe anbinden.

Voraussetzungen

Sichere Python-Kenntnisse, Erfahrung mit APIs und strukturierten Datenformaten sowie Grundkenntnisse des DataHub-Metadatenmodells und der Ingestion.

Inhaltsübersicht

1. Kapitel 1: Erweiterungsarchitektur und Entwurfsentscheidung
2. Kapitel 2: Custom Source entwickeln
3. Kapitel 3: Transformer und Metadatenanreicherung
4. Kapitel 4: Actions und ereignisgesteuerte Prozesse
5. Kapitel 5: Tests, Paketierung und Betrieb

Kapitel 1: Erweiterungsarchitektur und Entwurfsentscheidung

Inhaltsübersicht dieses Kapitels: Anwendungsfall abgrenzen; Erweiterungspunkt wählen; Identitäten und Zustände entwerfen.

Schritt 1: Anwendungsfall abgrenzen

Quellsystem, benötigte Entitäten, Änderungsfrequenz, Datenvolumen, Sicherheitsanforderungen und erwartete Reaktionen werden vollständig beschrieben. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Erweiterungspunkt wählen

Custom Source, Transformer, Sink, Action oder direkte API-Integration werden nach Verantwortungsbereich, Kopplung und Betriebsmodell verglichen. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Identitäten und Zustände entwerfen

URN-Bildung, Plattforminstanz, Umgebung, stabile Schlüssel und inkrementeller Zustand werden vor der Implementierung verbindlich festgelegt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: Custom Source entwickeln

Inhaltsübersicht dieses Kapitels: Projektgerüst aufbauen; Metadaten extrahieren; Vorschläge erzeugen.

Schritt 1: Projektgerüst aufbauen

Paketstruktur, Konfiguration, Abhängigkeiten, Logging und lokale Ausführung werden so eingerichtet, dass Entwicklung und späterer Betrieb dieselben Schnittstellen verwenden. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Metadaten extrahieren

Quellobjekte werden paginiert, fehlertolerant und mit kontrollierter Parallelität gelesen; technische Fehler werden von fachlich ungültigen Datensätzen getrennt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Vorschläge erzeugen

Quellobjekte werden in passende Entitäten und Aspekte überführt, eindeutig adressiert und mit reproduzierbaren Metadatenänderungen ausgegeben. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Transformer und Metadatenanreicherung

Inhaltsübersicht dieses Kapitels: Transformationsregeln definieren; Transformer implementieren; Reihenfolge und Idempotenz prüfen.

Schritt 1: Transformationsregeln definieren

Namenskonventionen, Tag-Zuordnungen, Eigentümerschaft und Domänenregeln werden als transparente, priorisierte Regeln formuliert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Transformer implementieren

Eingehende Metadaten werden ohne unbeabsichtigten Informationsverlust ergänzt oder normalisiert; Konflikte mit vorhandenen Angaben werden ausdrücklich behandelt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Reihenfolge und Idempotenz prüfen

Mehrere Transformer werden in definierter Reihenfolge ausgeführt und auf wiederholbare Ergebnisse ohne Duplikate oder Drift getestet. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Actions und ereignisgesteuerte Prozesse

Inhaltsübersicht dieses Kapitels: Ereignisse auswählen; Seiteneffekt absichern; Fehler- und Wiederholungsstrategie festlegen.

Schritt 1: Ereignisse auswählen

Relevante Änderungen werden nach Entität, Aspekt, Operation und fachlichem Anlass gefiltert, damit eine Action nur auf beabsichtigte Ereignisse reagiert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Seiteneffekt absichern

Benachrichtigung, Ticket, Prüfprozess oder Rückschreiben wird mit Berechtigung, Wiederholschutz, Zeitüberschreitung und Fehlerbehandlung implementiert. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Fehler- und Wiederholungsstrategie festlegen

Temporäre und dauerhafte Fehler werden unterschieden; Retry, Dead-Letter-Verfahren und manuelle Nachbearbeitung erhalten klare Grenzen. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Tests, Paketierung und Betrieb

Inhaltsübersicht dieses Kapitels: Testpyramide aufbauen; Paket reproduzierbar erstellen; Produktionsbetrieb vorbereiten.

Schritt 1: Testpyramide aufbauen

Konfigurationsvalidierung, Mapper, URN-Bildung, Ereignisfilter und Seiteneffekte werden mit Unit-, Integrations- und Vertragstests abgesichert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Paket reproduzierbar erstellen

Abhängigkeiten, Versionsnummern und Build-Artefakte werden festgelegt und gegen unterstützte Laufzeitversionen geprüft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Produktionsbetrieb vorbereiten

Ressourcen, Secrets, Metriken, Logs, Alarmierung, Rollback und Verantwortlichkeiten werden in einem Betriebsblatt zusammengeführt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Entwurf einer stabilen Identitäts- und Konfigurationsstrategie
2. Implementierung einer Custom Source für eine proprietäre Beispielquelle
3. Entwicklung eines Transformers zur regelbasierten Anreicherung
4. Implementierung und Test einer ereignisgesteuerten Action
5. Paketierung mit Betriebs- und Rollbackbeschreibung

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Entwurfsphasen, Live-Coding, eigenständige Implementierungsblöcke und strukturierte Code-Reviews wechseln sich ab. Jede Erweiterung wird gegen funktionale, betriebliche und sicherheitsbezogene Akzeptanzkriterien geprüft.