Seminar DataHub APIs und Automatisierung

Die programmatische Schnittstelle wird als kontrollierter Zugang zum Metadatenmodell behandelt. Stabile Identitäten, sichere Schreiboperationen, wiederholbare Verarbeitung und nachvollziehbare Fehlerbehandlung stehen gleichrangig neben der reinen Funktion.

Lernziele

• API-Varianten und geeignete Einsatzbereiche unterscheiden
• GraphQL-Abfragen, Filter und Mutationen systematisch aufbauen
• Metadaten mit Python SDK und CLI lesen, ergänzen und prüfen
• Schreiboperationen idempotent, protokolliert und fehlertolerant gestalten
• Automatisierungen mit Tests, Berechtigungen und Betriebsgrenzen absichern

Zielgruppe

Dateningenieure, Softwareentwickler, Plattformteams, Automatisierungsverantwortliche und technische Data Stewards.

Voraussetzungen

Grundkenntnisse in Python, JSON und HTTP-basierten Schnittstellen. Erfahrungen mit GraphQL oder Kommandozeilenwerkzeugen sind hilfreich.

Inhaltsübersicht

1. Kapitel 1: API-Landschaft und Identitäten
2. Kapitel 2: GraphQL lesen und suchen
3. Kapitel 3: GraphQL schreiben
4. Kapitel 4: Python SDK und Änderungsvorschläge
5. Kapitel 5: CLI und wiederholbare Jobs
6. Kapitel 6: Tests und Betriebsreife

Kapitel 1: API-Landschaft und Identitäten

Inhaltsübersicht dieses Kapitels: Schnittstelle auswählen; URNs sicher adressieren; Authentifizierung vorbereiten.

Schritt 1: Schnittstelle auswählen

GraphQL, Python SDK, CLI und emitterbasierte Zugriffe werden nach Lese-, Schreib- und Integrationsszenario eingeordnet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: URNs sicher adressieren

Entity-Typ, Plattform, Umgebung und Name werden nach stabilen Konventionen zusammengesetzt, damit Automatisierungen vorhandene Assets treffen. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Authentifizierung vorbereiten

Persönliche und technische Tokens werden mit minimalen Rechten, definierter Laufzeit und geregelter Rotation eingesetzt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: GraphQL lesen und suchen

Inhaltsübersicht dieses Kapitels: Abfrage strukturieren; Assets filtern; Beziehungen auswerten.

Schritt 1: Abfrage strukturieren

Felder, Fragmente, Variablen und Pagination werden so eingesetzt, dass nur benötigte Daten geladen und Antworten stabil verarbeitet werden. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Assets filtern

Suchtext, Plattform, Domain, Tags, Glossarbegriffe, Eigentümer und Asset-Typ werden zu reproduzierbaren Abfragen kombiniert. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Beziehungen auswerten

Upstream-, Downstream-, Ownership- und Governance-Beziehungen werden gelesen und in ein eindeutiges internes Datenmodell überführt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: GraphQL schreiben

Inhaltsübersicht dieses Kapitels: Ist-Zustand prüfen; Governance-Metadaten setzen; Änderung verifizieren.

Schritt 1: Ist-Zustand prüfen

Vor jeder Mutation wird der aktuelle Metadatenzustand gelesen, damit keine unnötigen oder doppelten Zuordnungen entstehen. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Governance-Metadaten setzen

Beschreibungen, Eigentümer, Tags, Begriffe und Domains werden mit klarer Fehlerbehandlung und minimalem Änderungsumfang geschrieben. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Änderung verifizieren

Ziel, vorheriger Zustand, Antwort und anschließende Leseprüfung werden protokolliert und fachlich bewertet. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Python SDK und Änderungsvorschläge

Inhaltsübersicht dieses Kapitels: Client kapseln; Aspects gezielt ändern; Batchverarbeitung absichern.

Schritt 1: Client kapseln

Verbindung, Token, Zeitüberschreitung, Wiederholung und Protokollierung werden zentral und typisiert konfiguriert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Aspects gezielt ändern

Metadatenänderungen beschränken sich auf betroffene Aspects, damit Quellmetadaten und manuelle Ergänzungen nicht versehentlich überschrieben werden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Batchverarbeitung absichern

Batchgröße, Rate Limits, Teilfehler, Fehlerlisten und Wiederanlaufpunkte werden für große Objektmengen gesteuert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: CLI und wiederholbare Jobs

Inhaltsübersicht dieses Kapitels: CLI diagnostisch nutzen; Dateien validieren; Job planbar ausführen.

Schritt 1: CLI diagnostisch nutzen

Suchen, Abrufen, Exportieren und Validieren werden als schnelle Betriebs- und Entwicklungswerkzeuge eingesetzt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Dateien validieren

YAML- und JSON-Definitionen werden vor dem Schreiben auf Pflichtfelder, URNs und Namenskonventionen geprüft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Job planbar ausführen

Exitcodes, Sperren, Logs, Wiederanlauf und technische Verantwortung werden für manuelle und geplante Ausführung definiert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 6: Tests und Betriebsreife

Inhaltsübersicht dieses Kapitels: Testfälle definieren; Fehlerklassen behandeln; Automatisierung übergeben.

Schritt 1: Testfälle definieren

Positiv-, Negativ- und Wiederholungstests prüfen Lesen, Schreiben, Berechtigungen und Idempotenz. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Fehlerklassen behandeln

Netzwerk-, Authentifizierungs-, Schema- und Fachfehler erhalten unterschiedliche Reaktionen und Wiederholungsregeln. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Automatisierung übergeben

Konfiguration, Secrets, Monitoring, Alarmierung und Verantwortlichkeit werden in ein Betriebsblatt übernommen. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. GraphQL-Suche mit Filtern und Pagination
2. Automatisches Setzen von Ownership und Glossarbegriffen
3. Python-Batchjob mit Idempotenz und Fehlerliste
4. Test- und Betriebscheckliste für eine Metadatenautomation

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Code-Demonstrationen werden unmittelbar in kleine, testbare Automatisierungsbausteine überführt. Jeder Baustein erhält Eingabeprüfung, Protokollierung und einen reproduzierbaren Testfall.