Seminar Dataedo API, Schnittstellen und Automatisierung

Das Seminar vermittelt eine sichere und wiederholbare Automatisierung von Lese-, Schreib- und Integrationsprozessen rund um den Dataedo-Katalog. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: API-Zugriff und sichere Authentifizierung
6. Arbeitsschritt 2: Metadaten über die API lesen
7. Arbeitsschritt 3: Metadaten über die API pflegen
8. Arbeitsschritt 4: Interface Tables und kontrollierte Metadatenzuführung
9. Arbeitsschritt 5: Scheduler, Agent und Aufgabenplanung
10. Arbeitsschritt 6: Systematische Fehlerdiagnose
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• API-Zugriffe mit geeigneten Identitäten und minimalen Rechten aufbauen.
• Metadaten zuverlässig lesen, filtern und paginieren.
• Kontrollierte Schreibprozesse mit Validierung und Rückprüfung umsetzen.
• Nicht standardmäßig angebundene Quellen über Interface Tables integrieren.
• Automatisierungen mit Protokollierung und Fehlerbehandlung produktionsreif gestalten.

Zielgruppen und Rollen

Entwicklung, Integration, Data Engineering, Plattformbetrieb, technische Metadatenverwaltung und Automatisierungsteams.

Voraussetzungen

Grundkenntnisse zu REST-orientierten Schnittstellen, JSON, Authentifizierung und einer Skript- oder Programmiersprache.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: API-Zugriff und sichere Authentifizierung

Automatisierte Zugriffe mit minimalen Rechten, nachvollziehbaren Konten und klarer Fehlerbehandlung aufsetzen.

1. 1. Ausgangslage klären: Automatisierte Zugriffe mit minimalen Rechten, nachvollziehbaren Konten und klarer Fehlerbehandlung aufsetzen.
2. 2. Vorbereitung abschließen: Anwendungsfall, Endpunkte, Identität, Berechtigungen, Geheimnisablage und Testumgebung festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Authentifizierung konfigurieren und eine kontrollierte Leseabfrage ausführen.
4. 4. Ergebnis kontrollieren: Statuscodes, Berechtigungsgrenzen, Protokollierung und Verhalten bei ungültigen Anmeldedaten prüfen.
5. 5. Vorgehen standardisieren: Schlüsselwechsel, Kontoeigentum und Abschaltung als Betriebsverfahren dokumentieren.

Praxisaufgabe: Ein technischer API-Client wird eingerichtet und mit Positiv- sowie Negativtests abgenommen.

Arbeitsschritt 2: Metadaten über die API lesen

Kataloginformationen strukturiert abrufen, filtern und für Folgeprozesse aufbereiten.

1. 1. Ausgangslage klären: Kataloginformationen strukturiert abrufen, filtern und für Folgeprozesse aufbereiten.
2. 2. Vorbereitung abschließen: Benötigte Objekttypen, Filter, Seitensteuerung und Zielformat festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Abfragen ausführen, Ergebnisse paginieren und relevante Felder in eine Arbeitsstruktur überführen.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Zeichencodierung, Referenzen und Verhalten bei leeren Ergebnissen prüfen.
5. 5. Vorgehen standardisieren: Wiederverwendbare Abfragebausteine und Fehlerprotokoll für den Betrieb erstellen.

Praxisaufgabe: Ein Metadatenexport für ausgewählte Assets wird aufgebaut und gegen die Portalansicht validiert.

Arbeitsschritt 3: Metadaten über die API pflegen

Beschreibungen und Governance-Attribute kontrolliert, idempotent und nachvollziehbar aktualisieren.

1. 1. Ausgangslage klären: Beschreibungen und Governance-Attribute kontrolliert, idempotent und nachvollziehbar aktualisieren.
2. 2. Vorbereitung abschließen: Schreibumfang, Identifikatoren, Validierungsregeln, Wiederholbarkeit und Rückrollstrategie definieren.
3. 3. Konfiguration und Umsetzung durchführen: Teständerungen erzeugen, Antwortdaten auswerten und mehrere Aktualisierungen gebündelt verarbeiten.
4. 4. Ergebnis kontrollieren: Vorher-Nachher-Werte, Duplikate, Teilfehler und Berechtigungseffekte kontrollieren.
5. 5. Vorgehen standardisieren: Freigabe, Protokollierung und technische Eigentümerschaft für Schreibautomatisierung festlegen.

Praxisaufgabe: Ein kontrollierter Massenpflegeprozess wird mit Testlauf, Durchführung und Rückprüfung umgesetzt.

Arbeitsschritt 4: Interface Tables und kontrollierte Metadatenzuführung

Metadaten aus nicht direkt angebundenen Systemen über eine strukturierte Schnittstelle zuführen.

1. 1. Ausgangslage klären: Metadaten aus nicht direkt angebundenen Systemen über eine strukturierte Schnittstelle zuführen.
2. 2. Vorbereitung abschließen: Quellformat, Zuordnung, Pflichtfelder, Schlüssel und Ladefrequenz festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Beispieldaten aufbereiten, in die Schnittstellenstruktur laden und dem Zielobjekt zuordnen.
4. 4. Ergebnis kontrollieren: Schlüsselstabilität, Dubletten, fehlende Werte und Aktualisierungsverhalten prüfen.
5. 5. Vorgehen standardisieren: Ladevertrag, Validierung und Fehlerablage als wiederholbaren Prozess dokumentieren.

Praxisaufgabe: Ein Fremdsystem ohne Standardconnector wird über eine vorbereitete Metadatenlieferung integriert.

Arbeitsschritt 5: Scheduler, Agent und Aufgabenplanung

Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.

1. 1. Ausgangslage klären: Wiederkehrende Importe, Lineage- und Qualitätsläufe zuverlässig zeitlich steuern.
2. 2. Vorbereitung abschließen: Aufgabentypen, Abhängigkeiten, Zeitfenster, Agent-Zuordnung und Fehlerreaktion festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Aufgaben anlegen, Reihenfolge konfigurieren, Lauf starten und Protokolle auswerten.
4. 4. Ergebnis kontrollieren: Laufstatus, Dauer, Abhängigkeiten, Wiederholung und Benachrichtigung kontrollieren.
5. 5. Vorgehen standardisieren: Betriebskalender, Namensschema und Eskalation für fehlgeschlagene Aufgaben definieren.

Praxisaufgabe: Eine mehrstufige Nachtverarbeitung wird geplant, ausgeführt und mit einem Fehlerfall getestet.

Arbeitsschritt 6: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Aufbau eines authentifizierten API-Clients.
2. Übung 2: Metadatenexport mit Filterung und Seitensteuerung.
3. Übung 3: Kontrollierte Massenpflege mit Testlauf und Rückprüfung.
4. Übung 4: Integration eines Beispielsystems über Interface Tables.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• API-Betriebskonzept
• Abfragevorlage
• Massenpflege-Drehbuch
• Schnittstellen-Mapping
• Fehlerkatalog