Seminar SAP Datasphere – Datenintegration mit Non-SAP-, Cloud- und Hyperscaler-Quellen

Dieses Seminar behandelt die Anbindung heterogener Datenquellen an SAP Datasphere. Relationale Datenbanken, Dateispeicher, Cloud-Plattformen und weitere Non-SAP-Systeme werden anhand geeigneter Verbindungs-, Virtualisierungs- und Replikationsmuster integriert.

Inhaltsverzeichnis

1. Zielsetzung
2. Lernziele
3. Zielgruppe
4. Voraussetzungen
5. Seminarinhalte
6. Praxisübungen

Zielsetzung

Inhaltsverzeichnis: fachliches Ziel · technisches Ziel · Qualität und Betriebsfähigkeit

Ziel ist die belastbare Auswahl und Umsetzung eines Integrationsmusters, das Sicherheit, Datenvolumen, Aktualität, Quellsystembelastung und Betriebsfähigkeit gleichermaßen berücksichtigt.

Lernziele

Inhaltsverzeichnis: Einordnung · Umsetzung · Prüfung · Dokumentation

• die fachlichen und technischen Grundlagen zu Integrationsarchitektur für heterogene Quellen, Netzwerk- und Sicherheitsvoraussetzungen, Relationale Datenbanken anbinden sicher einordnen
• Anforderungen in nachvollziehbare Konfigurations-, Integrations- oder Modellierungsschritte überführen
• einen durchgängigen Praxisfall mit kontrollierten Zwischenschritten umsetzen
• Datenqualität, Berechtigungen, Abhängigkeiten und Laufverhalten mit festgelegten Prüfkriterien bewerten
• die Lösung dokumentieren, deployen und für einen geregelten Betrieb beziehungsweise die weitere Nutzung vorbereiten

Zielgruppe

Inhaltsverzeichnis: Rollen · Aufgabenbereiche · Projektbezug

Datenintegrationsentwickler, Cloud- und Datenarchitekten, Datasphere-Administratoren, Data Engineers und technische Berater

Voraussetzungen

Inhaltsverzeichnis: Fachkenntnisse · technische Grundlagen · empfohlene Praxiserfahrung

Grundkenntnisse zu Datenbanken, Netzwerken und Datenintegration; administrative Berechtigungen für Übungsumgebungen sind hilfreich

Seminarinhalte

Inhaltsverzeichnis: Integrationsarchitektur für heterogene Quellen · Netzwerk- und Sicherheitsvoraussetzungen · Relationale Datenbanken anbinden · Datei- und Objektspeicher integrieren · Cloud-Anwendungen und Plattformdienste · Replikationsmuster · Transformation und Harmonisierung · Orchestrierung und Überwachung · Betriebsübergabe und Optimierung

1. Integrationsarchitektur für heterogene Quellen
2. Netzwerk- und Sicherheitsvoraussetzungen
3. Relationale Datenbanken anbinden
4. Datei- und Objektspeicher integrieren
5. Cloud-Anwendungen und Plattformdienste
6. Replikationsmuster
7. Transformation und Harmonisierung
8. Orchestrierung und Überwachung
9. Betriebsübergabe und Optimierung

Modul 1: Integrationsarchitektur für heterogene Quellen

Inhaltsverzeichnis: Quelltypen nach Schnittstelle, Datenstruktur und Änderungsverhalten klassifizieren · virtuellen Zugriff, Batch-Replikation und ereignisnahe Versorgung vergleichen · Datenvolumen, Latenz und Quellbelastung als Auswahlkriterien bewerten · ein Integrationszielbild mit Zonen und Verantwortlichkeiten entwerfen

1. Schritt 1: Quelltypen nach Schnittstelle, Datenstruktur und Änderungsverhalten klassifizieren
2. Schritt 2: virtuellen Zugriff, Batch-Replikation und ereignisnahe Versorgung vergleichen
3. Schritt 3: Datenvolumen, Latenz und Quellbelastung als Auswahlkriterien bewerten
4. Schritt 4: ein Integrationszielbild mit Zonen und Verantwortlichkeiten entwerfen

Praxis: Für Datenbank, Objektspeicher und SaaS-Quelle passende Muster auswählen

Modul 2: Netzwerk- und Sicherheitsvoraussetzungen

Inhaltsverzeichnis: Kommunikationswege zwischen Cloud, Internet und internem Netz dokumentieren · technische Benutzer, Schlüssel, Zertifikate und Secrets sicher einplanen · Allowlisting, Proxy- und Agent-Anforderungen prüfen · Verbindungstests nach Netzwerk-, Authentifizierungs- und Berechtigungsstufe gliedern

1. Schritt 1: Kommunikationswege zwischen Cloud, Internet und internem Netz dokumentieren
2. Schritt 2: technische Benutzer, Schlüssel, Zertifikate und Secrets sicher einplanen
3. Schritt 3: Allowlisting, Proxy- und Agent-Anforderungen prüfen
4. Schritt 4: Verbindungstests nach Netzwerk-, Authentifizierungs- und Berechtigungsstufe gliedern

Praxis: Eine Konnektivitäts-Checkliste für eine interne Datenbank ausarbeiten

Modul 3: Relationale Datenbanken anbinden

Inhaltsverzeichnis: eine geeignete Datenbankverbindung konfigurieren · Schemas, Tabellen und Datentypen auf Kompatibilität prüfen · Remote Tables importieren und Zugriffsergebnisse validieren · Abfrageverhalten und Quellsystemlast mit Testfällen beurteilen

1. Schritt 1: eine geeignete Datenbankverbindung konfigurieren
2. Schritt 2: Schemas, Tabellen und Datentypen auf Kompatibilität prüfen
3. Schritt 3: Remote Tables importieren und Zugriffsergebnisse validieren
4. Schritt 4: Abfrageverhalten und Quellsystemlast mit Testfällen beurteilen

Praxis: Mehrere relationale Tabellen virtuell anbinden und verknüpfen

Modul 4: Datei- und Objektspeicher integrieren

Inhaltsverzeichnis: Dateiformate, Partitionierung und Ordnerstrukturen bewerten · Verbindung zu einem Cloud- oder Objektspeicher vorbereiten · Schemaerkennung und Datentypzuordnung kontrollieren · fehlerhafte Dateien, Spaltenabweichungen und Wiederholbarkeit behandeln

1. Schritt 1: Dateiformate, Partitionierung und Ordnerstrukturen bewerten
2. Schritt 2: Verbindung zu einem Cloud- oder Objektspeicher vorbereiten
3. Schritt 3: Schemaerkennung und Datentypzuordnung kontrollieren
4. Schritt 4: fehlerhafte Dateien, Spaltenabweichungen und Wiederholbarkeit behandeln

Praxis: Strukturierte Dateien aus einem Objektspeicher in einen kontrollierten Datenfluss übernehmen

Modul 5: Cloud-Anwendungen und Plattformdienste

Inhaltsverzeichnis: verfügbare Schnittstellen einer Cloud-Anwendung analysieren · Extraktionsumfang, Filter und Änderungslogik festlegen · API- oder Connector-Grenzen in Ladeplanung und Fehlerbehandlung berücksichtigen · Datenherkunft und Nutzungsbedingungen im Modell dokumentieren

1. Schritt 1: verfügbare Schnittstellen einer Cloud-Anwendung analysieren
2. Schritt 2: Extraktionsumfang, Filter und Änderungslogik festlegen
3. Schritt 3: API- oder Connector-Grenzen in Ladeplanung und Fehlerbehandlung berücksichtigen
4. Schritt 4: Datenherkunft und Nutzungsbedingungen im Modell dokumentieren

Praxis: Ein Integrationskonzept für eine beispielhafte SaaS-Quelle erstellen

Modul 6: Replikationsmuster

Inhaltsverzeichnis: Initialladung und Delta-Verarbeitung voneinander trennen · Schlüssel, Löschkennzeichen und Wiederanlaufstrategie definieren · Zeitpläne und Parallelität an Volumen und Quellfenster anpassen · Vollständigkeit mit Quell-Ziel-Abgleichen nachweisen

1. Schritt 1: Initialladung und Delta-Verarbeitung voneinander trennen
2. Schritt 2: Schlüssel, Löschkennzeichen und Wiederanlaufstrategie definieren
3. Schritt 3: Zeitpläne und Parallelität an Volumen und Quellfenster anpassen
4. Schritt 4: Vollständigkeit mit Quell-Ziel-Abgleichen nachweisen

Praxis: Eine initiale und inkrementelle Replikation mit Kontrollsummen planen

Modul 7: Transformation und Harmonisierung

Inhaltsverzeichnis: Quellformate in ein kanonisches Zielschema überführen · Datentypen, Zeitzonen, Codes und Nullwerte vereinheitlichen · Dublettenerkennung und fachliche Validierungsregeln ergänzen · fehlerhafte Datensätze getrennt protokollieren und nachbearbeiten

1. Schritt 1: Quellformate in ein kanonisches Zielschema überführen
2. Schritt 2: Datentypen, Zeitzonen, Codes und Nullwerte vereinheitlichen
3. Schritt 3: Dublettenerkennung und fachliche Validierungsregeln ergänzen
4. Schritt 4: fehlerhafte Datensätze getrennt protokollieren und nachbearbeiten

Praxis: Daten aus zwei heterogenen Quellen in ein gemeinsames Kundenmodell harmonisieren

Modul 8: Orchestrierung und Überwachung

Inhaltsverzeichnis: Abhängigkeiten zwischen Extraktion, Transformation und Bereitstellung bestimmen · Task Chains oder Zeitpläne für wiederholbare Abläufe einsetzen · Laufstatus, Datenmengen und Fehlerprotokolle zentral kontrollieren · Alarmierung, Wiederanlauf und Eskalation in einem Runbook festhalten

1. Schritt 1: Abhängigkeiten zwischen Extraktion, Transformation und Bereitstellung bestimmen
2. Schritt 2: Task Chains oder Zeitpläne für wiederholbare Abläufe einsetzen
3. Schritt 3: Laufstatus, Datenmengen und Fehlerprotokolle zentral kontrollieren
4. Schritt 4: Alarmierung, Wiederanlauf und Eskalation in einem Runbook festhalten

Praxis: Einen mehrstufigen Ladeablauf orchestrieren und einen Fehlerfall wiederanlaufen lassen

Modul 9: Betriebsübergabe und Optimierung

Inhaltsverzeichnis: Leistungs- und Stabilitätsmesswerte für jede Quelle festlegen · Verbindungs- und Ladeparameter anhand von Messergebnissen optimieren · Wartungsfenster, Zertifikatswechsel und Quelländerungen berücksichtigen · technische Dokumentation und Verantwortungsübergabe abschließen

1. Schritt 1: Leistungs- und Stabilitätsmesswerte für jede Quelle festlegen
2. Schritt 2: Verbindungs- und Ladeparameter anhand von Messergebnissen optimieren
3. Schritt 3: Wartungsfenster, Zertifikatswechsel und Quelländerungen berücksichtigen
4. Schritt 4: technische Dokumentation und Verantwortungsübergabe abschließen

Praxis: Ein Betriebsdossier für zwei produktive Integrationsstrecken erstellen

Praxisübungen

Inhaltsverzeichnis: Relationale und dateibasierte Quellen mit unterschiedlichen Zugriffsmustern anbinden · Initial- und Delta-Ladevorgänge mit Quell-Ziel-Kontrollen aufbauen · Mehrstufigen Integrationsablauf überwachen, stören und wiederanlaufen lassen

• Relationale und dateibasierte Quellen mit unterschiedlichen Zugriffsmustern anbinden
• Initial- und Delta-Ladevorgänge mit Quell-Ziel-Kontrollen aufbauen
• Mehrstufigen Integrationsablauf überwachen, stören und wiederanlaufen lassen