Seminar SAP Datasphere – Intensivseminar Datenintegration und Cloud Data Fabric

Dieses fünftägige Intensivseminar fasst die Integrations- und Data-Engineering-Themen des SAP-Datasphere-Portfolios zusammen. SAP-S/4HANA-, ABAP-, BW-, Non-SAP-, Cloud-, Datenbank- und Dateiquellen werden mit Remote-Zugriff, Replikation, Flows, Object Store, Spark, Open SQL und Governance zu einer Cloud Data Fabric verbunden.

Inhaltsverzeichnis

1. Zielsetzung
2. Lernziele
3. Zielgruppe
4. Voraussetzungen
5. Seminarinhalte
6. Praxisübungen

Zielsetzung

Inhaltsverzeichnis: fachliches Ziel · technisches Ziel · Qualität und Betriebsfähigkeit

Ziel ist die Architektur und praktische Umsetzung mehrerer produktionsnaher Datenpipelines einschließlich Sicherheit, Harmonisierung, Orchestrierung, Qualität, Katalogisierung und Betriebsübergabe.

Lernziele

Inhaltsverzeichnis: Einordnung · Umsetzung · Prüfung · Dokumentation

• die fachlichen und technischen Grundlagen zu Cloud-Data-Fabric-Zielbild, Konnektivität und Sicherheit, SAP S/4HANA und ABAP sicher einordnen
• Anforderungen in nachvollziehbare Konfigurations-, Integrations- oder Modellierungsschritte überführen
• einen durchgängigen Praxisfall mit kontrollierten Zwischenschritten umsetzen
• Datenqualität, Berechtigungen, Abhängigkeiten und Laufverhalten mit festgelegten Prüfkriterien bewerten
• die Lösung dokumentieren, deployen und für einen geregelten Betrieb beziehungsweise die weitere Nutzung vorbereiten

Zielgruppe

Inhaltsverzeichnis: Rollen · Aufgabenbereiche · Projektbezug

Data Engineers, Integrationsarchitekten, Datasphere-Entwickler, Cloud- und Plattformarchitekten sowie technische Berater

Voraussetzungen

Inhaltsverzeichnis: Fachkenntnisse · technische Grundlagen · empfohlene Praxiserfahrung

Datasphere-Grundlagen, gute Kenntnisse von Datenbanken und Datenintegration; Grundverständnis von SAP- und Cloud-Systemlandschaften

Seminarinhalte

Inhaltsverzeichnis: Cloud-Data-Fabric-Zielbild · Konnektivität und Sicherheit · SAP S/4HANA und ABAP · SAP BW und BW/4HANA · Relationale Non-SAP-Quellen · Cloud- und SaaS-Quellen · Object Store und File Spaces · Spark-basierte Transformation · Replication, Data und Transformation Flows · Task Chains und Orchestrierung · SQL und Open SQL Schemas · Catalog, Data Products und Lineage · Produktivbetrieb und Abschlussfall

1. Cloud-Data-Fabric-Zielbild
2. Konnektivität und Sicherheit
3. SAP S/4HANA und ABAP
4. SAP BW und BW/4HANA
5. Relationale Non-SAP-Quellen
6. Cloud- und SaaS-Quellen
7. Object Store und File Spaces
8. Spark-basierte Transformation
9. Replication, Data und Transformation Flows
10. Task Chains und Orchestrierung
11. SQL und Open SQL Schemas
12. Catalog, Data Products und Lineage
13. Produktivbetrieb und Abschlussfall

Modul 1: Cloud-Data-Fabric-Zielbild

Inhaltsverzeichnis: Datenquellen, Plattformdienste, Modellierung und Konsum im Gesamtbild anordnen · Virtualisierung, Replikation, Dateiablage und offene SQL-Zugriffe abgrenzen · Datenzonen und Verantwortlichkeiten für SAP- und Non-SAP-Daten definieren · Anwendungsfälle nach Latenz, Volumen und Governance priorisieren

1. Schritt 1: Datenquellen, Plattformdienste, Modellierung und Konsum im Gesamtbild anordnen
2. Schritt 2: Virtualisierung, Replikation, Dateiablage und offene SQL-Zugriffe abgrenzen
3. Schritt 3: Datenzonen und Verantwortlichkeiten für SAP- und Non-SAP-Daten definieren
4. Schritt 4: Anwendungsfälle nach Latenz, Volumen und Governance priorisieren

Praxis: Ein Integrationszielbild für sechs heterogene Quellen entwickeln

Modul 2: Konnektivität und Sicherheit

Inhaltsverzeichnis: Netzwerkpfade, Agenten, Allowlisting und sichere Endpunkte prüfen · technische Benutzer, Zertifikate, Schlüssel und Secrets planen · Verbindungsrechte nach Minimalprinzip festlegen · mehrstufigen Verbindungstest und Fehlerklassifikation dokumentieren

1. Schritt 1: Netzwerkpfade, Agenten, Allowlisting und sichere Endpunkte prüfen
2. Schritt 2: technische Benutzer, Zertifikate, Schlüssel und Secrets planen
3. Schritt 3: Verbindungsrechte nach Minimalprinzip festlegen
4. Schritt 4: mehrstufigen Verbindungstest und Fehlerklassifikation dokumentieren

Praxis: Eine Konnektivitätsmatrix mit Sicherheits- und Testanforderungen erstellen

Modul 3: SAP S/4HANA und ABAP

Inhaltsverzeichnis: freigegebene Extraktionsartefakte und Delta-Fähigkeit bewerten · Remote Tables und Replikationsoptionen vergleichen · Initial- und Delta-Lauf mit Schlüsseln und Löschungen konfigurieren · Quellsemantik in harmonisierte Strukturen überführen

1. Schritt 1: freigegebene Extraktionsartefakte und Delta-Fähigkeit bewerten
2. Schritt 2: Remote Tables und Replikationsoptionen vergleichen
3. Schritt 3: Initial- und Delta-Lauf mit Schlüsseln und Löschungen konfigurieren
4. Schritt 4: Quellsemantik in harmonisierte Strukturen überführen

Praxis: Eine S/4HANA-Vertriebsquelle anbinden, replizieren und prüfen

Modul 4: SAP BW und BW/4HANA

Inhaltsverzeichnis: geeignete freigegebene BW-Modelle für Koexistenz auswählen · virtuellen und persistierten Zugriff nach Nutzungsmuster bewerten · BW-Semantik mit zusätzlichen Datasphere-Daten verbinden · Betrieb und Änderungsabhängigkeiten dokumentieren

1. Schritt 1: geeignete freigegebene BW-Modelle für Koexistenz auswählen
2. Schritt 2: virtuellen und persistierten Zugriff nach Nutzungsmuster bewerten
3. Schritt 3: BW-Semantik mit zusätzlichen Datasphere-Daten verbinden
4. Schritt 4: Betrieb und Änderungsabhängigkeiten dokumentieren

Praxis: BW-Daten mit einer Cloud-Dimension zu einem gemeinsamen Modell verbinden

Modul 5: Relationale Non-SAP-Quellen

Inhaltsverzeichnis: Datenbankverbindung und technische Voraussetzungen konfigurieren · Schemas, Tabellen, Schlüssel und Datentypen kontrollieren · virtuelle Abfrage und replizierte Bereitstellung messen · Quellsystemlast und Aktualität gegeneinander abwägen

1. Schritt 1: Datenbankverbindung und technische Voraussetzungen konfigurieren
2. Schritt 2: Schemas, Tabellen, Schlüssel und Datentypen kontrollieren
3. Schritt 3: virtuelle Abfrage und replizierte Bereitstellung messen
4. Schritt 4: Quellsystemlast und Aktualität gegeneinander abwägen

Praxis: Eine relationale Quelle in zwei Zugriffsmustern integrieren

Modul 6: Cloud- und SaaS-Quellen

Inhaltsverzeichnis: Schnittstellen, Filtermöglichkeiten und Änderungslogik analysieren · Connector- und API-Grenzen in der Ladeplanung berücksichtigen · Schemaabweichungen und Fehlerantworten kontrolliert behandeln · Datenherkunft und Nutzungseinschränkungen katalogisieren

1. Schritt 1: Schnittstellen, Filtermöglichkeiten und Änderungslogik analysieren
2. Schritt 2: Connector- und API-Grenzen in der Ladeplanung berücksichtigen
3. Schritt 3: Schemaabweichungen und Fehlerantworten kontrolliert behandeln
4. Schritt 4: Datenherkunft und Nutzungseinschränkungen katalogisieren

Praxis: Ein Integrationskonzept und einen Prototyp für eine Cloud-Quelle erstellen

Modul 7: Object Store und File Spaces

Inhaltsverzeichnis: Roh-, bereinigte und kuratierte Dateizonen definieren · Formate, Partitionierung und Schemaentwicklung bewerten · Dateilieferungen mit Manifest und Qualitätskontrollen übernehmen · Aufbewahrung und Zugriffsrollen für File Spaces festlegen

1. Schritt 1: Roh-, bereinigte und kuratierte Dateizonen definieren
2. Schritt 2: Formate, Partitionierung und Schemaentwicklung bewerten
3. Schritt 3: Dateilieferungen mit Manifest und Qualitätskontrollen übernehmen
4. Schritt 4: Aufbewahrung und Zugriffsrollen für File Spaces festlegen

Praxis: Eine dateibasierte Datenstrecke mit Quarantänebereich aufbauen

Modul 8: Spark-basierte Transformation

Inhaltsverzeichnis: großvolumige Transformation in skalierbare Schritte gliedern · Bereinigung, Deduplizierung und Standardisierung umsetzen · Dateidaten mit Referenzdaten anreichern und aggregieren · Partitionierung und Dateigröße anhand von Laufzeiten optimieren

1. Schritt 1: großvolumige Transformation in skalierbare Schritte gliedern
2. Schritt 2: Bereinigung, Deduplizierung und Standardisierung umsetzen
3. Schritt 3: Dateidaten mit Referenzdaten anreichern und aggregieren
4. Schritt 4: Partitionierung und Dateigröße anhand von Laufzeiten optimieren

Praxis: Ereignisdaten Spark-basiert kuratieren und verdichten

Modul 9: Replication, Data und Transformation Flows

Inhaltsverzeichnis: Flow-Typen nach Quelle, Ziel und Verarbeitungslogik auswählen · Schlüssel, Ladeart und Fehlerbehandlung festlegen · Qualitätsprüfungen und Kontrollsummen in die Pipeline integrieren · Initial-, Delta- und Wiederanlauffälle testen

1. Schritt 1: Flow-Typen nach Quelle, Ziel und Verarbeitungslogik auswählen
2. Schritt 2: Schlüssel, Ladeart und Fehlerbehandlung festlegen
3. Schritt 3: Qualitätsprüfungen und Kontrollsummen in die Pipeline integrieren
4. Schritt 4: Initial-, Delta- und Wiederanlauffälle testen

Praxis: Drei Flow-Typen in einer abgestuften Pipeline kombinieren

Modul 10: Task Chains und Orchestrierung

Inhaltsverzeichnis: Abhängigkeiten und kritischen Pfad der Pipeline bestimmen · Zeitpläne und Wiederanlaufpunkte festlegen · Teilfehler und Doppelverarbeitung verhindern · Laufhistorie und SLA-Verletzungen auswerten

1. Schritt 1: Abhängigkeiten und kritischen Pfad der Pipeline bestimmen
2. Schritt 2: Zeitpläne und Wiederanlaufpunkte festlegen
3. Schritt 3: Teilfehler und Doppelverarbeitung verhindern
4. Schritt 4: Laufhistorie und SLA-Verletzungen auswerten

Praxis: Eine End-to-End-Pipeline orchestrieren und einen Teilausfall beheben

Modul 11: SQL und Open SQL Schemas

Inhaltsverzeichnis: SQL Views für komplexe Harmonisierung und Prüfung einsetzen · Open SQL Schemas und Datenbankbenutzer nach Governance-Vorgaben planen · externen SQL-Zugriff sicher testen · Berechtigung, Rotation und Eigentümerschaft dokumentieren

1. Schritt 1: SQL Views für komplexe Harmonisierung und Prüfung einsetzen
2. Schritt 2: Open SQL Schemas und Datenbankbenutzer nach Governance-Vorgaben planen
3. Schritt 3: externen SQL-Zugriff sicher testen
4. Schritt 4: Berechtigung, Rotation und Eigentümerschaft dokumentieren

Praxis: Eine SQL-basierte Qualitätsstufe und einen kontrollierten externen Zugriff umsetzen

Modul 12: Catalog, Data Products und Lineage

Inhaltsverzeichnis: technische und fachliche Metadaten der Pipelines ergänzen · Lineage von der Quelle bis zum kuratierten Modell nachvollziehen · integrierte Daten als Data Products beschreiben · Zugriff, Qualität und Aktualität vor Veröffentlichung prüfen

1. Schritt 1: technische und fachliche Metadaten der Pipelines ergänzen
2. Schritt 2: Lineage von der Quelle bis zum kuratierten Modell nachvollziehen
3. Schritt 3: integrierte Daten als Data Products beschreiben
4. Schritt 4: Zugriff, Qualität und Aktualität vor Veröffentlichung prüfen

Praxis: Zwei integrierte Datenprodukte katalogisieren und freigeben

Modul 13: Produktivbetrieb und Abschlussfall

Inhaltsverzeichnis: Monitoring für Verbindungen, Flows, Dateien und Task Chains einrichten · Datenmengen, Laufzeiten und Fehlerquoten als Kennzahlen definieren · Runbook, Eskalation und Wartung für jede Integrationsstrecke festlegen · Gesamtlösung mit technischen und fachlichen Abnahmetests übergeben

1. Schritt 1: Monitoring für Verbindungen, Flows, Dateien und Task Chains einrichten
2. Schritt 2: Datenmengen, Laufzeiten und Fehlerquoten als Kennzahlen definieren
3. Schritt 3: Runbook, Eskalation und Wartung für jede Integrationsstrecke festlegen
4. Schritt 4: Gesamtlösung mit technischen und fachlichen Abnahmetests übergeben

Praxis: Den vollständigen Integrationsfall produktionsnah abnehmen und dokumentieren

Praxisübungen

Inhaltsverzeichnis: SAP-, Non-SAP-, Datenbank-, Cloud- und Dateiquellen in einer Zielarchitektur integrieren · Replikation, Flows, Spark, SQL und Orchestrierung zu End-to-End-Pipelines verbinden · Qualität, Lineage, Data Products, Monitoring und Betriebsübergabe absichern

• SAP-, Non-SAP-, Datenbank-, Cloud- und Dateiquellen in einer Zielarchitektur integrieren
• Replikation, Flows, Spark, SQL und Orchestrierung zu End-to-End-Pipelines verbinden
• Qualität, Lineage, Data Products, Monitoring und Betriebsübergabe absichern