Seminar Apache Iceberg Migration und Modernisierung bestehender Data Lakes

Migration ist der Teil eines Projekts, bei dem sich zeigt, ob Begriffe wie "Modernisierung" Substanz haben oder nur auf Folien gut aussehen. Drei Tage sind für dieses Seminar notwendig, weil Bestandsaufnahme, Zielbild, technische Umstellung, Validierung und Rückfalloptionen gemeinsam betrachtet werden müssen. Ein kurzes Format würde die schwierigsten Punkte zuverlässig unter den Tisch fallen lassen.

Zielsetzung

Das Seminar zeigt, wie bestehende Hive-, Parquet-, ORC- oder Data-Lake-Strukturen systematisch in Iceberg-orientierte Zielbilder überführt werden können. Dabei geht es nicht nur um Befehle und Tools, sondern um tragfähige Migrationslogik, Abnahmefähigkeit und die Vermeidung klassischer Projektfehler beim Cutover.

Inhalte

• Treiber, Risiken und wirtschaftliche Ziele einer Migration nach Iceberg
• Bestandsaufnahme von Tabellen, Partitionen, Metadaten und Zugriffswegen
• Migrationspfade für Hive-nahe Tabellen, dateibasierte Data Lakes und CTAS-Szenarien
• Schema- und Partitionsmapping inklusive Zielbilddefinition
• Validierung fachlicher Ergebnisse und technischer Zustände
• Koexistenzphasen, Pilotmigrationen und kontrollierter Cutover
• Rollback-Strategien, Historienanforderungen und Betriebsübergabe
• Typische Stolperfallen bei Rechtekonzepten, Engine-Kompatibilität und Datenqualität

Praxis

Im Seminar werden Migrationsfahrpläne ausgearbeitet, Pilotfälle bewertet und Validierungschecklisten erstellt. Besonderes Gewicht liegt auf der nüchternen Frage, welche Tabellen sofort migriert werden sollten, welche besser später folgen und welche nur aus Prinzip umzubauen schlicht Unfug wäre.

Zielgruppe

Das Seminar eignet sich für Projektteams, Architekten und Senior Data Engineers, die bestehende Plattformen modernisieren oder konsolidieren sollen. Ebenso profitieren Plattformteams, die Übergangsphasen planen und operativ begleiten müssen.