Seminar Apache Iceberg Betrieb, Wartung und Performance

Dieses zweitägige Seminar richtet sich an Teams, die Apache Iceberg nicht nur einführen, sondern auch dauerhaft sauber betreiben wollen. Zwei Tage sind dafür angemessen, weil Wartung, Dateilayout, Snapshot-Bereinigung, Konfliktbilder und Performance-Tuning konzentriert, aber dennoch praxisnah behandelt werden müssen. Wer Betrieb nur nebenbei betrachtet, bekommt am Ende einen Datenfriedhof mit glänzendem Marketingnamen.

Zielsetzung

Das Seminar vermittelt die Aufgaben, die in produktiven Iceberg-Umgebungen regelmäßig anfallen: Snapshots begrenzen, verwaiste Dateien entfernen, Daten- und Manifestdateien umschreiben, Dateigrößen steuern, Kosten im Objektspeicher im Blick behalten und Commit-Probleme systematisch eingrenzen. Ziel ist ein ruhiger Betrieb statt hektischer Reparaturarbeit nach jedem Lastanstieg.

Inhalte

• Snapshot-Lebenszyklus, Retention und Auswirkungen auf Time-Travel und Rollback
• Expire Snapshots, Delete Orphan Files und Bereinigung ungenutzter Metadaten
• Compaction, Rewrite Data Files und Rewrite Manifests
• Dateigrößen, Partitionierung, Sortierung und Schreibverhalten
• Monitoring relevanter Kennzahlen für Metadaten, Dateianzahl und Speichernutzung
• Commit-Konflikte, parallele Schreiblast und Optimistic Concurrency
• Performance-Muster und typische Anti-Muster in Abfrage- und Schreibszenarien
• Kostenkontrolle und Betriebsroutinen für Cloud- und Hybrid-Umgebungen

Praxis

Im Übungsteil werden Wartungsaufgaben geplant, durchgeführt und ausgewertet. Dabei wird sichtbar, wie sich große Dateimengen, schlechte Partitionierung oder überzogene Snapshot-Historien auf Abfragen, Metadaten und Betriebskosten auswirken. Zusätzlich werden Fehlerbilder aus typischen Projektlagen systematisch zerlegt und mit klaren Gegenmaßnahmen versehen.

Zielgruppe

Das Seminar eignet sich für Administrations- und Plattformteams, für Data Engineers mit Betriebsverantwortung sowie für SRE-nahe Rollen, die Lakehouse-Plattformen überwachen und stabil halten müssen.