Seminar Apache Hadoop HDFS mit Stackable – Verteilte Datenspeicherung

Inhaltsübersicht

• Einordnung und Einsatzszenarien
• Lernziele
• Zielgruppe und Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Arbeitsweise und Dokumentation

Einordnung und Einsatzszenarien

Vermittelt Entwurf, Bereitstellung und Betrieb einer verteilten Speicherschicht einschließlich Kapazitätsplanung, Replikation und Wiederherstellung.

Im Mittelpunkt steht HDFS-Cluster als robuste Speicherschicht. Die Übungen orientieren sich an einem realistischen Kubernetes-Cluster und berücksichtigen Konfiguration, Sicherheit, Beobachtbarkeit und wiederholbare Betriebsabläufe. Produktfunktionen werden nicht isoliert betrachtet, sondern in ihre Abhängigkeiten innerhalb einer modularen Datenplattform eingeordnet.

Lernziele

• die Architektur und den Lebenszyklus von HDFS-Cluster als robuste Speicherschicht fachlich einordnen
• benötigte Operatoren, Custom Resources, Konfigurationen und Abhängigkeiten nachvollziehbar auswählen
• Bereitstellung und Änderungen schrittweise durchführen und anhand technischer Zustände verifizieren
• Identitäten, Verbindungen, Secrets und Berechtigungen entsprechend dem jeweiligen Schutzbedarf gestalten
• Metriken, Logs, Events und Statusinformationen für den laufenden Betrieb auswerten
• Störungen mit einem reproduzierbaren Diagnoseverfahren eingrenzen und dokumentieren

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineers, Plattformadministration, DevOps, Site Reliability Engineering, Data Architects und technische Projektleitung.

Voraussetzungen: Grundkenntnisse in Kubernetes, Linux, Containern, YAML und verteilten Datensystemen; praktische Erfahrung mit einer Kommandozeile ist hilfreich.

Seminarinhalte

Architektur, Verantwortlichkeiten und Einsatzgrenzen

1. Schritt 1: Geschäftliche und technische Anforderungen für HDFS-Cluster als robuste Speicherschicht erfassen und priorisieren.
2. Schritt 2: Beteiligte Plattformkomponenten, Datenpfade, Schnittstellen und Fehlerdomänen in einem Architekturmodell abgrenzen.
3. Schritt 3: Operatoren, Rollen, Custom Resources und gemeinsame Dienste den vorgesehenen Verantwortlichkeiten zuordnen.
4. Schritt 4: Akzeptanzkriterien für Bereitstellung, Sicherheit, Leistung und Betriebsfähigkeit festlegen.

NameNode, DataNode, JournalNode und HA-Topologie

1. Schritt 1: Anforderungen und erwartetes Verhalten für „NameNode, DataNode, JournalNode und HA-Topologie“ im Kontext von HDFS-Cluster als robuste Speicherschicht bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „NameNode, DataNode, JournalNode und HA-Topologie“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Volumes, Storage Classes und Datenplatzierung

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Volumes, Storage Classes und Datenplatzierung“ im Kontext von HDFS-Cluster als robuste Speicherschicht bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Volumes, Storage Classes und Datenplatzierung“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Replikation, Quotas, Balancer und Snapshots

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Replikation, Quotas, Balancer und Snapshots“ im Kontext von HDFS-Cluster als robuste Speicherschicht bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Replikation, Quotas, Balancer und Snapshots“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Sicherungen, Recovery, Wartung und Kapazitätsmanagement

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Sicherungen, Recovery, Wartung und Kapazitätsmanagement“ im Kontext von HDFS-Cluster als robuste Speicherschicht bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Sicherungen, Recovery, Wartung und Kapazitätsmanagement“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Betriebsprüfung und systematische Fehleranalyse

1. Schritt 1: Sollzustand, Istzustand und letzte Änderungen anhand von Custom Resources, Conditions und Kubernetes-Events vergleichen.
2. Schritt 2: Produkt-, Operator- und Plattformlogs zeitlich korrelieren und die wahrscheinlichste Fehlerdomäne bestimmen.
3. Schritt 3: Metriken und Kapazitätsdaten gegen definierte Schwellenwerte prüfen und geeignete Korrekturmaßnahmen ableiten.
4. Schritt 4: Fehlerbehebung kontrolliert durchführen, Funktionsprüfung wiederholen und Erkenntnisse in einem Runbook festhalten.

Praxisübungen

• eine lauffähige Beispielkonfiguration für HDFS-Cluster als robuste Speicherschicht erstellen und prüfen
• Konfigurationsänderungen versioniert vorbereiten, einspielen und zurücknehmen
• einen Sicherheits- oder Zugriffsfall mit überprüfbaren Identitäten und Berechtigungen umsetzen
• eine absichtlich eingebrachte Störung mit Logs, Metriken, Events und Statusfeldern eingrenzen
• eine kompakte Betriebscheckliste mit Prüfkommandos, Sollwerten und Eskalationskriterien erstellen

Arbeitsweise und Dokumentation

Kurze fachliche Einführungen wechseln mit Demonstrationen und geführten Übungen. Jeder Arbeitsschritt wird zunächst begründet, anschließend umgesetzt, technisch verifiziert und in einer wiederverwendbaren Checkliste dokumentiert. Konfigurationen werden so aufgebaut, dass Varianten für Entwicklung, Test und Produktion nachvollziehbar abgeleitet werden können.