Seminar Flatcar Container Linux – Hochverfügbare Kubernetes-Cluster

Ein hochverfügbarer Kubernetes-Cluster auf Flatcar verlangt ein abgestimmtes Design für Control Plane, etcd, Load Balancing, CNI, Storage, Zertifikate, Updates und Wiederherstellung. Das Seminar baut eine vollständige Plattform auf und behandelt anschließend Wartung, Upgrade, Ausfalltests und dokumentierte Recovery-Verfahren.

Lernziele

• Eine hochverfügbare Kubernetes-Architektur auf Flatcar planen und begründen
• Control-Plane- und Worker-Knoten deklarativ bereitstellen
• etcd, Load Balancer, Zertifikate, CNI und Storage belastbar integrieren
• Knotenupdates, Reboots und Kubernetes-Upgrades ohne unnötige Unterbrechung koordinieren
• Ausfälle von Knoten und Control-Plane-Komponenten diagnostizieren und wiederherstellen

Inhaltsübersicht

1. Zielarchitektur und Ausfallgrenzen
2. Deklarative Knotenbereitstellung
3. Containerd, cgroups und Kubelet
4. Load Balancer und erster Control-Plane-Knoten
5. Weitere Control-Plane-Knoten und etcd
6. CNI, DNS und Service-Netze
7. Persistenter Storage und CSI
8. Worker, Scheduling und Kapazität
9. Sicherheit und Zertifikatsbetrieb
10. Monitoring, Logging und Alarmierung
11. Updates, Reboots und Kubernetes-Upgrades
12. Ausfalltests und Disaster Recovery

Kapitel 1: Zielarchitektur und Ausfallgrenzen

Inhaltsverzeichnis des Kapitels: Control-Plane-Quorum; Worker-Kapazität; Zonen und Netze; RTO und RPO.

1. Schritt 1: Ausgangslage, Zielzustand und Abhängigkeiten für Control-Plane-Quorum erfassen.
2. Schritt 2: Worker-Kapazität anhand fachlicher, technischer und betrieblicher Kriterien strukturieren.
3. Schritt 3: Zonen und Netze mit messbaren Prüfkriterien und klaren Verantwortlichkeiten bewerten.
4. Schritt 4: Entscheidungen zu RTO und RPO in einer nachvollziehbaren Architektur- oder Betriebsmatrix dokumentieren.

Praxisübung: Eine HA-Architektur wird mit konkreten Ausfallszenarien, Kapazitätsreserven und Wiederanlaufzielen entworfen.

Kapitel 2: Deklarative Knotenbereitstellung

Inhaltsverzeichnis des Kapitels: Butane und Ignition; Kubernetes-Binaries; Container-Runtime; Knotenrollen.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für Butane und Ignition festlegen.
2. Schritt 2: Kubernetes-Binaries deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: Container-Runtime mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für Knotenrollen testen und als Cluster-Runbook dokumentieren.

Praxisübung: Control-Plane- und Worker-Konfigurationen werden versioniert erzeugt und auf identischen Flatcar-Basisimages getestet.

Kapitel 3: Containerd, cgroups und Kubelet

Inhaltsverzeichnis des Kapitels: CRI-Konfiguration; cgroup v2; Kubelet-Flags; Registry-Zugriff.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für CRI-Konfiguration festlegen.
2. Schritt 2: cgroup v2 deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: Kubelet-Flags mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für Registry-Zugriff testen und als Cluster-Runbook dokumentieren.

Praxisübung: Runtime und Kubelet werden aufeinander abgestimmt, gestartet und mit einem CRI- sowie Ressourcenprüfungstest abgenommen.

Kapitel 4: Load Balancer und erster Control-Plane-Knoten

Inhaltsverzeichnis des Kapitels: API-Endpunkt; Health Checks; kubeadm init; Bootstrap Token.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für API-Endpunkt festlegen.
2. Schritt 2: Health Checks deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: kubeadm init mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für Bootstrap Token testen und als Cluster-Runbook dokumentieren.

Praxisübung: Der virtuelle API-Endpunkt wird eingerichtet und der erste Control-Plane-Knoten mit reproduzierbarer kubeadm-Konfiguration initialisiert.

Kapitel 5: Weitere Control-Plane-Knoten und etcd

Inhaltsverzeichnis des Kapitels: Zertifikatsverteilung; kubeadm join; etcd-Mitglieder; Quorumprüfung.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für Zertifikatsverteilung festlegen.
2. Schritt 2: kubeadm join deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: etcd-Mitglieder mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für Quorumprüfung testen und als Cluster-Runbook dokumentieren.

Praxisübung: Zwei weitere Control-Plane-Knoten werden hinzugefügt; Mitgliedschaft, Quorum und API-Verfügbarkeit werden unter Ausfall geprüft.

Kapitel 6: CNI, DNS und Service-Netze

Inhaltsverzeichnis des Kapitels: Pod CIDR; CNI-Installation; CoreDNS; Network Policies.

1. Schritt 1: Interfaces, Adressräume und Abhängigkeiten für Pod CIDR erfassen.
2. Schritt 2: CNI-Installation deklarativ konfigurieren und die effektive Laufzeitkonfiguration prüfen.
3. Schritt 3: Konnektivität, Routing und Namensauflösung für CoreDNS schrittweise verifizieren.
4. Schritt 4: Fehlerfall, Fallback und Diagnoseweg für Network Policies dokumentieren.

Praxisübung: Ein CNI wird installiert, Pod-zu-Pod- und Service-Kommunikation getestet und durch eine erste Network Policy begrenzt.

Kapitel 7: Persistenter Storage und CSI

Inhaltsverzeichnis des Kapitels: Storage Classes; CSI-Treiber; Volume-Zonen; Snapshots und Wiederanbindung.

1. Schritt 1: Datenklasse, Gerätepfad und Wiederherstellungsziel für Storage Classes festlegen.
2. Schritt 2: CSI-Treiber deklarativ einrichten und Abhängigkeiten zu Boot, Netzwerk oder Diensten definieren.
3. Schritt 3: Integrität, Persistenz und Ausfallverhalten von Volume-Zonen mit kontrollierten Tests prüfen.
4. Schritt 4: Sicherung, Wiederanbindung und Rückfall für Snapshots und Wiederanbindung dokumentieren.

Praxisübung: Eine zustandsbehaftete Beispielanwendung erhält persistentes Storage und wird nach Pod- sowie Knotenausfall wiederhergestellt.

Kapitel 8: Worker, Scheduling und Kapazität

Inhaltsverzeichnis des Kapitels: Join-Prozess; Labels und Taints; Ressourcenreservierung; PodDisruptionBudget.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für Join-Prozess festlegen.
2. Schritt 2: Labels und Taints deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: Ressourcenreservierung mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für PodDisruptionBudget testen und als Cluster-Runbook dokumentieren.

Praxisübung: Worker werden hinzugefügt, Workloads gezielt platziert und die verfügbare Kapazität bei Wartung eines Knotens geprüft.

Kapitel 9: Sicherheit und Zertifikatsbetrieb

Inhaltsverzeichnis des Kapitels: RBAC und Node-Zugriff; Zertifikatslaufzeiten; Secrets; Host-Hardening.

1. Schritt 1: Schutzbedarf, Bedrohungen und zulässige Vertrauensgrenzen für RBAC und Node-Zugriff bestimmen.
2. Schritt 2: Zertifikatslaufzeiten nach dem Prinzip minimaler Rechte konfigurieren und versionieren.
3. Schritt 3: Die Wirksamkeit der Kontrolle für Secrets mit erlaubten und unerlaubten Testfällen prüfen.
4. Schritt 4: Nachweise, Ausnahmen und Wiederherstellungsweg für Host-Hardening dokumentieren.

Praxisübung: Administrative Zugriffe werden reduziert, Zertifikatszustände geprüft und Host- sowie Clusterkontrollen gemeinsam getestet.

Kapitel 10: Monitoring, Logging und Alarmierung

Inhaltsverzeichnis des Kapitels: Knotenmetriken; Control-Plane-Metriken; Journald; SLO und Alarme.

1. Schritt 1: Sollzustand und Prüfkriterien für Knotenmetriken festlegen.
2. Schritt 2: Den aktuellen Zustand von Control-Plane-Metriken mit geeigneten Systemwerkzeugen erfassen.
3. Schritt 3: Journald kontrolliert durchführen und technische Auswirkungen währenddessen beobachten.
4. Schritt 4: Abweichungen im Bereich SLO und Alarme behandeln und den Ablauf als Runbook festhalten.

Praxisübung: Ein Mindestset aus Metriken, Logs und Alarmen wird aufgebaut und mit einem simulierten etcd- oder Kubelet-Fehler geprüft.

Kapitel 11: Updates, Reboots und Kubernetes-Upgrades

Inhaltsverzeichnis des Kapitels: Drain und Cordon; Reboot-Koordination; Flatcar-Update; kubeadm upgrade.

1. Schritt 1: Knotenrolle, Versionen und Voraussetzungen für Drain und Cordon festlegen.
2. Schritt 2: Reboot-Koordination deklarativ konfigurieren und vor dem Clusterbeitritt lokal prüfen.
3. Schritt 3: Flatcar-Update mit den vorgesehenen Kubernetes-Werkzeugen ausführen und Komponentenstatus sowie Logs verifizieren.
4. Schritt 4: Wartungs-, Ausfall- und Rückfallverhalten für kubeadm upgrade testen und als Cluster-Runbook dokumentieren.

Praxisübung: Ein Knoten wird entlastet, aktualisiert, neu gestartet und wieder freigegeben; anschließend wird ein kontrollierter Kubernetes-Upgradepfad durchlaufen.

Kapitel 12: Ausfalltests und Disaster Recovery

Inhaltsverzeichnis des Kapitels: Control-Plane-Verlust; etcd-Sicherung; Ersatzknoten; Abnahme nach Recovery.

1. Schritt 1: Das Fehlerbild im Bereich Control-Plane-Verlust reproduzieren und eine unveränderte Zeitlinie sichern.
2. Schritt 2: Logs, Statusdaten und Abhängigkeiten zu etcd-Sicherung erfassen und gegeneinander abgleichen.
3. Schritt 3: Die Ursache durch gezielte Prüfungen von Ersatzknoten eingrenzen und die kleinste wirksame Korrektur anwenden.
4. Schritt 4: Wiederherstellung, Nachkontrolle und Prävention für Abnahme nach Recovery in einem Runbook festhalten.

Praxisübung: Mehrere Ausfälle werden simuliert, ein Wiederanlauf aus gesicherten Zuständen durchgeführt und gegen RTO- sowie Funktionskriterien abgenommen.

Methodik und Arbeitsumgebung

Inhaltsverzeichnis des Kapitels: Lernform; Laboraufbau; Validierung; Fehlerfälle und Rücknahme.

Vortrag, technische Einordnung, Live-Demonstrationen und geführte Übungen wechseln sich ab. Jede Konfiguration wird in einer isolierten Laborumgebung erstellt, versioniert, geprüft, angewendet und anhand von Status-, Log- und Funktionskontrollen abgenommen. Fehlerfälle und Rücknahmewege sind Bestandteil der Übungen.