Seminar FishOS Troubleshooting und Performanceanalyse

Inhaltsverzeichnis

1. Zielsetzung
2. Zielgruppe und Voraussetzungen
3. Seminarinhalte
4. Praxisübungen
5. Abgrenzung und Einsatzfelder

Zielsetzung

Die Schulung ersetzt unsystematisches Probieren durch eine reproduzierbare Diagnosemethode. Symptome werden einer Servicekette zugeordnet, mit Metriken, Logs und Vergleichstests eingegrenzt und nur mit kontrollierten Änderungen behoben.

Zielgruppe und Voraussetzungen

Zielgruppe: Erfahrene FishOS- und OpenStack-Administratoren, SREs, NOC-Teams, Netzwerk- und Storage-Spezialisten

Voraussetzungen: Praktische FishOS- oder OpenStack-Administration, sichere Linux-Kenntnisse sowie Grundlagen in Netzwerk, Ceph und Kubernetes

Seminarinhalte

Modul 1: Diagnosemethodik und Beweissicherung

1. Schritt 1: Auswirkung, Zeitpunkt, Umfang und letzte Änderungen vor technischen Eingriffen erfassen.
2. Schritt 2: Ressourcen-IDs, Anfrage-IDs, Zeitstempel und beteiligte Dienste zu einer Zeitlinie verbinden.
3. Schritt 3: Hypothesen nach Wahrscheinlichkeit und Prüfkosten priorisieren.
4. Schritt 4: Änderungen einzeln, reversibel und mit Vorher-Nachher-Messung durchführen.

Modul 2: Control Plane und API

1. Schritt 1: Erreichbarkeit, Authentisierung, Datenbank, Messaging und Dienstregistrierung prüfen.
2. Schritt 2: Timeouts, fehlerhafte Tokens, Quorumprobleme und überlastete APIs unterscheiden.
3. Schritt 3: Dienstlogs über Anfrage-IDs korrelieren und Folgefehler von der Primärursache trennen.
4. Schritt 4: Stabilisierung vor tieferer Reparatur oder Neustartmaßnahmen priorisieren.

Modul 3: Compute und Scheduling

1. Schritt 1: Build-, Spawn-, Placement-, Ressourcen- und Hypervisorfehler systematisch untersuchen.
2. Schritt 2: CPU-, RAM-, NUMA-, Disk- und Overcommit-Probleme anhand von Messwerten bewerten.
3. Schritt 3: Migration, Evakuierung und Hostwartung bei degradiertem Zustand sicher einsetzen.
4. Schritt 4: Workload Manager und Schedulerentscheidungen mit den tatsächlichen Constraints abgleichen.

Modul 4: Netzwerkdiagnose

1. Schritt 1: Portstatus, Bindung, DHCP, Router, Sicherheitsgruppen und Floating IPs in Reihenfolge prüfen.
2. Schritt 2: Paketpfade vom Gast bis zum externen Ziel mit gezielten Captures verfolgen.
3. Schritt 3: MTU, Overlay, VLAN, Routing, asymmetrische Pfade und Load Balancer analysieren.
4. Schritt 4: Control-Plane-Fehler von Datenpfad- oder physischer Netzstörung abgrenzen.

Modul 5: Ceph und Storageperformance

1. Schritt 1: Ceph Health, OSD-Auslastung, Recovery, langsame Operationen und Kapazität prüfen.
2. Schritt 2: Cinder-, Attach-, Multipath-, Mount- und Gastbetriebssystemfehler voneinander unterscheiden.
3. Schritt 3: Latenz und Durchsatz entlang von Client, Netzwerk, OSD und Datenträger messen.
4. Schritt 4: Recovery- und Backfill-Einstellungen nur unter Berücksichtigung der Servicewirkung anpassen.

Modul 6: Kubernetes und Gesamtsystem

1. Schritt 1: Clusterzustand, Nodes, System-Pods, CNI, Load Balancer und CSI gemeinsam analysieren.
2. Schritt 2: Kubernetes-Symptome zu den zugrunde liegenden OpenStack- und Ceph-Ressourcen zurückverfolgen.
3. Schritt 3: Mehrere gleichzeitige Fehler in Primärursache und Folgeauswirkungen zerlegen.
4. Schritt 4: Incident-Abschluss mit Ursachenbericht, Maßnahmen, Monitoringverbesserung und Runbook-Update durchführen.

Praxisübungen

• Analyse eines API- und Authentisierungsfehlers
• Behebung eines Scheduling- oder Compute-Problems
• Paketpfad- und MTU-Diagnose
• Ceph-Latenz- und Cinder-Attach-Analyse
• Kubernetes-Störung mit Ursache in OpenStack oder Storage
• Abschließendes Multi-Fault-Szenario mit Incident-Bericht

Abgrenzung und Einsatzfelder

Die Schulung konzentriert sich auf Plattform- und Infrastrukturdiagnose. Applikationscode und fachliche Fehler werden nur soweit betrachtet, wie sie zur Abgrenzung der Plattformursache erforderlich sind.