Seminar Log-Engineering für Yama Analytics: Webserver- und Proxy-Logs (Caddy)

Inhaltsverzeichnis

• Abstract
• Zielbild und Nutzen
• Zielgruppe und Voraussetzungen
• Lernziele
• Agenda
• Praxisübungen

Abstract

Dieses Seminar fokussiert das technische Fundament von Yama Analytics: die Qualität, Struktur und Verlässlichkeit von Webserver- und Reverse-Proxy-Logs. Im Mittelpunkt stehen Logging-Formate, Feldkonsistenz, Rotation, Transport, Zeit-Synchronisation, sowie Maßnahmen zur Datenminimierung. Als Referenz dient der Betrieb mit einem Caddy-basierten Proxy-Logging, wie er im Yama-Ökosystem beschrieben wird.

Zielbild und Nutzen

• Logging als Messinstrument standardisieren, bevor Analytics interpretiert wird
• Caddy-HTTP-Logs als Inputquelle einordnen
• Datenminimierung bereits in der Logquelle umsetzen

Zielgruppe und Voraussetzungen

• Zielgruppe: DevOps, Plattformteams, Web-Infrastruktur, SRE
• Voraussetzungen: Linux-Grundlagen, Zugriff auf Webserver/Proxy-Konfiguration, Verständnis HTTP

Lernziele

• Ein Logging-Schema definieren, das Analytics-fähig ist
• Log-Rotation und -Aufbewahrung so gestalten, dass keine Messlücken entstehen
• Felder für Analytics normalisieren (Pfad, Query-Parameter, Host, Status, UA, Referrer)
• Risiken erkennen: Zeitdrift, Proxy-Ketten, CDN-Offloading

Agenda

• Logging-Architektur
  • Quelle, Format, Persistenz, Transport
• Feldkatalog für Analytics
  • Mindestfelder, Nice-to-have, Normalisierung
• Caddy/Proxy-Logging und Besonderheiten
  • Reverse-Proxy-Kontext, TLS-Termination, Cache-Indikatoren
• Rotation, Transport, Integrität
  • Rotation-Strategien, Verlustfreiheit, Idempotenz
• Praxisworkshop
  • Logging-Schema entwerfen, Beispiel-Parser-Regeln definieren, Testläufe mit Musterdaten

Praxisübungen

• Feldkatalog definieren und auf aktuelle Logs mappen
• URL-Normalisierung festlegen (Trailing Slash, Lowercase-Regeln, Canonicals)
• Query-Parameter-Strategie definieren (Whitelist, UTM-Behandlung, PII-Filter)
• Rotation und Retention Plan erstellen (Aufbewahrungsdauer, Archiv, Löschkonzept)
• Transportweg dokumentieren (Filebeat/Agent, Pull vs Push, Batch-Größen)
• Validierungschecks festlegen (fehlende Stunden, ungewöhnliche Statuscode-Spitzen, Parser-Errors)