Seminar Wazuh Log Collection, Normalisierung und externe Datenquellen

Beschreibung

Eine Datenquelle gilt erst als integriert, wenn Erfassung, Zeitbezug, Feldextraktion, Erkennung und Betriebsüberwachung nachgewiesen sind. Das Seminar behandelt daher den vollständigen Weg vom Quelleneigentümer bis zur Suchbarkeit.

Strukturierte, unstrukturierte und mehrzeilige Formate werden mit kontrollierten Beispielen getestet. Stille Ausfälle, Rotation, Formatwechsel und Duplikate werden in eigene Qualitätskontrollen überführt.

Zielgruppe

Wazuh-Administration, Security Engineering, Log-Management, SOC Engineering, Netzwerk- und Applikationsbetrieb

Voraussetzungen

Grundkenntnisse in Logformaten, Linux, Syslog, JSON und Wazuh-Agentenkonfiguration

Lernziele

• Logquellen mit Eigentümer, Format und Abnahmekriterien inventarisieren
• Datei-, Journal- und Syslogquellen sicher anbinden
• JSON- und Mehrzeilenereignisse korrekt verarbeiten
• Unbekannte Formate mit eigenen Decodern integrieren
• Quellgesundheit, Verzögerung und Datenqualität überwachen

Inhaltsübersicht

1. Logquellen und Verantwortlichkeiten inventarisieren
2. Datei- und Journalquellen konfigurieren
3. Syslog-Quellen zentral anbinden
4. Strukturierte JSON-Ereignisse verarbeiten
5. Mehrzeilige und rotierende Anwendungslogs beherrschen
6. Unbekannte Logformate bis zur Erkennung integrieren
7. Datenqualität und Quellgesundheit überwachen

Seminarinhalte

1. Logquellen und Verantwortlichkeiten inventarisieren

Für jede Quelle Zweck, Format, Eigentümer, Kritikalität und erwartete Ereignisrate festhalten.

1. Systeme, Anwendungen, Netzwerkgeräte und Cloudquellen vollständig erfassen.
2. Transportweg, Zeitstempel, Zeitzone, Rotation und Aufbewahrung dokumentieren.
3. Erwartete Felder und repräsentative Rohbeispiele je Quelle sammeln.
4. Priorität und Abnahmekriterien anhand der Erkennungsfälle bestimmen.
5. Inventar regelmäßig mit tatsächlichem Datenempfang abgleichen.

2. Datei- und Journalquellen konfigurieren

Lokale Ereignisse zuverlässig erfassen und Rotation sowie Format korrekt behandeln.

1. Logpfad, Format, Berechtigung und Rotationsverhalten prüfen.
2. Quelle in der Agentenkonfiguration mit passendem Format eintragen.
3. Konfigurationssyntax prüfen und Agent kontrolliert neu laden.
4. Testzeile erzeugen und Erfassung bis zur Analyse verfolgen.
5. Dateiwechsel, fehlende Datei und Berechtigungsfehler testen.

3. Syslog-Quellen zentral anbinden

Agentenlose und infrastrukturelle Ereignisse mit klarer Absenderzuordnung erfassen.

1. Geräte, Protokollvariante, Transport und erwartete Quelladressen festlegen.
2. Empfangsdienst und Netzwerkfreigaben auf einen begrenzten Bereich konfigurieren.
3. Gerät mit korrektem Ziel, Facility, Severity und Zeitformat einrichten.
4. Testmeldung senden und Absender, Zeit und Nachrichtentext verifizieren.
5. Spoofing-, Verlust- und Überlastungsrisiken im Betriebskonzept berücksichtigen.

4. Strukturierte JSON-Ereignisse verarbeiten

Vorhandene Felder ohne unnötige reguläre Ausdrücke zuverlässig in die Analyse übernehmen.

1. Beispieldaten auf gültiges JSON, Verschachtelung, Datentypen und stabile Felder prüfen.
2. Quelle mit passendem Logformat konfigurieren.
3. Feldnamen, Arrays, Nullwerte und Sonderzeichen anhand mehrerer Beispiele testen.
4. Regeln direkt auf stabile strukturierte Felder aufbauen.
5. Schemaänderungen über Kontrollereignisse und Fehlermetriken erkennen.

5. Mehrzeilige und rotierende Anwendungslogs beherrschen

Stacktraces und zusammengehörige Zeilen als ein analysierbares Ereignis behandeln.

1. Startmuster und Fortsetzungszeilen anhand repräsentativer Fehlerfälle bestimmen.
2. Timeout und maximale Ereignisgröße gegen reale Logmengen abwägen.
3. Mehrzeilenerfassung in einer Testquelle konfigurieren.
4. Vollständigkeit und Trennung benachbarter Ereignisse prüfen.
5. Rotation, sehr lange Meldungen und unvollständige Blöcke als Grenzfälle testen.

6. Unbekannte Logformate bis zur Erkennung integrieren

Neue Datenquellen von der Rohzeile über Decoder und Regel bis zur Anzeige produktionsfähig machen.

1. Rohbeispiele in normale, fehlerhafte und sicherheitsrelevante Fälle aufteilen.
2. Stabile Vorbedingungen und benötigte Felder definieren.
3. Decoder und Regeln in lokalen Dateien entwickeln und mit wazuh-logtest prüfen.
4. Quelle im Agenten- oder Serverkontext anbinden und Ende-zu-Ende testen.
5. Testkorpus, Version und fachliche Eigentümerschaft dokumentieren.

7. Datenqualität und Quellgesundheit überwachen

Stille Ausfälle, Verzögerungen, Formatwechsel und Duplikate frühzeitig erkennen.

1. Pro Quelle erwartete Mindestfrequenz, Maximalverzögerung und Kontrollereignis festlegen.
2. Letztes Ereignis, Volumen und Parserfehler als Kennzahlen erfassen.
3. Warnungen für Ausfall, Sprung und unerwarteten Rückgang definieren.
4. Fehlerweg von Quelle über Transport und Agent bis zur Indexierung als Runbook dokumentieren.
5. Monatlichen Abdeckungsreview mit Quelleneigentümern durchführen.

Praxislabor

1. Ein Quellinventar mit Rohbeispielen, Zeitformat und erwarteter Frequenz erstellen.
2. Eine lokale Datei-, eine Syslog- und eine JSON-Quelle anbinden.
3. Ein mehrzeiliges Fehlerereignis korrekt zusammenführen.
4. Für ein unbekanntes Format Decoder und Regel mit Testkorpus entwickeln.
5. Kontrollereignis und Ausfallwarnung für jede Quelle definieren.

Betriebliche Qualitätssicherung

• Eindeutiger Quelleneigentümer und dokumentierte Abnahmekriterien
• Zeit- und Zeitzonenprüfung vor Regelentwicklung
• Grenztests für Rotation, fehlende Dateien und Formatwechsel
• Gesundheitsmessung für letzte Meldung, Volumen und Parserfehler