Seminar Tenzir – TQL Grundlagen

Wer Typen, Operatoren und Zwischenergebnisse sicher beherrscht, kann neue Datenquellen schneller erschließen und Fehler zielgerichtet beheben. Im Mittelpunkt stehen die Grundlagen der Tenzir Query Language für lesbare Datenflüsse, sichere Typbehandlung, Transformation, Ein- und Ausgabe sowie systematische Diagnose.

Seminarziel

Nach dem Seminar können TQL-Pipelines gelesen, erstellt, schrittweise erweitert und bei typischen Syntax-, Typ- und Datenfehlern untersucht werden.

Inhaltsübersicht

1. Kapitel 1: TQL-Syntax und Datenfluss
2. Kapitel 2: Werte, Typen und Strukturen
3. Kapitel 3: Filtern, Auswählen und Transformieren
4. Kapitel 4: Quellen, Ausgaben und Fehlersuche
5. Kapitel 5: Teststrategie und Testgrenzen
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: TQL-Syntax und Datenfluss

1. Schritt 1: Pipelineoperatoren in Ausführungsreihenfolge lesen und Ein- sowie Ausgabe jedes Schritts beschreiben.
2. Schritt 2: Kommentare, Bezeichner, Literale, Ausdrücke und grundlegende Operatorverkettungen korrekt verwenden.
3. Schritt 3: Kleine Pipelines schrittweise aufbauen und Zwischenergebnisse nach jedem wesentlichen Schritt prüfen.
4. Schritt 4: Syntaxfehler, unvollständige Ausdrücke und unerwartete Daten systematisch voneinander unterscheiden.

Kapitel 2: Werte, Typen und Strukturen

1. Schritt 1: Text, Zahlen, Wahrheitswerte, Zeitwerte, Dauerwerte und fehlende Werte sicher unterscheiden.
2. Schritt 2: Records, verschachtelte Felder, Listen und optionale Strukturen adressieren und verändern.
3. Schritt 3: Datentypen prüfen, kontrolliert konvertieren und Konvertierungsverluste sichtbar machen.
4. Schritt 4: Mehrere Schemas im selben Datenstrom erkennen, trennen und nachvollziehbar behandeln.

Kapitel 3: Filtern, Auswählen und Transformieren

1. Schritt 1: Ereignisse mit klaren Bedingungen filtern und Filter schrittweise gegen Beispieldaten verifizieren.
2. Schritt 2: Benötigte Felder auswählen, umbenennen, anordnen, ergänzen oder entfernen.
3. Schritt 3: Text-, Zahlen-, Zeit- und Listenfunktionen passend zum jeweiligen Datentyp anwenden.
4. Schritt 4: Bedingte Werte, Standardwerte und kleine Normalisierungsmuster transparent formulieren.

Kapitel 4: Quellen, Ausgaben und Fehlersuche

1. Schritt 1: Testdaten, Dateien und geeignete Quellen kontrolliert in eine Pipeline einlesen.
2. Schritt 2: Ergebnisse in passende Formate und Ziele schreiben und die Ausgabeparameter prüfen.
3. Schritt 3: Fehler-, Warn- und Quarantänepfade für problematische Ereignisse aufbauen.
4. Schritt 4: Pipelines mit Beispieldaten, Kommentaren und reproduzierbaren Diagnoseabläufen dokumentieren.

Kapitel 5: Teststrategie und Testgrenzen

1. Schritt 1: Kritische Verhaltensmerkmale für Parser, Transformation, Mapping, Enrichment, Routing und Fehlerpfade bestimmen.
2. Schritt 2: Unit-nahe Operatorentests, Pipeline-Tests und End-to-End-Tests sinnvoll voneinander abgrenzen.
3. Schritt 3: Normal-, Grenz-, Fehler-, Versions- und Lastfälle priorisieren.
4. Schritt 4: Akzeptanzkriterien und erlaubte Abweichungen vor der Testimplementierung dokumentieren.

Praxisübungen

1. Übung 1: Mehrere kleine Pipelines mit steigender Komplexität aufbauen.
2. Übung 2: Verschachtelte Records und Listen transformieren.
3. Übung 3: Ereignisdaten bereinigen und typisieren.
4. Übung 4: Vorbereitete Syntax-, Typ- und Datenfehler beheben.

Zielgruppe

Security Engineers, Data Engineers, SOC-Analysten, Administratoren, Entwickler und technische Einsteiger in die Tenzir-Datenverarbeitung.

Voraussetzungen

Sicherer Umgang mit strukturierten Daten und grundlegendes Verständnis von Logereignissen; Programmierkenntnisse sind nicht erforderlich.