Seminar CrateDB – Time-Series- und IoT-Datenanalyse

Zeitreihen- und IoT-Anwendungen verbinden hohe Ereignisraten mit Gerätebezug, Zeitfenstern, Aggregation, Qualitätsmerkmalen und langer Aufbewahrung. Das Seminar baut eine vollständige Kette von Datenmodell und Aufnahme bis zu Analyse, Downsampling und Dashboard auf.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele und fachliche Einordnung

• Zeitreihen- und IoT-Datenmodelle für hohe Aufnahme und schnelle Analyse entwerfen
• Ereignisse, Geräte-, Standort- und Qualitätsdaten konsistent verbinden
• Zeitbucketing, Fensteranalysen, letzte Werte, Lücken und Downsampling umsetzen
• Retention, Dashboards und Leistungsgrenzen für den Produktionsbetrieb gestalten

Schrittweise Seminarinhalte

1. Schritt 1: Messfall und Semantik definieren

   Gerät, Messgröße, Einheit, Ereigniszeit, Erfassungszeit, Qualität, Standort und fachliche Bedeutung werden eindeutig beschrieben.

2. Schritt 2: Ereignis- und Stammdaten trennen

   Hochvolumige Messungen werden mit relativ stabilen Geräte-, Kunden-, Standort- oder Assetdaten über belastbare Schlüssel verbunden.

3. Schritt 3: Zeitreihentabelle modellieren

   Primärschlüssel, Zeitfeld, Messwerte, Objekte, Tags, Partitionierung, Sharding und Replikation werden aus Aufnahme und Abfragen abgeleitet.

4. Schritt 4: Aufnahmepfad gestalten

   Batch, Streaming, Reihenfolge, Idempotenz, verspätete Daten, Dubletten und Fehlerkanal werden für Sensorereignisse festgelegt.

5. Schritt 5: Datenqualität erfassen

   Plausibilitätsstatus, Sensorfehler, Kalibrierung, fehlende Werte, Einheit und Herkunft werden als auswertbare Merkmale gespeichert.

6. Schritt 6: Aktuelle und letzte Werte ermitteln

   Pro Gerät oder Asset werden jüngste Zustände und Zeitpunkte mit eindeutiger Sortierung und kontrollierter Parallelität bestimmt.

7. Schritt 7: Zeitbucketing anwenden

   Sekunden-, Minuten-, Stunden- oder Tagesintervalle werden mit Zeitzone, Periodengrenze und korrekter Aggregationssemantik gebildet.

8. Schritt 8: Lücken und Ausfälle erkennen

   Erwartete Frequenz, fehlende Buckets, Offline-Zeiten und verspätete Nachlieferung werden getrennt ausgewiesen.

9. Schritt 9: Fensteranalysen berechnen

   Gleitende Mittel, Differenzen, Raten, Rang, Vorperiodenwerte und kumulierte Kennzahlen werden pro Gerät oder Gruppe erstellt.

10. Schritt 10: Stammdaten und Ereignisse verbinden

    Gerätetyp, Standort, Kunde, Wartungsstatus und Schwellenwerte ergänzen die Messanalyse ohne unkontrollierte Join-Mengen.

11. Schritt 11: Downsampling aufbauen

    Rohdaten werden zu belastbaren Stunden- und Tageswerten verdichtet; Minimum, Maximum, Mittel, Zähler und Verfügbarkeit bleiben fachlich korrekt.

12. Schritt 12: Anomalievorbereitung gestalten

    Features, Referenzzeiträume, Grenzwerte, Kontextdaten und Trainingsausschlüsse werden für nachgelagerte Analyse oder KI vorbereitet.

13. Schritt 13: Retention und Archivierung umsetzen

    Roh- und Aggregatdaten erhalten unterschiedliche Aufbewahrung, Sicherung, Löschung und Wiederherstellungswege.

14. Schritt 14: Dashboard-Abfragen optimieren

    Zeitbereich, Filter, Bucketing, Ergebnisgröße, Aktualisierungsrate und Parallelität werden an Nutzerzahl und Clusterkapazität angepasst.

15. Schritt 15: Last und Wachstum testen

    Ereignisrate, aktive Geräte, Datenvolumen, gleichzeitige Dashboards, Shards und Speicherentwicklung werden in einem realistischen Testprofil gemessen.

Praxisübungen und Laborszenarien

• Modellierung und Befüllung einer partitionierten Sensordatentabelle
• Analyse letzter Werte, Zeitbucketing, Lücken und Geräteverfügbarkeit
• Berechnung von gleitenden Kennzahlen und Vorperiodenvergleichen
• Aufbau einer Downsampling-Stufe mit fachlicher Kontrollrechnung
• Entwurf eines Dashboard-Workloads mit Leistungs- und Aktualitätszielen

Zielgruppe und Voraussetzungen

Zielgruppe: IoT- und Industrial-Data-Teams, Data Engineers, Data Analysts, Plattformarchitektur, Backend-Entwicklung und technische Produktverantwortung.

Voraussetzungen: SQL-Grundkenntnisse, Verständnis von Zeitstempeln und Messdaten sowie Kenntnis eines realistischen Geräte- oder Ereignisfalls.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Live-Demonstrationen, strukturierte Konfigurations- und SQL-Schritte, praktische Übungen sowie kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangsdaten, Prüfpunkten und einer knappen technischen Dokumentation, damit die erarbeiteten Verfahren wiederholbar bleiben.