Seminar Apache NiFi – MiNiFi für Edge und IoT

Edge-Datenerfassung unterscheidet sich vom Rechenzentrumsbetrieb durch begrenzte Ressourcen, wechselnde Verbindungen und große Geräteanzahlen. Die Schulung behandelt deshalb Konfiguration, Sicherheit, Pufferung und Flottenbetrieb gemeinsam.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Edge-Architektur und Einsatzgrenzen
• Agenteninstallation und Konfiguration
• Datenerfassung am Rand
• Sichere Übertragung
• Offline-Puffer und Wiederanlauf
• Rollout und Flottenbetrieb
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind notwendig, weil Agentenaufbau, sichere Übertragung, Offline-Verhalten und automatisierter Rollout getrennt aufgebaut und anschließend in einem Ende-zu-Ende-Szenario geprüft werden.

Zielgruppe

IoT- und Edge-Engineering, Plattformbetrieb, OT-Integration, DevOps und technische Architektur.

Voraussetzungen

NiFi-Grundkenntnisse, Netzwerk- und TLS-Grundlagen sowie elementare Kenntnisse des Edge-Betriebssystems.

Lernziele

• MiNiFi und NiFi funktional abgrenzen.
• Edge-Flows ressourcenschonend entwerfen.
• Sichere Site-to-Site-Übertragung einrichten.
• Offline-Pufferung und Wiederanlauf testen.
• Konfigurationen kontrolliert verteilen.
• Agentenflotten überwachen und diagnostizieren.

Seminarinhalte

1. Edge-Architektur und Einsatzgrenzen

Agent, Standortnetz und zentrale Plattform werden als getrennte Betriebszonen modelliert.

1. Schritt 1: Datenquellen und Erfassungsrate aufnehmen.
2. Schritt 2: Ressourcen- und Verfügbarkeitsgrenzen erfassen.
3. Schritt 3: Zentrale und lokale Verarbeitung trennen.
4. Schritt 4: Kommunikationspfade und Vertrauensgrenzen zeichnen.
5. Schritt 5: Abnahmekriterien für Edge und Zentrale definieren.

2. Agenteninstallation und Konfiguration

Eine reproduzierbare Installation bildet die Grundlage für den Flottenbetrieb.

1. Schritt 1: Runtime und Dateipfade prüfen.
2. Schritt 2: Dienstkonto und Berechtigungen einrichten.
3. Schritt 3: Konfiguration mit Prozessoren und Connections erzeugen.
4. Schritt 4: Lokale Verzeichnisse und State-Pfade festlegen.
5. Schritt 5: Start, Stop und Logausgabe validieren.

3. Datenerfassung am Rand

Dateien, Telemetrie und lokale Protokolle werden mit geringer Last erfasst.

1. Schritt 1: Quelle und Änderungsverhalten bestimmen.
2. Schritt 2: Polling- und Batch-Werte setzen.
3. Schritt 3: Attribute für Gerät und Standort ergänzen.
4. Schritt 4: Vorfilterung oder Kompression konfigurieren.
5. Schritt 5: Ressourcenverbrauch unter Last messen.

4. Sichere Übertragung

Die Verbindung zur Zentrale nutzt eindeutige Identitäten und begrenzte Rechte.

1. Schritt 1: Zertifikate und Vertrauenskette bereitstellen.
2. Schritt 2: Site-to-Site-Ziel und Port konfigurieren.
3. Schritt 3: Remote Input Port mit passender Policy anlegen.
4. Schritt 4: Datenübertragung und Provenance prüfen.
5. Schritt 5: Abgelaufenes Zertifikat und Verbindungsfehler testen.

5. Offline-Puffer und Wiederanlauf

Verbindungsunterbrechungen dürfen weder Datenverlust noch unkontrolliertes Wachstum verursachen.

1. Schritt 1: Lokale Queue-Grenzen festlegen.
2. Schritt 2: Back Pressure und Priorisierung definieren.
3. Schritt 3: Netzwerkunterbrechung simulieren.
4. Schritt 4: Pufferwachstum und Ressourcenverbrauch beobachten.
5. Schritt 5: Wiederverbindung und geordnete Nachlieferung prüfen.

6. Rollout und Flottenbetrieb

Konfiguration, Version und Betriebszustand vieler Agenten werden nachvollziehbar verwaltet.

1. Schritt 1: Geräte- und Standortgruppen definieren.
2. Schritt 2: Konfigurationsartefakt versionieren.
3. Schritt 3: Stufenweisen Rollout planen.
4. Schritt 4: Health- und Logsignale zentral sammeln.
5. Schritt 5: Fehlerhafte Version zurücknehmen und dokumentieren.

Praxisübungen

1. MiNiFi-Agent installieren.
2. Lokale Telemetrie erfassen und anreichern.
3. TLS-gesichertes Site-to-Site konfigurieren.
4. Offline-Pufferung und Nachlieferung testen.
5. Rollout- und Rückfallverfahren erstellen.

Anwendungsszenarien

• Maschinen- und Sensordaten
• Filial- und Standortlogs
• Mobile oder schlecht angebundene Systeme
• Vorverarbeitung nahe der Datenquelle