Seminar Apache NiFi – Site-to-Site und verteilte Datenflüsse

Site-to-Site wird als kontrollierte Systemgrenze mit eigener Kapazität, Identität und Fehlerstrategie entworfen. Der Schwerpunkt liegt auf nachvollziehbarem Verhalten bei Zielausfall und Wiederverbindung.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Architektur und Datenvertrag
• Remote Process Groups und Ports
• TLS, Identitäten und Policies
• Lastverteilung und Parallelität
• Back Pressure und Fehlerfälle
• Nachweis und Betrieb
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Zwei Tage sind ausreichend, um Architektur, Konfiguration, Sicherheit, Lastverteilung und Fehlerfälle in einem verteilten Labor vollständig zu behandeln.

Zielgruppe

NiFi-Administration, Integrationsentwicklung, Plattformbetrieb und technische Architektur.

Voraussetzungen

NiFi-Grundkenntnisse sowie Grundlagen zu TLS, Netzwerkpfaden und Back Pressure.

Lernziele

• Site-to-Site-Architekturen planen.
• Remote Ports und Policies korrekt konfigurieren.
• TLS und Identitäten für Systemkopplung einsetzen.
• Lastverteilung und Parallelität abstimmen.
• Rückstau und Zielausfall kontrollieren.
• Übertragung mit Provenance und Metriken nachweisen.

Seminarinhalte

1. Architektur und Datenvertrag

Sender, Empfänger, Port, Datenformat und Betriebsverantwortung werden vor der Konfiguration festgelegt.

1. Schritt 1: Quell- und Zielsystem erfassen.
2. Schritt 2: Datenvolumen und Latenzziel bestimmen.
3. Schritt 3: Port- und Namenskonvention definieren.
4. Schritt 4: Vertragsattribute und Format festlegen.
5. Schritt 5: Abnahme- und Wiederanlaufkriterien dokumentieren.

2. Remote Process Groups und Ports

Die Kopplung nutzt explizite Remote Input- oder Output-Ports.

1. Schritt 1: Ziel-URL und Transportart festlegen.
2. Schritt 2: Remote Process Group anlegen.
3. Schritt 3: Port auf Zielseite erstellen.
4. Schritt 4: Port in der Remote Process Group aktualisieren.
5. Schritt 5: Test-FlowFile übertragen und empfangen.

3. TLS, Identitäten und Policies

Nur autorisierte technische Identitäten dürfen Daten senden oder empfangen.

1. Schritt 1: Vertrauensketten austauschen.
2. Schritt 2: Knoten- oder Serviceidentität bestimmen.
3. Schritt 3: Port- und Prozessgruppenrechte vergeben.
4. Schritt 4: Positivtest durchführen.
5. Schritt 5: Unberechtigte Identität als Negativtest abweisen.

4. Lastverteilung und Parallelität

Verbindungen und Remote Tasks werden an Datenrate und Knotenanzahl angepasst.

1. Schritt 1: Cluster- und Knotenverhalten prüfen.
2. Schritt 2: Concurrent Tasks schrittweise erhöhen.
3. Schritt 3: Kompression und Batch bewerten.
4. Schritt 4: Durchsatz und CPU messen.
5. Schritt 5: Sichere Reserve dokumentieren.

5. Back Pressure und Fehlerfälle

Zielausfall führt zu begrenztem Rückstau statt Datenverlust oder unkontrollierter Last.

1. Schritt 1: Queue-Grenzen am Sender setzen.
2. Schritt 2: Zielsystem stoppen.
3. Schritt 3: Rückstau, Bulletins und Retry beobachten.
4. Schritt 4: Ziel wieder starten.
5. Schritt 5: Nachlieferung, Reihenfolge und Dublettenrisiko prüfen.

6. Nachweis und Betrieb

Übertragung wird über Provenance, Metriken und Runbook nachvollziehbar gemacht.

1. Schritt 1: Send- und Receive-Ereignisse korrelieren.
2. Schritt 2: Durchsatz und Queue-Alter überwachen.
3. Schritt 3: Zertifikatsablauf als Wartungspunkt erfassen.
4. Schritt 4: Störungsmeldung und Eskalationsweg definieren.
5. Schritt 5: Betriebs- und Abnahmedokumentation abschließen.

Praxisübungen

1. Zwei NiFi-Systeme koppeln.
2. Remote Port mit Minimalrechten absichern.
3. Parallelität und Kompression messen.
4. Zielausfall mit Rückstau testen.
5. Übertragung über Provenance nachweisen.

Anwendungsszenarien

• Rechenzentrumsübergreifende Flows
• Datenannahme aus Außenstellen
• Entkopplung von Erfassung und Verarbeitung
• Kontrollierte Plattformübergänge