Seminar Apache NiFi – Integration mit Kafka, MQTT und Messaging-Systemen

Messaging-Integration verlangt klare Entscheidungen zu Schlüssel, Reihenfolge, Bestätigung, Batchgröße und Wiederholung. Diese Entscheidungen werden in belastbare NiFi-Flows übersetzt.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• Messaging-Muster und Zustellsemantik
• Kafka-Verbindung und Sicherheit
• Kafka konsumieren
• Kafka produzieren
• Schema und Records
• MQTT und weitere Broker
• Fehler und Performance
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind erforderlich, weil Kafka-Zustände, Record-Schemata, MQTT- beziehungsweise Brokerbesonderheiten und Fehlerfälle in getrennten Übungen aufgebaut und kombiniert werden.

Zielgruppe

Data Engineering, Integrationsentwicklung, Streaming- und IoT-Teams, Plattformadministration und Architektur.

Voraussetzungen

NiFi-Grundkenntnisse sowie Verständnis von Nachrichten, Topics und Consumer-Gruppen.

Lernziele

• Messaging-Muster auswählen.
• Kafka-Verbindung und Consumer-Gruppen konfigurieren.
• Schlüssel, Header und Offsets behandeln.
• MQTT und weitere Broker einbinden.
• Retry und Idempotenz umsetzen.
• Durchsatz und Rückstau abstimmen.

Seminarinhalte

1. Messaging-Muster und Zustellsemantik

Queue, Topic und Event Streaming führen unterschiedliche Reihenfolge- und Wiederholungsfragen ein.

1. Schritt 1: Muster unterscheiden.
2. Schritt 2: Latenz- und Reihenfolgeziel erfassen.
3. Schritt 3: Zustellsemantik einordnen.
4. Schritt 4: Nachrichtenschlüssel festlegen.
5. Schritt 5: Fehler- und Wiederanlaufmodell skizzieren.

2. Kafka-Verbindung und Sicherheit

Brokeradressen, Authentifizierung und Client-Eigenschaften werden zentral verwaltet.

1. Schritt 1: Bootstrap-Server prüfen.
2. Schritt 2: Sicherheitsparameter konfigurieren.
3. Schritt 3: Zertifikate oder Zugangsdaten einbinden.
4. Schritt 4: Topic-Rechte prüfen.
5. Schritt 5: Verbindungsfehler diagnostizieren.

3. Kafka konsumieren

Consumer Group und Offset bestimmen Parallelität und Wiederanlauf.

1. Schritt 1: Topic und Group festlegen.
2. Schritt 2: Offset-Startverhalten definieren.
3. Schritt 3: Key, Header und Zeitstempel erhalten.
4. Schritt 4: Batch und Wartezeit konfigurieren.
5. Schritt 5: Neustart und Rebalancing beobachten.

4. Kafka produzieren

Schlüssel, Acknowledgement, Batch und Fehlerstrategie kontrollieren die Ausgabe.

1. Schritt 1: Zieltopic und Key ableiten.
2. Schritt 2: Header setzen.
3. Schritt 3: Record Writer konfigurieren.
4. Schritt 4: Batch und Kompression abstimmen.
5. Schritt 5: Brokerstörung und Wiederholung testen.

5. Schema und Records

Ein Record-Modell trennt Brokertransport und fachliche Datenstruktur.

1. Schritt 1: Eingangsformat lesen.
2. Schritt 2: Schemaquelle einordnen.
3. Schritt 3: Record normalisieren.
4. Schritt 4: Zielformat schreiben.
5. Schritt 5: Schemafehler von Brokerfehler trennen.

6. MQTT und weitere Broker

Protokolle unterscheiden sich bei Session, Quality of Service und Bestätigung.

1. Schritt 1: MQTT-Verbindung und Topicfilter konfigurieren.
2. Schritt 2: Quality of Service festlegen.
3. Schritt 3: JMS- oder AMQP-Ziel einordnen.
4. Schritt 4: Header normalisieren.
5. Schritt 5: Reconnect und Offline-Phase testen.

7. Fehler und Performance

Rückstau und fehlerhafte Nachrichten werden begrenzt behandelt.

1. Schritt 1: Fehlerklassen definieren.
2. Schritt 2: Retry und Dead-Letter-Pfad begrenzen.
3. Schritt 3: Back Pressure zwischen NiFi und Broker setzen.
4. Schritt 4: Durchsatz und Latenz messen.
5. Schritt 5: Parallelität und Batch anpassen.

Praxisübungen

1. Kafka-Topic mit Consumer Group lesen.
2. Records mit Key und Header schreiben.
3. Schema- und Brokerfehler trennen.
4. MQTT-Daten normalisieren.
5. Brokerausfall mit Back Pressure testen.

Anwendungsszenarien

• Event Streaming
• IoT-Telemetrie
• Kafka-Zuführung für Analytics
• Entkopplung transaktionaler Anwendungen