Seminar Milvus – RAG-Anwendungen entwickeln

Das Seminar entwickelt eine produktionsnahe Retrieval-Augmented-Generation-Anwendung mit Milvus. Wissensaufnahme, Chunking, Embeddings, Datenmodell, Retrieval, Hybrid Search, Reranking, Kontextaufbau, Antwortgenerierung, Evaluation, Sicherheit und Betrieb werden in einem vollständigen End-to-End-Projekt umgesetzt.

Inhaltsverzeichnis

1. Zielsetzung
2. RAG-Zielbild und Anforderungsanalyse
3. Dokumentenaufnahme und Qualitätskontrolle
4. Chunking, Embeddings und Versionierung
5. Milvus-Datenmodell und Indexdesign
6. Dense Retrieval und Metadatenfilter
7. Hybrid Search und Reranking
8. Kontextaufbau und Antwortgenerierung
9. Evaluation von Retrieval und Antwort
10. Sicherheit, Datenschutz und Prompt-Injection-Schutz
11. Betrieb, Observability und kontinuierliche Verbesserung
12. Praxisprojekt
13. Zielgruppe und Voraussetzungen
14. Arbeitsweise

Zielsetzung

• RAG-Architektur und Verantwortlichkeiten von Quelle, Retrieval und Sprachmodell trennen
• Dokumente qualitätsgesichert aufnehmen, segmentieren, einbetten und versionieren
• Milvus-Schema, Indizes, Filter und Retrievalstrategien passend zum Wissensbestand gestalten
• Kontextaufbau, Reranking, Prompting und Zitationsdaten kontrolliert implementieren
• Qualität, Sicherheit, Kosten, Latenz und Betrieb mit geeigneten Tests absichern

RAG-Zielbild und Anforderungsanalyse

RAG wird als Informationssystem mit mehreren Qualitätsstufen und nicht nur als Prompttechnik betrachtet.

1. Schritt 1: Aufgaben und Grenzen definieren: Fragetypen, Wissensdomäne, Aktualität, Antwortformat, Ablehnung und Eskalation werden festgelegt.
2. Schritt 2: Qualitätsziele bestimmen: Retrieval-Recall, Faktentreue, Kontexttreue, Antwortlatenz, Kosten und Nachvollziehbarkeit werden priorisiert.
3. Schritt 3: Komponenten abgrenzen: Quellsysteme, Ingestion, Embedding, Milvus, Retriever, Reranker, Sprachmodell und Anwendung werden getrennt modelliert.

Praxisübung: Erstellung einer RAG-Systemlandkarte mit messbaren Erfolgskriterien.

Dokumentenaufnahme und Qualitätskontrolle

Die Qualität der Antworten wird wesentlich durch Extraktion, Bereinigung und Metadaten bestimmt.

1. Schritt 1: Quellen anbinden: Dateien, Webseitenexporte, Wissenssysteme, Tickets oder Datenbanken werden als versionierte Eingaben erfasst.
2. Schritt 2: Inhalte extrahieren: Text, Tabellen, Listen, Überschriften, Anhänge und Dokumentstruktur werden möglichst verlustarm übernommen.
3. Schritt 3: Qualität prüfen: Leere Inhalte, Dubletten, OCR-Fehler, veraltete Fassungen, Sprache und Berechtigungsstatus werden kontrolliert.

Praxisübung: Aufbau einer Ingestion-Stufe mit Qualitätsreport und Quarantänepfad.

Chunking, Embeddings und Versionierung

Chunking und Embedding werden an Fragetyp, Dokumentstruktur und Kontextbudget angepasst.

1. Schritt 1: Chunkstrategie wählen: Semantische Abschnitte, feste Fenster, Überlappung, Parent-Child-Modell und Tabellenbehandlung werden verglichen.
2. Schritt 2: Embeddingmodell prüfen: Sprache, Domäne, Eingabelänge, Dimension, Normalisierung und Laufzeit werden bewertet.
3. Schritt 3: Versionen verwalten: Dokument-, Chunk-, Pipeline- und Modellversion erlauben Re-Embedding und reproduzierbare Ergebnisse.

Praxisübung: A/B-Vergleich zweier Chunking-Varianten mit identischem Evaluationssatz.

Milvus-Datenmodell und Indexdesign

Collection, Felder und Indizes bilden Herkunft, Zugriff, Retrieval und spätere Migration ab.

1. Schritt 1: Schema modellieren: Chunk-ID, Dokument-ID, Text, Vektor, Titel, Abschnitt, Sprache, Gültigkeit, Rechte und Versionsfelder werden definiert.
2. Schritt 2: Partitionierung prüfen: Mandant, Wissensdomäne, Zeit und Datenklasse werden nach Such- und Lebenszyklusbedarf bewertet.
3. Schritt 3: Index auswählen: Metrik, Indexfamilie, Build- und Suchparameter werden anhand Datenmenge und Qualitätsziel festgelegt.

Praxisübung: Implementierung und Abnahme eines RAG-Collection-Schemas.

Dense Retrieval und Metadatenfilter

Der Grundretriever muss relevante Kandidaten zuverlässig liefern und unzulässige Inhalte ausschließen.

1. Schritt 1: Query vorbereiten: Fragebereinigung, Sprachbehandlung, Query-Embedding und optional Query-Rewriting werden definiert.
2. Schritt 2: Kandidaten suchen: Top-K, Suchparameter, Rückgabefelder und Konsistenz werden eingestellt.
3. Schritt 3: Zugriff filtern: Mandant, Rolle, Dokumentstatus, Gültigkeit, Sprache und Domäne werden als zwingende Filter umgesetzt.

Praxisübung: Entwicklung eines Dense Retrievers mit Berechtigungs- und Gültigkeitsfiltern.

Hybrid Search und Reranking

Lexikalische und semantische Signale verbessern insbesondere Eigennamen, Codes und domänenspezifische Begriffe.

1. Schritt 1: Sparse-Signal ergänzen: BM25 beziehungsweise Sparse Retrieval wird mit demselben Daten- und Filtermodell aufgebaut.
2. Schritt 2: Kandidaten fusionieren: Score- oder Rangfusion kombiniert komplementäre Treffer mit kontrollierten Gewichten.
3. Schritt 3: Reranker einsetzen: Eine begrenzte Kandidatenmenge wird genauer bewertet; Timeout und Fallback schützen das Latenzbudget.

Praxisübung: Vergleich von Dense, Hybrid und Hybrid-plus-Reranking anhand einer Ground Truth.

Kontextaufbau und Antwortgenerierung

Treffer werden nicht ungeprüft an das Sprachmodell übergeben. Deduplizierung, Kontextbudget und Provenienz werden kontrolliert.

1. Schritt 1: Kontext kuratieren: Nahe Duplikate, überlappende Chunks und konkurrierende Versionen werden zusammengeführt oder ausgeschlossen.
2. Schritt 2: Prompt strukturieren: Aufgabe, Grenzen, Kontext, Antwortformat, Unsicherheit und Umgang mit fehlender Evidenz werden eindeutig formuliert.
3. Schritt 3: Provenienz erhalten: Dokument-ID, Abschnitt, Version und Trefferbezug werden für Nachweis und Benutzeroberfläche mitgeführt.

Praxisübung: Implementierung eines Kontextbuilders mit Budget, Deduplizierung und Herkunftsdaten.

Evaluation von Retrieval und Antwort

Retrieval- und Generationsqualität werden getrennt gemessen, damit Fehler an der richtigen Stufe behoben werden.

1. Schritt 1: Testset kuratieren: Einfache, mehrstufige, zeitabhängige, unbeantwortbare und berechtigungskritische Fragen werden aufgenommen.
2. Schritt 2: Retrieval messen: Recall@K, MRR, nDCG, Filtertreue und Kandidatenabdeckung werden berechnet.
3. Schritt 3: Antworten bewerten: Faktentreue, Kontexttreue, Vollständigkeit, Ablehnungsverhalten und Format werden automatisiert und manuell geprüft.

Praxisübung: Erstellung eines Evaluationsreports mit Fehlerklassen und priorisierten Verbesserungen.

Sicherheit, Datenschutz und Prompt-Injection-Schutz

RAG verbindet potenziell nicht vertrauenswürdige Inhalte mit leistungsfähigen Modellen. Daten- und Anweisungsgrenzen müssen explizit geschützt werden.

1. Schritt 1: Zugriff durchsetzen: Berechtigungsfilter, Identitätsweitergabe, Mandantentrennung und Protokollierung werden Ende-zu-Ende geprüft.
2. Schritt 2: Inhalte behandeln: Personenbezogene Daten, Geheimnisse, Löschanforderungen und Aufbewahrung werden in Ingestion und Retrieval berücksichtigt.
3. Schritt 3: Injection begrenzen: Dokumentinhalte werden als Daten, nicht als Systemanweisung behandelt; Toolzugriffe und Ausgabeformate werden eingeschränkt.

Praxisübung: Red-Team-Test mit unzulässigem Dokumentzugriff und eingebetteter Prompt Injection.

Betrieb, Observability und kontinuierliche Verbesserung

Produktionsbetrieb benötigt Versionierung, Telemetrie, Kostenkontrolle und sichere Aktualisierung.

1. Schritt 1: Telemetrie erfassen: Ingestionstatus, Querylatenz, Teilstufen, Trefferzahl, Fallbacks, Tokenverbrauch und Qualitätsstichproben werden gemessen.
2. Schritt 2: Änderungen ausrollen: Neue Modelle, Chunkingregeln, Indizes, Prompts und Reranker werden über Staging, Shadow und A/B-Test freigegeben.
3. Schritt 3: Feedback nutzen: Suchabbrüche, Nutzerfeedback, Fehlantworten und neue Fragen fließen kontrolliert in Testset und Backlog ein.

Praxisübung: Betriebsabnahme des End-to-End-Projekts mit Dashboard, Runbook und Rollbackplan.

Praxisprojekt

Alle Übungen werden in einer zusammenhängenden Laborumgebung durchgeführt. Ausgangsdaten, Konfiguration, Messwerte und Änderungen werden versioniert dokumentiert. Die technische Abnahme umfasst Funktionsfälle, definierte Fehlerfälle, Qualitätskontrollen und einen reproduzierbaren Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: AI Engineering, Machine Learning Engineering, Softwareentwicklung, Data Engineering, Solution Architecture, Informationssicherheit und technische Produktverantwortung.

Voraussetzungen: Gute Kenntnisse in Python oder vergleichbarer Entwicklung, Grundlagen zu Embeddings, Sprachmodellen und Milvus sowie Erfahrung mit APIs und Tests.

Arbeitsweise

Fachliche Einordnung, technische Demonstrationen und schrittweise Übungen wechseln sich ab. Jede Konfiguration wird begründet, praktisch geprüft und anhand klarer Erfolgskriterien dokumentiert. Dadurch entsteht eine direkt übertragbare Arbeitsgrundlage für Entwicklung, Architektur oder Betrieb.