Seminar Milvus – Indexierung und Similarity Metrics

Das Seminar vermittelt die fundierte Auswahl und Abstimmung von Similarity Metrics und Milvus-Indizes. Exakte und approximative Verfahren, Speicher- und Build-Kosten, Suchparameter, Filtereffekte, Recall-Latenz-Kurven und Re-Indexierungsstrategien werden anhand reproduzierbarer Benchmarks bewertet.

Inhaltsverzeichnis

1. Zielsetzung
2. Vektorgeometrie und Similarity Metrics
3. Exakte Suche und Referenzmessung
4. Graph- und clusterbasierte Indizes
5. Diskbasierte, quantisierte und spezialisierte Verfahren
6. Build- und Suchparameter
7. Filter, Partitionen und Datenverteilung
8. Re-Indexierung und produktive Umschaltung
9. Praxisprojekt
10. Zielgruppe und Voraussetzungen
11. Arbeitsweise

Zielsetzung

• Vektorgeometrie, Normalisierung und Similarity Metrics korrekt auf den Use Case abbilden
• Exakte, graphbasierte, clusterbasierte, diskbasierte und quantisierte Indexfamilien unterscheiden
• Build- und Suchparameter systematisch statt nach Standardwerten wählen
• Recall, Latenz, Durchsatz, Speicher und Indexbau gemeinsam benchmarken
• Indexwechsel, Re-Indexierung und produktive Umschaltung sicher planen

Vektorgeometrie und Similarity Metrics

Die Metrik bestimmt, wie Nachbarschaft im Vektorraum interpretiert wird. Modellkonvention, Normalisierung und Anwendung müssen konsistent sein.

1. Schritt 1: Geometrie vergleichen: Kosinusbezug, inneres Produkt und euklidische Distanz werden an normalisierten und nicht normalisierten Vektoren untersucht.
2. Schritt 2: Modellvorgaben prüfen: Training, Ausgabeformat und empfohlene Metrik des Embedding-Modells werden in das Schema übertragen.
3. Schritt 3: Fehler erkennen: Gemischte Modelle, falsche Dimension, ungewollte Skalierung und inkonsistente Normalisierung werden diagnostiziert.

Praxisübung: Experiment mit identischem Datensatz, mehreren Metriken und erklärter Rangfolgenänderung.

Exakte Suche und Referenzmessung

Eine exakte Suche liefert die Referenz für Recall und hilft, Daten- oder Embeddingprobleme von Indexeffekten zu trennen.

1. Schritt 1: Referenzbestand wählen: Repräsentative Datenmenge und Query-Menge werden für Ground-Truth-Berechnung vorbereitet.
2. Schritt 2: Exakte Ergebnisse erzeugen: Brute-Force-Suche wird mit reproduzierbaren Parametern und festem Datenstand ausgeführt.
3. Schritt 3: Baseline dokumentieren: Latenz, Durchsatz, Ergebnisränge und Ressourcenverbrauch werden als Vergleichspunkt gespeichert.

Praxisübung: Aufbau einer exakten Ground-Truth- und Performance-Baseline.

Graph- und clusterbasierte Indizes

Indexfamilien werden anhand ihrer Datenstruktur, Build-Kosten und Suchsteuerung verglichen.

1. Schritt 1: Graphverfahren verstehen: Nachbarschaftsgraph, Verbindungsgrad, Suchbreite, Speicherbedarf und Updateverhalten werden eingeordnet.
2. Schritt 2: IVF-Verfahren verstehen: Clusterzahl, Probe-Anteil, Quantisierung und Trainingseffekt werden nachvollzogen.
3. Schritt 3: Einsatzmuster ableiten: Datenmenge, Änderungsrate, Recall-Ziel, Speicher und Latenz bestimmen die Vorauswahl.

Praxisübung: Erstellung und Vergleich eines graphbasierten und eines IVF-basierten Index.

Diskbasierte, quantisierte und spezialisierte Verfahren

Bei großen Datenmengen oder begrenztem Arbeitsspeicher werden Datenträgerzugriff und Kompression zu entscheidenden Designgrößen.

1. Schritt 1: Diskbasierte Suche bewerten: Arbeitssatz, Cache, I/O-Latenz, sequentielle und zufällige Zugriffe werden berücksichtigt.
2. Schritt 2: Quantisierung bewerten: Speichergewinn, Distanzapproximation, Training und Recall-Verlust werden gemessen.
3. Schritt 3: Spezialhardware einordnen: GPU-basierte Suche und hardwareabhängige Verfahren werden nach Datenmenge, Kosten und Betriebsfähigkeit bewertet.

Praxisübung: Kapazitätsvergleich mehrerer Indexvarianten mit Speicher- und Qualitätsabschätzung.

Build- und Suchparameter

Parameter werden über kontrollierte Experimente und nicht durch isolierte Einzelempfehlungen gewählt.

1. Schritt 1: Parameterraum begrenzen: Datenverteilung, Indexfamilie, Recall-Ziel und Ressourcen setzen sinnvolle Testbereiche.
2. Schritt 2: Versuchsplan ausführen: Je Lauf wird nur eine definierte Parameterkombination mit identischem Daten- und Querybestand getestet.
3. Schritt 3: Pareto-Front bestimmen: Nicht dominierte Kombinationen aus Recall, Latenz, Durchsatz, Speicher und Build-Zeit werden ausgewählt.

Praxisübung: Durchführung einer Parameterstudie und Erstellung einer Recall-Latenz-Pareto-Kurve.

Filter, Partitionen und Datenverteilung

Skalare Filter und ungleichmäßige Daten können die effektive Kandidatenmenge und damit das Indexverhalten stark verändern.

1. Schritt 1: Filterselektivität messen: Häufige, seltene und kombinierte Filter werden mit realistischen Verteilungen getestet.
2. Schritt 2: Datenverteilung prüfen: Cluster, Duplikate, Ausreißer, Mandanten und Zeitpartitionen werden auf Schieflage untersucht.
3. Schritt 3: Suchstrategie anpassen: Top-K, Suchbreite, Partitionseingrenzung und Indexparameter werden auf gefilterte Workloads abgestimmt.

Praxisübung: Benchmark derselben Indexvarianten mit mehreren Filterselektivitäten.

Re-Indexierung und produktive Umschaltung

Indexänderungen benötigen Kapazität, Zeit und einen sicheren Wechsel ohne unkontrollierten Qualitätsverlust.

1. Schritt 1: Änderungsbedarf begründen: Datenwachstum, neues Recall-Ziel, Hardwareänderung oder Modellwechsel werden als Trigger dokumentiert.
2. Schritt 2: Paralleltest planen: Neue Collection beziehungsweise neuer Index, Backfill, Qualitätsvergleich und Lasttest werden vorbereitet.
3. Schritt 3: Umschaltung absichern: Freigabe, Traffic-Verlagerung, Beobachtungsphase, Rollback und Altbestandsbereinigung werden festgelegt.

Praxisübung: Ausarbeitung eines Re-Indexierungs- und Cutover-Plans mit Kapazitätsrechnung.

Praxisprojekt

Alle Übungen werden in einer zusammenhängenden Laborumgebung durchgeführt. Ausgangsdaten, Konfiguration, Messwerte und Änderungen werden versioniert dokumentiert. Die technische Abnahme umfasst Funktionsfälle, definierte Fehlerfälle, Qualitätskontrollen und einen reproduzierbaren Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Science, Machine Learning Engineering, Search Engineering, Datenbankadministration, Plattformengineering und Performance Engineering.

Voraussetzungen: Grundkenntnisse zu Milvus, Embeddings, Vektorsuche und statistischer Messung; Python- oder vergleichbare Scripting-Kenntnisse sind für Benchmarks hilfreich.

Arbeitsweise

Fachliche Einordnung, technische Demonstrationen und schrittweise Übungen wechseln sich ab. Jede Konfiguration wird begründet, praktisch geprüft und anhand klarer Erfolgskriterien dokumentiert. Dadurch entsteht eine direkt übertragbare Arbeitsgrundlage für Entwicklung, Architektur oder Betrieb.