Seminar Weaviate Vektorsuche und semantische Suche

Dieses praxisorientierte Seminar behandelt Near-Vector- und Near-Object-Abfragen, semantische Textsuche, Distanzmetriken, Zielvektoren, Filter, Grenzwerte, Ergebnis-Metadaten, Query-Vektorisierung und Qualitätsoptimierung. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Suchanforderungen und Testdaten
• Vektoren und Distanz
• Near-Vector und Near-Object
• Near-Text und Modellintegration
• Filter und Ergebnissteuerung
• Qualitätsoptimierung
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Suchanforderungen und Testdaten, Near-Text und Modellintegration und Qualitätsoptimierung strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Suchanforderungen und Testdaten

Schwerpunkt: Suchintents, relevante Dokumente, semantische Varianten, Fachbegriffe, Ausschlussfälle und Qualitätskriterien.

1. Anforderungen für Suchanforderungen und Testdaten erfassen: Suchintents, relevante Dokumente, semantische Varianten, Fachbegriffe, Ausschlussfälle und Qualitätskriterien; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Vektoren und Distanz

Schwerpunkt: Vektordimension, Normalisierung, Cosine, Dot Product, L2, Distanzinterpretation und Vergleichbarkeit.

1. Anforderungen für Vektoren und Distanz erfassen: Vektordimension, Normalisierung, Cosine, Dot Product, L2, Distanzinterpretation und Vergleichbarkeit; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Near-Vector und Near-Object

Schwerpunkt: Abfragevektoren, Referenzobjekte, Zielvektoren, Limit, Distanzgrenze, Certainty und Metadaten.

1. Anforderungen für Near-Vector und Near-Object erfassen: Abfragevektoren, Referenzobjekte, Zielvektoren, Limit, Distanzgrenze, Certainty und Metadaten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Near-Text und Modellintegration

Schwerpunkt: Query-Vektorisierung, Modellzugang, Move-Befehle, Named Vectors, Sprachvarianten und Fehlerdiagnose.

1. Anforderungen für Near-Text und Modellintegration erfassen: Query-Vektorisierung, Modellzugang, Move-Befehle, Named Vectors, Sprachvarianten und Fehlerdiagnose; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Filter und Ergebnissteuerung

Schwerpunkt: strukturierte Filter, Autocut, Gruppenbildung, Paging, Properties, Zusatzinformationen und leere Treffer.

1. Anforderungen für Filter und Ergebnissteuerung erfassen: strukturierte Filter, Autocut, Gruppenbildung, Paging, Properties, Zusatzinformationen und leere Treffer; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Qualitätsoptimierung

Schwerpunkt: Chunking, Property-Auswahl, Embedding-Modell, Testkorpus, Recall, Fehlertypen und dokumentiertes Suchprofil.

1. Anforderungen für Qualitätsoptimierung erfassen: Chunking, Property-Auswahl, Embedding-Modell, Testkorpus, Recall, Fehlertypen und dokumentiertes Suchprofil; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Suchanforderungen und Testdaten – Suchintents, relevante Dokumente, semantische Varianten, Fachbegriffe, Ausschlussfälle und Qualitätskriterien in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Vektoren und Distanz – Vektordimension, Normalisierung, Cosine, Dot Product, L2, Distanzinterpretation und Vergleichbarkeit in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Near-Vector und Near-Object – Abfragevektoren, Referenzobjekte, Zielvektoren, Limit, Distanzgrenze, Certainty und Metadaten in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Near-Text und Modellintegration – Query-Vektorisierung, Modellzugang, Move-Befehle, Named Vectors, Sprachvarianten und Fehlerdiagnose in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

Backend-Entwickler, Search Engineers, Data Scientists, ML Engineers und RAG-Entwickler.

Voraussetzungen

Grundkenntnisse in Weaviate, Collections und Embeddings.