Seminar Weaviate Intensivseminar Anwendungsentwicklung und Retrieval

Dieses praxisorientierte Seminar behandelt komprimierter Gesamtpfad von Architektur und Datenmodell über Embeddings, Datenimport und Client-Entwicklung bis zu Vektor-, Keyword- und Hybrid Retrieval, Filtern, Reranking, Multimodalität und Qualitätsmessung. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Tag 1: Architektur und Datenmodell
• Tag 1: Embeddings und Vektorräume
• Tag 2: Datenaufbereitung und Import
• Tag 2: Client-Anwendung
• Tag 3: Semantische und strukturierte Suche
• Tag 3: Keyword und Hybrid Retrieval
• Tag 4: Reranking und multimodale Suche
• Tag 4: Relevanzbewertung
• Tag 5: Performance und Produktionsreife
• Tag 5: Abschlussprojekt
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Tag 1: Architektur und Datenmodell, Tag 3: Keyword und Hybrid Retrieval und Tag 5: Abschlussprojekt strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Tag 1: Architektur und Datenmodell

Schwerpunkt: Systemarchitektur, Collections, Properties, Datentypen, Referenzen, Named Vectors, Indexgrundlagen und Deployment-Auswahl.

1. Anforderungen für Tag 1: Architektur und Datenmodell erfassen: Systemarchitektur, Collections, Properties, Datentypen, Referenzen, Named Vectors, Indexgrundlagen und Deployment-Auswahl; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Tag 1: Embeddings und Vektorräume

Schwerpunkt: Modellwahl, Dimension, integrierte und selbst bereitgestellte Vektoren, Property-Auswahl und Re-Embedding.

1. Anforderungen für Tag 1: Embeddings und Vektorräume erfassen: Modellwahl, Dimension, integrierte und selbst bereitgestellte Vektoren, Property-Auswahl und Re-Embedding; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Tag 2: Datenaufbereitung und Import

Schwerpunkt: Chunking, Metadaten, UUIDs, Batch-Verfahren, gRPC, Fehlerbehandlung, Wiederanlauf und Synchronisation.

1. Anforderungen für Tag 2: Datenaufbereitung und Import erfassen: Chunking, Metadaten, UUIDs, Batch-Verfahren, gRPC, Fehlerbehandlung, Wiederanlauf und Synchronisation; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Tag 2: Client-Anwendung

Schwerpunkt: Python- oder TypeScript-Client, Collection-Verwaltung, CRUD, Async-Verarbeitung, Service-Schicht und Tests.

1. Anforderungen für Tag 2: Client-Anwendung erfassen: Python- oder TypeScript-Client, Collection-Verwaltung, CRUD, Async-Verarbeitung, Service-Schicht und Tests; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Tag 3: Semantische und strukturierte Suche

Schwerpunkt: Near-Abfragen, Distanzen, Zielvektoren, Filter, Aggregationen, Sortierung und Ergebnis-Metadaten.

1. Anforderungen für Tag 3: Semantische und strukturierte Suche erfassen: Near-Abfragen, Distanzen, Zielvektoren, Filter, Aggregationen, Sortierung und Ergebnis-Metadaten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Tag 3: Keyword und Hybrid Retrieval

Schwerpunkt: BM25F, Tokenisierung, Alpha, Fusion, Kandidatenkontrolle, Autocut und Suchprofile.

1. Anforderungen für Tag 3: Keyword und Hybrid Retrieval erfassen: BM25F, Tokenisierung, Alpha, Fusion, Kandidatenkontrolle, Autocut und Suchprofile; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

7. Tag 4: Reranking und multimodale Suche

Schwerpunkt: Reranker, Named Vectors, Multi-Vektoren, Text-Bild-Suche, Gewichtung und Latenzbudget.

1. Anforderungen für Tag 4: Reranking und multimodale Suche erfassen: Reranker, Named Vectors, Multi-Vektoren, Text-Bild-Suche, Gewichtung und Latenzbudget; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

8. Tag 4: Relevanzbewertung

Schwerpunkt: Testdatensatz, Ground Truth, Precision, Recall, MRR, nDCG, Fehleranalyse und Regression.

1. Anforderungen für Tag 4: Relevanzbewertung erfassen: Testdatensatz, Ground Truth, Precision, Recall, MRR, nDCG, Fehleranalyse und Regression; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

9. Tag 5: Performance und Produktionsreife

Schwerpunkt: Indexwahl, HNSW, Quantisierung, Batch-Leistung, Monitoring, Sicherheit und Kapazitätscheck.

1. Anforderungen für Tag 5: Performance und Produktionsreife erfassen: Indexwahl, HNSW, Quantisierung, Batch-Leistung, Monitoring, Sicherheit und Kapazitätscheck; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

10. Tag 5: Abschlussprojekt

Schwerpunkt: vollständige Retrieval-Anwendung mit Import, mehreren Sucharten, Evaluation, Tests und Betriebsdokumentation.

1. Anforderungen für Tag 5: Abschlussprojekt erfassen: vollständige Retrieval-Anwendung mit Import, mehreren Sucharten, Evaluation, Tests und Betriebsdokumentation; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Tag 1: Architektur und Datenmodell – Systemarchitektur, Collections, Properties, Datentypen, Referenzen, Named Vectors, Indexgrundlagen und Deployment-Auswahl in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Tag 2: Datenaufbereitung und Import – Chunking, Metadaten, UUIDs, Batch-Verfahren, gRPC, Fehlerbehandlung, Wiederanlauf und Synchronisation in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Tag 5: Performance und Produktionsreife – Indexwahl, HNSW, Quantisierung, Batch-Leistung, Monitoring, Sicherheit und Kapazitätscheck in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Tag 5: Abschlussprojekt – vollständige Retrieval-Anwendung mit Import, mehreren Sucharten, Evaluation, Tests und Betriebsdokumentation in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

Entwickler, Data Engineers, Search Engineers, ML Engineers und technische Architekten, die Weaviate-Anwendungen durchgängig umsetzen sollen.

Voraussetzungen

Sichere Programmierkenntnisse in Python oder TypeScript; Datenbank- und API-Grundlagen werden vorausgesetzt.