Seminar CrateDB – Vektorsuche, Embeddings und KI-Datenanwendungen

Vektorsuche verbindet Embeddings mit strukturierten Metadaten, Volltext und fachlichen Berechtigungen. Das Seminar führt von der Auswahl des Suchfalls über float_vector, Ähnlichkeitsabfrage und Hybrid Search bis zu Evaluation und produktionsreifem RAG-Datenpfad.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele und fachliche Einordnung

• Vektor-, Volltext- und Metadatenanforderungen für KI-Suchfälle sauber trennen
• Embeddings und float_vector-Daten konsistent erzeugen, speichern und aktualisieren
• kNN- und hybride Suchabfragen mit Filtern und Ranking entwickeln
• Qualität, Leistung, Sicherheit und Betrieb eines RAG- oder Ähnlichkeitssystems absichern

Schrittweise Seminarinhalte

1. Schritt 1: KI-Suchfall und Erfolgskriterien definieren

   Dokumente, Nutzerabsicht, erlaubte Daten, Trefferqualität, Latenz, Aktualität und Fehlertoleranz werden vor der Modellauswahl festgelegt.

2. Schritt 2: Daten und Chunking vorbereiten

   Dokumentgrenzen, Abschnittslänge, Überlappung, Sprache, Titel, Quelle, Version und Berechtigungsmetadaten werden konsistent erzeugt.

3. Schritt 3: Embedding-Modell und Dimension festlegen

   Semantik, Sprache, Dimension, Kosten, Datenschutz, Reproduzierbarkeit und Modellversion werden als Datenvertrag dokumentiert.

4. Schritt 4: Vektortabelle modellieren

   Primärschlüssel, Dokument- und Chunk-ID, float_vector, Text, Metadaten, Zeitstempel, Partitionierung und Replikation werden abgestimmt.

5. Schritt 5: Embeddings aufnehmen

   Batchgröße, Typprüfung, Dimensionskontrolle, Idempotenz, Fehlerkanal und Zuordnung zur Modellversion werden implementiert.

6. Schritt 6: Ähnlichkeitssuche formulieren

   Abfragevektor, kNN-Funktion, Kandidatenzahl, Score und Ergebnissortierung werden mit einfachen Testfällen nachvollzogen.

7. Schritt 7: Metadatenfilter integrieren

   Mandant, Dokumenttyp, Sprache, Zeit, Status und Berechtigung werden vor oder gemeinsam mit der Ähnlichkeitssuche angewendet.

8. Schritt 8: Hybride Suche entwickeln

   Volltextrelevanz, Vektorähnlichkeit und strukturierte Kriterien werden mit einer nachvollziehbaren Gewichtungs- oder Nachsortierungsstrategie verbunden.

9. Schritt 9: RAG-Datenpfad gestalten

   Nutzerfrage, Embedding, Retrieval, Kontextbegrenzung, Quellenmetadaten, Modellaufruf und Antwortprotokoll werden als kontrollierte Kette aufgebaut.

10. Schritt 10: Aktualisierung und Löschung behandeln

    Geänderte Dokumente, neue Modellversionen, Re-Embedding, Tombstones, Berechtigungswechsel und vollständige Löschung werden organisiert.

11. Schritt 11: Suchqualität evaluieren

    Fragensatz, erwartete relevante Chunks, Recall, Ranking, Fehlertypen und menschliche Bewertung bilden einen wiederholbaren Benchmark.

12. Schritt 12: Leistung messen und optimieren

    Vektordimension, Kandidatenzahl, Filterselektivität, Shards, Parallelität, Batchgröße und Antwortgröße werden systematisch variiert.

13. Schritt 13: Sicherheit und Datenschutz umsetzen

    Zugriffsfilter, sensible Inhalte, Prompt-Injection-Risiken, Protokollierung und Löschanforderungen werden in Retrieval und Anwendung berücksichtigt.

14. Schritt 14: Betrieb und Modellwechsel vorbereiten

    Versionskennzeichnung, parallele Indizes oder Tabellen, Qualitätsvergleich, Rollout, Monitoring und Rücknahme werden geplant.

15. Schritt 15: Produktionsabnahme durchführen

    Qualität, Latenz, Kosten, Datenaktualität, Berechtigungen, Ausfallverhalten und Auditierbarkeit werden gemeinsam geprüft.

Praxisübungen und Laborszenarien

• Modellierung und Befüllung einer Tabelle mit Text, Metadaten und float_vector
• Aufbau einer kNN-Suche mit Mandanten- und Zeitfilter
• Entwicklung und Vergleich einer Volltext-, Vektor- und Hybridsuche
• Evaluation eines kleinen RAG-Retrievals mit Referenzfragen und Qualitätsmetriken
• Planung eines Modellwechsels mit Re-Embedding und kontrollierter Freigabe

Zielgruppe und Voraussetzungen

Zielgruppe: AI Engineers, Data Engineers, Suchentwicklung, Backend-Teams, Data Scientists, Solution Architects und technische Produktverantwortung.

Voraussetzungen: Gute SQL-Grundkenntnisse, Verständnis von Embeddings und Ähnlichkeitssuche sowie Programmiererfahrung für Datenaufbereitung und Anwendungstests.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Live-Demonstrationen, strukturierte Konfigurations- und SQL-Schritte, praktische Übungen sowie kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangsdaten, Prüfpunkten und einer knappen technischen Dokumentation, damit die erarbeiteten Verfahren wiederholbar bleiben.