Seminar OpenEuroLLM: RAG und mehrsprachige Wissensassistenten

Retrieval-Augmented Generation verbindet ein Sprachmodell mit einem kontrollierten Dokumentbestand. Das Seminar zeigt, wie aus einer kleinen Sammlung mehrsprachiger Unterlagen eine überprüfbare Auskunftsanwendung entsteht. Der Sprachmodellanteil wird mit einer vorab geprüften, für Instruktionen geeigneten Modellvariante aus dem OpenEuroLLM-Umfeld erprobt.

Die Anwendung wird in getrennten Schritten aufgebaut: Dokumente aufbereiten, Abschnitte bilden, Suchrepräsentationen erzeugen, passende Textstellen auswählen und diese an das Modell übergeben. Ein generierendes Modell ersetzt dabei kein Einbettungsmodell. Für Retrieval und gegebenenfalls Reranking werden eigenständige, technisch passende Komponenten ausgewählt und mit ihren eigenen Nutzungsbedingungen dokumentiert.

Mehrsprachige Suchanfragen, widersprüchliche Dokumentstände und Fragen ohne belastbare Antwort sind feste Bestandteile des Übungskatalogs. Der Kurs untersucht, wie Fehler bereits vor der Textgenerierung entstehen und welche Kontrollen nötig sind, damit Benutzer nur zulässige Inhalte erhalten. Das Ergebnis der Laborarbeit ist ein begrenzter Prototyp; die Eignung eines experimentellen Modells für den späteren Betrieb muss gesondert geprüft werden.

Lernziele

• Eine kleine RAG-Anwendung mit klar getrennten Komponenten aufbauen.
• Dokumentaufteilung und Suchverfahren anhand mehrsprachiger Testanfragen beurteilen.
• Berechtigungen vor der Kontextübergabe an das Sprachmodell durchsetzen.
• Retrievalqualität und Antwortqualität mit getrennten Tests untersuchen.

Inhaltsverzeichnis

1. Anwendungsgrenze und Komponenten
2. Dokumentaufbereitung und Metadaten
3. Mehrsprachiges Retrieval
4. Kontextaufbau und Antwortverhalten
5. Zugriff und Datenänderungen
6. Bewertung und Fehlersuche

Seminarinhalte

Anwendungsgrenze und Komponenten

• Fachlichen Umfang, erlaubte Dokumente, Benutzergruppen und erwünschte Antwortformen festlegen.
• Generierungsmodell, Einbettungsmodell, Index und optionale Nachsortierung funktional trennen.
• Die ausgewählte Instruktionsvariante einschließlich Chat-Template in einem Funktionstest prüfen.

Dokumentaufbereitung und Metadaten

• Textinhalt, Überschriften und Dokumentstruktur aus vorbereiteten Dateibeständen gewinnen.
• Abschnitte nach Struktur und Länge bilden und Überschneidungen gezielt einsetzen.
• Dokumentkennung, Version, Sprache und Berechtigungsmerkmale an jedem Abschnitt erhalten.

Mehrsprachiges Retrieval

• Lexikalische, semantische und kombinierte Suche mit identischen Fragen vergleichen.
• Sprachübergreifende Treffer, Fachbegriffe und seltene Produktnamen gezielt testen.
• Trefferanzahl, Mindestqualität und gegebenenfalls Reranking anhand eines kleinen Prüfkatalogs abstimmen.

Kontextaufbau und Antwortverhalten

• Gefundene Textstellen mit einer klaren Aufgabenbeschreibung innerhalb eines begrenzten Tokenbudgets übergeben.
• Dokumentinhalte als Daten behandeln und enthaltene fremde Anweisungen nicht als Steuerung übernehmen.
• Antworten mit internen Dokumentkennungen belegen und bei fehlender Grundlage ein definiertes Ausweichverhalten vorsehen.

Zugriff und Datenänderungen

• Zulässige Dokumente anhand der Benutzerberechtigung bereits vor dem Modellaufruf filtern.
• Geänderte und entfernte Dokumente im Index aktualisieren und verbleibende veraltete Treffer testen.
• Inhalte von Betriebsprotokollen, Anfragezwischenspeichern und Testdaten gezielt begrenzen.

Bewertung und Fehlersuche

• Fehlende Suchtreffer, falsche Zuordnung und unbelegte Antwortbestandteile getrennt messen.
• Direkte, mehrsprachige, widersprüchliche und unbeantwortbare Fragen in die Abnahme aufnehmen.
• Eine einzelne Pipelineänderung durchführen und Verbesserungen mit denselben Prüfaufgaben verifizieren.

Praktische Übungen

1. Eine kleine Dokumentensammlung inventarisieren, Sprach- und Berechtigungsmetadaten ergänzen und Testfragen entwerfen.
2. Zwei Varianten der Dokumentaufteilung indizieren und die Qualität der Suchtreffer vergleichen.
3. Den geprüften Inferenzendpunkt anbinden und eine Antwort mit internen Dokumentkennungen erzeugen.
4. Eine Frage ohne passende Dokumentgrundlage sowie ein manipuliertes Übungsdokument testen.
5. Zwei Benutzerrollen mit unterschiedlichen Berechtigungen prüfen und anschließend ein Dokument aus dem Index entfernen.
6. Eine erkannte Schwachstelle verbessern und alle betroffenen Testfälle erneut ausführen.

Schulungsumgebung

Der Kunde stellt Python-Arbeitsplätze, einen geeigneten Inferenzendpunkt, eine vorbereitete Indexkomponente und einen kleinen mehrsprachigen Dokumentbestand bereit. Die Einbettungsmodelle und benötigten Ressourcen werden separat abgestimmt. Verwendet werden freigegebene oder synthetische Unterlagen.