Seminar OpenEuroLLM: Intensiv: Anwendungen, Inferenz und Betrieb

Dieses Intensivseminar führt die Anwendungslinie zu einem zusammenhängenden Laborprojekt zusammen. Von der Einordnung eines OpenEuroLLM-Modellartefakts über die lokale Inferenz bis zu einer dokumentengestützten Auskunftsanwendung werden die wesentlichen Entscheidungen praktisch bearbeitet. Anschließend werden Zugriffsregeln, Leistungsgrenzen und ein kontrollierter Wiederanlauf ergänzt.

Gebündelt werden die Inhalte der Einzelseminare Grundlagen, Inferenz, RAG, Sicherheit und Betrieb. Eine kompakte Vergleichsevaluation begleitet die technische Arbeit. Wiederkehrende Einführungen entfallen; die frei werdende Zeit wird für einen durchgängigen Aufbau genutzt. Die Übungen konzentrieren sich auf eine festgelegte Modellvariante, einen Dokumentbestand und ein überschaubares Betriebsprofil.

Fünf Tage bieten eine intensive technische Gesamtsicht mit ausgewählten praktischen Vertiefungen. Die vollständige Übungsbreite der Einzelkurse bleibt den jeweiligen Fachseminaren vorbehalten. Datenengineering und Fine-Tuning werden im ergänzenden Intensivseminar zur Entwicklungslinie vertieft. Gemeinsam decken die beiden Intensivseminare alle Fachgebiete des Einzelprogramms ab.

Der Einsatz experimenteller Projektartefakte erfolgt in einer begrenzten Laborumgebung. Für Dialog- und RAG-Aufgaben wird eine geeignete Instruktionsvariante vorab geprüft. Die technische Demonstration wird mit einem dokumentierten Modellstand durchgeführt; eine allgemeine Aussage zur Produktionsreife wird daraus nicht abgeleitet.

Lernziele

• Eine technische Pilotstrecke vom Modellartefakt bis zur internen Auskunftsanwendung aufbauen.
• Entscheidungen zu Kontext, Retrieval, Zugriff und Ressourcen gemeinsam bewerten.
• Die Anwendung mit fachlichen, technischen und sicherheitsbezogenen Testfällen prüfen.
• Eine lauffähige Laborkonfiguration einschließlich Wiederanlauf und offener Freigabeaufgaben dokumentieren.

Inhaltsverzeichnis

1. Projektstand und technische Zielsetzung
2. Reproduzierbare Inferenz
3. Dokumentbestand und Retrieval
4. Antwortgenerierung und Qualität
5. Sicherheit und Freigabe
6. Betrieb und Störung

Seminarinhalte

Projektstand und technische Zielsetzung

• OpenEuroLLM-Artefakte nach Modellart, Revision und Verwendungszweck einordnen.
• Den Pilotumfang auf einen klaren Anwendungsfall mit festgelegten Sprachen begrenzen.
• Qualitätsziele, Testdaten und die Abhängigkeiten zu Daten- und Modellfreigaben erfassen.

Reproduzierbare Inferenz

• Gewichte, Tokenizer, Chat-Template und vorbereitete Laufzeit zusammen prüfen.
• Direkte Modellaufrufe ausführen und anschließend einen begrenzten Inferenzendpunkt bereitstellen.
• Eingabe-, Ausgabe- und Parallelitätsgrenzen anhand der verfügbaren Hardware setzen.

Dokumentbestand und Retrieval

• Dokumente strukturieren und Sprach-, Versions- und Berechtigungsmerkmale erfassen.
• Eine vorbereitete Indexkomponente mit einem geeigneten Einbettungsmodell verwenden.
• Mehrsprachige Suchanfragen und unzureichende Treffer anhand eines festen Prüfkatalogs bearbeiten.

Antwortgenerierung und Qualität

• Zulässige Textstellen innerhalb eines begrenzten Kontextbudgets an das Modell übergeben.
• Interne Dokumentkennungen, ungeklärte Fragen und widersprüchliche Inhalte im Antwortverhalten berücksichtigen.
• Suchfehler und Generierungsfehler getrennt protokollieren und eine gezielte Verbesserung erproben.

Sicherheit und Freigabe

• Zugriffsprüfung vor der Kontextübergabe, Authentifizierung und Protokollbegrenzung einrichten.
• Manipulierte Übungsdokumente und unberechtigte Zugriffe mit einem begrenzten Testkatalog prüfen.
• Verantwortlichkeiten, Komponentenbedingungen und offene Datenschutz- oder Regulierungsfragen zuordnen.

Betrieb und Störung

• Antwortzeiten, Ressourcenverbrauch und Fehlerraten für das definierte Lastprofil erfassen.
• Einen Konfigurations- oder Modellwechsel kontrolliert testen und eine Rücksetzung erproben.
• Den Wiederanlauf nach einem Dienstausfall ausführen und die Betriebsanweisung vervollständigen.

Praktische Übungen

1. Den Anwendungsfall und seine Prüffragen festlegen sowie den gewählten Modellstand dokumentieren.
2. Die vorbereitete Umgebung vervollständigen, direkte Inferenz prüfen und den geschützten Endpunkt starten.
3. Den Dokumentbestand indizieren und eine mehrsprachige Anfrage mit nachvollziehbaren internen Belegen beantworten.
4. Fehlende Antworten, unzulässige Dokumentrechte und manipulierte Inhalte prüfen und die Anwendung verbessern.
5. Ein kleines Lastprofil ausführen, Grenzen festhalten und einen kontrollierten Ausfall mit Wiederanlauf bearbeiten.
6. Die technische Dokumentation mit noch offenen Qualitäts- und Freigabeaufgaben übergeben.

Schulungsumgebung

Der Kunde stellt eine vollständig vorbereitete Linux-, GPU- und Containerumgebung sowie einen freigegebenen Übungsbestand bereit. Inferenz-, Index- und Metrikkomponenten sind vorab technisch geprüft. Große Installationen und Downloads müssen vor Seminarbeginn abgeschlossen sein.