Seminar OpenEuroLLM: Inferenz und Bereitstellung offener Sprachmodelle

Dieses Seminar führt von der Auswahl eines geeigneten Modellartefakts zu einer funktionierenden und reproduzierbaren Inferenzumgebung. Im OpenEuroLLM-Umfeld werden Forschungsstände, Basismodelle und experimentelle Instruktionsvarianten technisch geprüft, bevor die Ausführung beginnt. Ein Schwerpunkt liegt auf der eindeutigen Zuordnung von Gewichten, Tokenizer, Modellkonfiguration und Laufzeit.

Die Übungen behandeln zunächst den direkten Modellaufruf und anschließend die Bereitstellung über eine Schnittstelle. Eingaben, Generierungsparameter und Fehlerfälle werden kontrolliert variiert. Dadurch wird sichtbar, wie Kontextumfang, Ausgabegrenzen und gleichzeitige Anfragen den Bedarf an Arbeitsspeicher und GPU-Speicher beeinflussen.

Als Ausführungsweg dient eine festgelegte Transformers-Umgebung; ein Inferenzserver wie vLLM wird nur für eine vorab bestätigte kompatible Modellvariante eingesetzt. Bei Prelude müssen vorhandene Checkpoint-Revisionen gezielt ausgewählt werden. Nicht jedes Projektartefakt ist unmittelbar als Chatmodell nutzbar. Für Chatübungen wird deshalb eine ausdrücklich geeignete Instruktionsvariante verwendet und als experimenteller Laborstand gekennzeichnet.

Lernziele

• Eine Modellveröffentlichung auf Vollständigkeit und technische Verwendbarkeit prüfen.
• Gewichte und Tokenizer versionsgleich laden und einen reproduzierbaren Modellaufruf durchführen.
• Ressourcen und Kontextgrenzen anhand eines realen Laboraufbaus bemessen.
• Einen Inferenzdienst mit eingeschränktem Zugriff bereitstellen und aus einer Beispielanwendung aufrufen.

Inhaltsverzeichnis

1. Artefakte und Revisionen
2. Vorbereitete Laufzeit und Ressourcen
3. Direkte Inferenz
4. Bereitstellung als Dienst
5. Zugriff und Ressourcengrenzen
6. Fehlersuche und reproduzierbarer Neustart

Seminarinhalte

Artefakte und Revisionen

• Modellkarte, Gewichtsdateien, Tokenizer und Konfiguration gemeinsam erfassen.
• Hauptzweig, Trainingscheckpoint und veröffentlichte Modellvariante unterscheiden; konkrete Revisionen festhalten.
• Nutzungsbedingungen und Herkunft der einzelnen Bestandteile dokumentieren.

Vorbereitete Laufzeit und Ressourcen

• Treiber, Rechenbibliotheken, Framework und unterstützte Architektur anhand eines Funktionstests prüfen.
• Speicher für Gewichte, KV-Cache und Laufzeitreserven getrennt kalkulieren.
• Modellcache und feste Paketstände so vorbereiten, dass die Laborumgebung wiederholbar startet.

Direkte Inferenz

• Ein Basismodell mit passenden Textfortsetzungen aufrufen und Ausgabegrenzen festlegen.
• Bei einer geeigneten Instruktionsvariante das mitgelieferte Chat-Template und die Rollenstruktur verwenden.
• Deterministische und stochastische Erzeugung vergleichen und Eingabe- von Ausgabetokens trennen.

Bereitstellung als Dienst

• Eine mit dem gewählten Modell getestete Laufzeit als wiederstartbaren Dienst betreiben.
• Modellkennung, Anfrageformat und Verhalten bei fehlerhaften Eingaben überprüfen.
• Eine einfache Clientanwendung anbinden und Zeitüberschreitungen sowie Fehlermeldungen behandeln.

Zugriff und Ressourcengrenzen

• Zugriff auf die vorgesehene Laborgruppe beschränken und notwendige Authentifizierung am Zugangspunkt einrichten.
• Kontext-, Ausgabe- und Parallelitätsgrenzen setzen; übergroße Anfragen kontrolliert ablehnen.
• Sensible Eingaben aus Diagnoseprotokollen entfernen und Änderungen nachvollziehbar festhalten.

Fehlersuche und reproduzierbarer Neustart

• Unpassende Tokenizer, fehlende Dateien, Speicherfehler und nicht unterstützte Formate unterscheiden.
• Einen vollständigen Neustart aus den dokumentierten Artefakten durchführen.
• Die gleiche Prüfanfrage wiederholen und die Ausgangskonfiguration für weitere Seminare sichern.

Praktische Übungen

1. Einen vollständigen Modellstand inventarisieren und die verwendete Revision zusammen mit dem Tokenizer festhalten.
2. Die direkte Inferenz starten, einen Basistest ausführen und die erzeugten Ausgabetokens getrennt betrachten.
3. Eine geeignete Instruktionsvariante mit korrektem Chat-Template erproben und typische Formatfehler untersuchen.
4. Einen lokal begrenzten Inferenzendpunkt bereitstellen und aus einer kleinen Clientanwendung ansprechen.
5. Kontextgrenzen testen, einen Fehler gezielt reproduzieren und die dokumentierte Umgebung neu starten.

Schulungsumgebung

Der Kunde stellt vorbereitete Linux-Systeme mit Containerlaufzeit und geeigneter GPU-Kapazität bereit. Modell und Kontextlänge werden vorab auf die vorhandenen Ressourcen abgestimmt. Große Kontextfenster sind kein Standardlaborziel; Downloads und Basispakete müssen vor Seminarbeginn verfügbar sein.