Seminar Evaluation und Qualitätssicherung für domänenspezifische Sprachmodelle

Allgemeine Bestenlisten sagen wenig darüber aus, ob ein Modell interne Fachbegriffe korrekt verwendet, verbindliche Antwortformate einhält oder bei unzureichender Evidenz zuverlässig ablehnt. Qualitätssicherung muss deshalb von den konkreten Aufgaben, Fehlerfolgen und Betriebsbedingungen der Domäne ausgehen.

Das Seminar zeigt, wie aus fachlichen Erwartungen eine wiederholbare Testsuite entsteht. Deterministische Metriken, semantische Bewertungen, menschliche Prüfung und modellgestützte Judges werden so kombiniert, dass ihre jeweiligen Schwächen sichtbar und kontrollierbar bleiben.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Aufgaben, Fehlerklassen, Akzeptanzgrenzen und Risikogewichte für eine Domäne definieren
• Repräsentative Goldensets und kontrollierte Challenge-Sets ohne Trainingskontamination erstellen
• Passende Metriken für Klassifikation, Extraktion, Generierung, RAG und strukturierte Ausgaben auswählen
• LLM-Judges mit menschlichen Bewertungen kalibrieren und auf Verzerrungen prüfen
• Qualitäts-, Sicherheits- und Leistungsregressionen in Freigabeprozesse integrieren

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Evaluationsdesign

• Task Taxonomy, Nutzergruppen, Fehlerkosten und risikobasierte Gewichtung
• Goldenset, Holdout, Challenge-Set, adversariale Fälle und zeitbasierte Tests
• Stichprobengröße, Konfidenz, Varianz durch Sampling und reproduzierbare Generationsparameter
• Kontamination, Doppelungen und unbeabsichtigte Hinweise in Testdaten

Metriken und Bewertungsverfahren

• Exact Match, Precision, Recall, F1, Edit-Distanz und schema-basierte Validierung
• Semantische Ähnlichkeit, Faktentreue, Vollständigkeit, Relevanz und Ablehnungsverhalten
• Retrieval-Metriken, Kontexttreue und Antwortqualität bei RAG-Systemen
• Rubrics, paarweiser Vergleich, Blind Review und Inter-Rater-Übereinstimmung
• LLM-as-Judge, Positions- und Längenbias, Kalibrierung und menschliche Kontrollstichproben

Robustheit, Sicherheit und Leistung

• Promptvarianten, Tippfehler, Mehrsprachigkeit, lange Eingaben und fachliche Grenzfälle
• Prompt Injection, sensible Daten, unerlaubte Inhalte, unsichere Code- oder Tool-Ausgaben
• Latenz, Time to First Token, Tokens pro Sekunde, Durchsatz und Ressourcenverbrauch
• Qualitätsvergleich vor und nach Fine-Tuning, Quantisierung oder Modellwechsel

Kontinuierliche Qualitätssicherung

• Versionierte Testfälle, Schwellenwerte, Freigabegates und Fehlerbudgets
• CI-Ausführung, Ergebnisprotokoll, Vergleichsberichte und Ursachenanalyse
• Produktionsstichproben, Nutzerfeedback, Driftindikatoren und Datenschutz bei Logs
• Canary, A/B-Vergleich, Rollback und erneute fachliche Freigabe

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Aus einem Fachprozess Fehlerklassen und eine gewichtete Scorecard ableiten
• Eine kleine domänenspezifische Testsuite mit automatischen Prüfern implementieren
• Einen Judge gegen menschliche Bewertungen kalibrieren und Abweichungen analysieren
• Zwei Modell- oder Quantisierungsvarianten einschließlich Leistungswerten vergleichen
• Freigabeschwellen und Regressionstest für eine Modellpipeline definieren

Zielgruppe

Geeignet für Teams, die Modellqualität nicht durch Einzelprompts, sondern anhand nachvollziehbarer Prüfverfahren bewerten müssen. Fachprüfer und technische Rollen arbeiten dabei mit derselben Scorecard.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.