Seminar Kompaktseminar Domänenspezifische Sprachmodelle und Small Language Models

Das Kompaktseminar vermittelt den vollständigen Zusammenhang zwischen Modellwahl, Fachwissen, Daten, Anpassung und Betrieb. Es eignet sich für Teams, die in kurzer Zeit einen belastbaren Einstieg benötigen und anschließend gezielt Vertiefungsseminare auswählen möchten.

Ein gemeinsamer Beispielanwendungsfall wird schrittweise erweitert. Der Schwerpunkt liegt auf nachvollziehbaren Architekturentscheidungen und funktionsfähigen Prototypen; umfangreiche Trainingsoptimierung und tiefgehende Plattformautomatisierung sind nicht Gegenstand des kompakten Formats.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• SLMs und domänenspezifische Modelle anhand von Aufgabe, Qualität, Kosten und Kontrolle einordnen
• Prompting, RAG, Continued Pretraining, Fine-Tuning und hybride Anpassung sinnvoll voneinander abgrenzen
• Domänendaten für Retrieval, Training und Tests in geeignete Formate überführen
• Einen kleinen RAG-Prototyp und ein parameter-effizientes Fine-Tuning nachvollziehen
• Qualität, Leistung, Sicherheit und Betriebsfähigkeit anhand einer gemeinsamen Scorecard prüfen

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Modell- und Architekturgrundlagen

• Modellklassen, Tokenisierung, Kontext, strukturierte Ausgaben und Tool Calling
• Auswahlkriterien für Sprache, Fachaufgabe, Lizenz, Hardware, Latenz und Durchsatz
• Entscheidung zwischen Prompting, RAG, Adaptertraining und größerem Modell
• Zielarchitektur mit Retrieval, Modellserver, API und Kontrollpfaden

Daten und Anpassung

• Dateninventar, Rechte, Schutzbedarf, Bereinigung, Deduplizierung und Splits
• Chunks, Metadaten, Embeddings und Reranking für RAG
• Tokenizer-Diagnose und Entscheidung über Continued Pretraining
• Instruction-Datensätze, Chat-Templates und Grundlagen von LoRA und QLoRA
• Präferenzdaten und Verhaltensanpassung im Überblick

Evaluation und Optimierung

• Domänenspezifische Goldensets, automatische Metriken und menschliche Prüfung
• RAG-Qualität, Faktentreue, Format, Ablehnung und Robustheit
• Quantisierung, Modellformate und Qualitätskontrolle nach Konvertierung
• Latenz, Durchsatz, Kontextlänge und Ressourcenmessung

Bereitstellung und Governance

• Lokale Inferenz, Modellserver, Container und API-Grundlagen
• Strukturierte Tool-Aufrufe, Schrittgrenzen und menschliche Freigaben
• Prompt Injection, sensible Daten, Zugriffsgrenzen und sichere Ausgabeverarbeitung
• Modellkarte, Datenblatt, Risikoregister und versionierte Freigabe
• Monitoring, Feedback, Regressionstests und Rückfallversion

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Modellkandidaten und Anpassungsweg für einen Fachfall auswählen
• Dokumente für eine kleine RAG-Pipeline vorbereiten und abrufen
• Instruction-Daten und eine LoRA-Konfiguration prüfen
• Einen strukturierten Tool-Aufruf mit Schema-Validierung testen
• Baseline, RAG- und angepasste Variante mit einer Scorecard vergleichen
• Quantisierte lokale Inferenz starten und Betriebsparameter erfassen

Zielgruppe

Geeignet als gemeinsamer Einstieg für gemischte Projektteams. Drei Tage erlauben echte Übungen in allen Kernbereichen, ohne den Anspruch des fünftägigen Intensivseminars oder der spezialisierten Fachseminare zu erheben.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.