Seminar Intensivseminar Domänenspezifische Sprachmodelle und Small Language Models – End-to-End Engineering

Das Intensivseminar bündelt sämtliche Themen des Seminarpfads in einem zusammenhängenden Engineering-Prozess. Es richtet sich an Teilnehmende, die nicht jedes Vertiefungsseminar einzeln besuchen können, aber Auswahl, Daten, Anpassung, Wissenszugriff, Qualität, Optimierung, Bereitstellung und Governance als Gesamtsystem verstehen und praktisch erproben müssen.

Die fachliche Breite wird durch einen konsequenten End-to-End-Fall beherrschbar gehalten. Für jedes Teilgebiet werden die entscheidenden Verfahren umgesetzt; Spezialvarianten und umfangreiche Trainingsserien bleiben den jeweiligen Vertiefungsseminaren vorbehalten.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Use Case, Qualitätsziele, Schutzbedarf und Betriebsgrenzen in eine SLM-Architektur überführen
• Domänendaten für Continued Pretraining, RAG, SFT, Präferenzoptimierung und Evaluation kontrolliert vorbereiten
• Ein Small Language Model mit LoRA oder QLoRA anpassen und gegen eine Baseline prüfen
• RAG, Fine-Tuning und hybride Ansätze anhand fachlicher und betrieblicher Messwerte vergleichen
• Strukturierte Tool-Aufrufe und einen begrenzten agentischen Workflow sicher integrieren
• Quantisierte Inferenz als API bereitstellen, unter Last testen und überwachen
• Sicherheits-, Datenschutz-, Dokumentations- und Freigabekontrollen in den Lebenszyklus integrieren

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Strategie, Architektur und Modellwahl

• Aufgabenklassifikation, messbare Gütekriterien, Fehlerkosten und menschliche Freigabe
• Modellklassen, Tokenizer, Kontext, Sprachabdeckung, Lizenz und Hardwareeignung
• Entscheidungsbaum für Prompting, RAG, Fine-Tuning, Continued Pretraining und Distillation
• Referenzarchitektur für Daten, Retrieval, Inferenz, API, Kontrollen und Monitoring

Daten und Corpus Engineering

• Inventar, Rechte, Schutzbedarf, Provenienz und Datenfreigabe
• Extraktion, Bereinigung, Deduplizierung, Segmentierung und Qualitätsfilter
• Instruction-, Chat-, Präferenz- und Evaluationsdatensätze
• Leakage-freie Splits, synthetische Daten und versionierte Dataset-Manifeste

Continued Pretraining, Fine-Tuning und Alignment

• Tokenizer-Diagnose, Corpus-Mischung und Entscheidung über Continued Pretraining
• SFT-Baseline, Chat-Templates, Antwortmaskierung und Abdeckungsmatrix
• LoRA, QLoRA, Zielmodule, Speicheroptimierung und Trainingsdiagnose
• Präferenzpaare, Rejection Sampling und Grundprinzipien direkter Präferenzoptimierung
• Adapterverwaltung, Merge, unerwünschtes Vergessen und Regressionstests

RAG und Qualitätssicherung

• Chunking, Embeddings, hybride Suche, Metadatenfilter und Reranking
• Kontextaufbereitung, strukturierte Antworten und kontrollierte Abweisung
• Goldensets, Taskmetriken, Rubrics, menschliche Prüfung und kalibrierte Judges
• Retrieval-, Antwort-, Robustheits-, Sicherheits- und Leistungstests

Kompression und Inferenz

• Quantisierung, Kalibrierdaten, Qualitätsvergleich und Auswahl des Modellformats
• Pruning und Wissensdistillation als Alternativen zur bloßen Gewichtsquantisierung
• Lokale CPU- und GPU-Inferenz mit geeigneten Serving-Engines
• KV-Cache, Batching, strukturierte Ausgaben, Adapter und Lastprofile

Bereitstellung, Sicherheit und Governance

• Container, Gesundheitsprüfungen, Ressourcenlimits, Kubernetes und Rolloutverfahren
• Tool-Verträge, agentische Schrittgrenzen, Tracing und menschliche Freigaben
• Authentisierung, Autorisierung, Mandantentrennung, Secrets und Netzwerkgrenzen
• Prompt Injection, Datenabfluss, Poisoning, Lieferkette, Memory-Manipulation und unsichere Ausgaben
• Modell- und Datendokumentation, Risikoregister, Freigabegates, Monitoring und Incident-Prozess

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Anwendungsfall, Scorecard und Zielarchitektur definieren
• Domänendaten bereinigen und in Trainings-, Retrieval- und Testformate überführen
• LoRA- oder QLoRA-Training ausführen und mit der Baseline vergleichen
• RAG-Pipeline ergänzen und den hybriden Ansatz evaluieren
• Tool Calling mit Schema-Validierung, Schrittlimit und Freigabe ergänzen
• Modell quantisieren, als API bereitstellen und unter Last messen
• Bedrohungsmodell, Freigabeprotokoll, Monitoring und Rollbackplan erstellen

Zielgruppe

Das Seminar ist der vollständige, komprimierte Alternativpfad zu den einzelnen Fachseminaren. Fünf Tage sind die Obergrenze und zugleich das fachliche Minimum, um alle Bereiche praktisch zu verbinden; für vertiefte Trainingsserien, umfangreiche Plattformautomatisierung oder spezielle regulatorische Prüfungen sind die Fachseminare vorgesehen.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.