Seminar Mistral AI – LLMOps, Evaluation und produktiver Betrieb

Ein funktionierender Prototyp beantwortet noch nicht die Fragen des laufenden Betriebs. Das Seminar ergänzt eine vorbereitete Mistral-Anwendung um Prüfverfahren und Betriebsmechanismen, mit denen Qualitätsverluste, steigende Kosten und technische Störungen früh sichtbar werden. Dabei werden Modell, Prompt, Retrieval und Werkzeuge als gemeinsam wirksame Teile der Anwendung betrachtet.

Die praktische Arbeit orientiert sich an einem Änderungsfall: Eine neue Modell- oder Promptversion soll eingeführt werden. Dafür werden Evaluationen aufgebaut, technische Kennzahlen erfasst und eine gestufte Freigabe vorbereitet. Ein bewusst ausgelöster Fehler zeigt anschließend, ob Überwachung, Alarmierung und Rücknahme tatsächlich funktionieren.

Inhaltsübersicht

1. Betriebsziele und Qualitätsmaßstäbe
2. Evaluationen aufbauen
3. Tracing und Messdaten
4. Last, Kosten und Ausfälle
5. Versionen und Freigaben
6. Störungsbearbeitung erproben

Seminarinhalte

Betriebsziele und Qualitätsmaßstäbe

• Fachliche Qualität, Verfügbarkeit, Antwortzeit und Kosten als getrennte Ziele beschreiben.
• Anwendungsschritte und Abhängigkeiten in einer Betriebsübersicht erfassen.
• Messbare Serviceziele und Verantwortlichkeiten für einen internen Assistenzdienst festlegen.

Evaluationen aufbauen

• Ein repräsentatives Testset mit Normalfällen, schwierigen Fällen und unzulässigen Eingaben zusammenstellen.
• Fachliche Bewertungsregeln, Schema-Prüfungen und Retrieval-Kriterien definieren.
• Automatische Bewertungen stichprobenartig gegen menschliche Beurteilungen prüfen.

Tracing und Messdaten

• Modell-, Retrieval- und Werkzeugaufrufe mit zusammenhängenden Kennungen erfassen.
• Tokenverbrauch, Antwortzeit, Fehlercodes und Wiederholungen je Verarbeitungsschritt auswerten.
• Sensible Inhalte vor Protokollierung reduzieren und Zugriffe sowie Aufbewahrung regeln.

Last, Kosten und Ausfälle

• Parallelität, Rate Limits, Kontextlänge und Ausgabelimits unter Last untersuchen.
• Timeouts, vorübergehende Dienstausfälle und fehlerhafte Abhängigkeiten gezielt simulieren.
• Budgets, begrenzte Warteschlangen und geeignete Rückfallreaktionen konfigurieren.

Versionen und Freigaben

• Prompts, Modelle, Konfigurationen und Testdaten reproduzierbar versionieren.
• Qualitäts- und Betriebsprüfungen als Freigabeschritte in einen bestehenden Entwicklungsprozess einfügen.
• Neue Versionen begrenzt ausrollen und eine eindeutige Rücknahmestrategie vorbereiten.

Störungsbearbeitung erproben

• Ein Fehlerbild vom Benutzerproblem bis zum betroffenen Verarbeitungsschritt zurückverfolgen.
• Alarmierung, Bereitschaftsinformationen und ein knappes Runbook anhand eines Übungsfalls testen.
• Nach einem Modellwechsel Stabilität, Qualität und Kosten mit der Baseline vergleichen.

Praktische Übungen

1. Eine vorbereitete Anwendung mit einem fachlichen Testset und einer ersten Qualitätsmessung verbinden.
2. Modell-, Retrieval- und Werkzeugaufrufe instrumentieren und sensible Protokollwerte reduzieren.
3. Eine begrenzte Lastmessung durchführen und Engpässe sowie Kostentreiber identifizieren.
4. Eine geänderte Prompt- oder Modellversion durch den Prüfprozess führen und kontrolliert freigeben.
5. Einen Dienstausfall simulieren, den Fehler anhand der Messdaten eingrenzen und die vorherige Version wiederherstellen.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung einschließlich der benötigten Zugänge, Nutzungsrechte und vereinbarten Ressourcen bereit. Erforderlich sind eine vorbereitete Mistral-Testanwendung, eine lokale oder bereitgestellte Beobachtungsplattform, API-Zugänge und ein begrenztes Lasttestbudget. Die Übungen erfolgen außerhalb produktiver Systeme. Die erstmalige Einrichtung einer GPU-Plattform gehört zum Self-Hosting-Seminar.

Passende Vertiefungen

Die Auswahl richtet sich nach den jeweiligen Voraussetzungen der Folgeseminare.

• Mistral AI – Sicherheit, Governance und Unternehmenseinführung
• Mistral-AI-Seminarübersicht