Seminar Europäische KI-Modelle: Auswahl, Lizenzen und Evaluation

Eine tragfähige Modellauswahl beginnt mit überprüfbaren Anforderungen. Das Seminar zeigt, wie europäische Sprachmodelle unter gleichen Bedingungen verglichen werden und welche Aussagen öffentliche Ranglisten tatsächlich erlauben. Sprachqualität, fachliche Richtigkeit, strukturierte Ausgaben, Laufzeit und Betriebskosten werden auf einen konkreten betrieblichen Anwendungsfall bezogen.

Praktische Vergleiche verwenden verfügbare Mistral- beziehungsweise Ministral-Modelle und EuroLLM. Weitere Kandidaten werden nach ihrer Eignung und den bereitgestellten Zugängen ergänzt. Modellgewichte, Trainingsdaten, Software und Dienste werden lizenzseitig getrennt betrachtet. Auf diese Weise entsteht eine Auswahlentscheidung, deren technische und wirtschaftliche Annahmen auch bei späteren Modellwechseln erneut geprüft werden können.

Zielgruppe

KI-Architektur, Entwicklung, technische Projektleitung, Data Science, IT-Beschaffung und technische Produktverantwortliche.

Voraussetzungen

Grundlagen generativer KI; grundlegende Kenntnisse von APIs und JSON. Für die automatisierten Übungen sind einfache Python-Kenntnisse hilfreich.

Inhaltsübersicht

• Anforderungen und Kandidaten
• Nutzungsrechte und Bereitstellung
• Reproduzierbare Testdaten
• Qualität und technische Messungen
• Auswertung und Unsicherheit
• Freigabe und erneute Bewertung

Seminarinhalte

Anforderungen und Kandidaten

• Aufgaben, Sprachen, Kontextlänge, Datenklassen und Antwortformate in messbare Anforderungen überführen.
• Modellherkunft und Anbieterrolle getrennt prüfen, auch wenn ein europäischer Dienst Modelle anderer Herkunft anbietet.
• Verfügbarkeit, Lebenszyklus und Integrationsfähigkeit als Ausschluss- und Auswahlkriterien festlegen.

Nutzungsrechte und Bereitstellung

• Rechte an Gewichten, Code, Datensätzen und Zusatzkomponenten anhand konkreter Lizenztexte unterscheiden.
• Kommerzielle Nutzung, Anpassung, Weitergabe und Namens- beziehungsweise Hinweispflichten als Prüffelder erfassen.
• Einschränkende Modelllizenzen und Plattformverträge in der Auswahlmatrix kenntlich machen.

Reproduzierbare Testdaten

• Repräsentative deutschsprachige und mehrsprachige Aufgaben mit erwartbaren Bewertungskriterien erstellen.
• Trainings-, Entwicklungs- und unabhängige Testdaten trennen und Dubletten erkennen.
• Grenzfälle, fehlende Informationen und bewusst nicht beantwortbare Fragen einbeziehen.

Qualität und technische Messungen

• Fachliche Richtigkeit, Befolgung von Anweisungen und Gültigkeit strukturierter Ausgaben bewerten.
• Latenz bis zum ersten Token, Gesamtlaufzeit, Durchsatz und Fehlerraten unter dokumentierter Last messen.
• Kontextgröße, Parallelität und Quantisierung als Einflüsse auf Speicherbedarf und Qualität untersuchen.

Auswertung und Unsicherheit

• Manuelle Bewertung und automatische Prüfschritte sinnvoll kombinieren.
• Verzerrungen automatischer Modellrichter und Schwankungen bei kleinen Stichproben berücksichtigen.
• Qualität, Ressourcen und betriebliche Einschränkungen gewichten, ohne Scheingenauigkeit zu erzeugen.

Freigabe und erneute Bewertung

• Akzeptanzschwellen und Ausschlusskriterien vor der endgültigen Auswahl festhalten.
• Auswahlentscheidung, Konfiguration und offene Nachweise in einem Modellsteckbrief dokumentieren.
• Änderungen an Version, Prompt oder Laufzeitumgebung mit einer reproduzierbaren Vergleichsprüfung begleiten.

Praxisübungen

1. Einen Testsatz für mehrsprachige Dokumentenfragen aufbauen und Bewertungskriterien vor dem Modellvergleich festlegen.
2. Zwei vorbereitete Modellendpunkte unter möglichst gleichen Bedingungen ausführen und Abweichungen untersuchen.
3. Eine Lizenz- und Betriebsmatrix ausfüllen und Ausschlusskriterien von gewichteten Qualitätsmerkmalen trennen.
4. Eine begründete Auswahl mit mindestens einem Grenzfall und einer dokumentierten Unsicherheit vorstellen.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung: vorbereitete lokale oder europäisch betriebene Modellendpunkte, Python-Arbeitsplatz und freigegebene Testdaten. Für jeden Modellkandidaten müssen die erforderlichen Nutzungsrechte und Zugänge vorliegen.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.