Seminarprofil
Eine plausible Antwort eines KI-Assistenten belegt noch keine korrekte MCP-Integration. Werkzeuge können falsche Parameter erhalten, Daten unvollständig liefern oder bei Wiederholung unerwartete Nebenwirkungen verursachen. Das Seminar entwickelt deshalb eine Teststruktur, die fachliche Funktionen, Protokollverhalten und modellgestützte Auswahlentscheidungen getrennt überprüfbar macht.
Die Übungen verwenden einen vorbereiteten Dienst mit absichtlich eingebauten Fehlerfällen. Mit einem Referenzclient lassen sich Schemas, Berechtigungen und Antwortverhalten unabhängig vom Sprachmodell untersuchen. Für die Bewertung ganzer Arbeitsabläufe werden feste Aufgaben, erwartete Werkzeugentscheidungen und nachvollziehbare Bewertungskriterien ergänzt.
Ein Schwerpunkt liegt auf Regressionen bei Änderungen an Server, SDK oder Host. Die Testfälle werden so aufgebaut, dass sie fachliche Verträge schützen und Änderungen tatsächlich erkennen. Eine vorhandene Testpipeline wird dafür erweitert; die grundlegende Einführung einer Programmiersprache oder eines vollständigen CI-Systems gehört nicht zum Umfang.
Inhalte im Überblick
- Teststrategie und prüfbare Verträge
- Schema- und Protokolltests
- Fehlerfälle und Robustheit
- Berechtigungs- und Isolationstests
- Modellgestützte Abläufe bewerten
- Fehlersuche und Regression
Seminarinhalte
1. Teststrategie und prüfbare Verträge
- Fachlogik, MCP-Schnittstelle, Clientintegration und Modellverhalten in getrennte Prüfbereiche gliedern.
- Sollwerte, erlaubte Nebenwirkungen und fachliche Invarianten für wichtige Werkzeuge definieren.
- Kleine Testdatenbestände mit klaren Rollen und reproduzierbarem Ausgangszustand aufbauen.
2. Schema- und Protokolltests
- Pflichtfelder, Typgrenzen, Antwortstrukturen und definierte Fehler überprüfen.
- Transportvarianten und tatsächlich zugesagte Protokollrevisionen gezielt kombinieren.
- Optionale Funktionen nur bei erkannter Unterstützung anfordern und deren Rückfallverhalten testen.
3. Fehlerfälle und Robustheit
- Zeitüberschreitungen, Abbrüche und ausgefallene Fachsysteme reproduzierbar auslösen.
- Wiederholte und parallele Anfragen auf fachliche Korrektheit untersuchen.
- Fehler ohne unnötige Preisgabe von internen Daten oder Zugangsinformationen zurückmelden.
4. Berechtigungs- und Isolationstests
- Erlaubte und verbotene Aktionen für mehrere Benutzerrollen vergleichen.
- Mandantenübergreifende Zugriffe und Zugriff auf fremde Objekte als Negativfälle prüfen.
- Entzug von Berechtigungen sowie veränderte Werkzeugkataloge im Testbestand berücksichtigen.
5. Modellgestützte Abläufe bewerten
- Werkzeugauswahl, Parameterqualität und Umgang mit fehlerhaften Ergebnissen anhand fester Aufgaben beurteilen.
- Wiederholte Durchläufe und Schwankungen dokumentieren, ohne Modellantworten als deterministisch vorauszusetzen.
- Manipulierte Inhalte und nicht erforderliche Folgeaktionen als gesonderte Bewertungskategorie behandeln.
6. Fehlersuche und Regression
- Beobachtungen zwischen Host, Transport, Server und Backend korrelieren.
- Fehler auf einen kleinen reproduzierbaren Fall reduzieren und den Schutztest vor einer Korrektur formulieren.
- Eine bestehende CI-Pipeline um fachlich aussagekräftige Prüfungen und Freigabekriterien erweitern.
Praktische Übungen
- Für drei Werkzeuge fachliche Verträge und dazu passende Testdaten definieren.
- Ungültige Eingaben, unerwartete Ausgaben und unzulässige Rollen automatisiert prüfen.
- Einen Timeout und eine doppelte Schreibanfrage auslösen und die fachlichen Auswirkungen feststellen.
- Einen modellgestützten Arbeitsablauf mehrfach mit festen Aufgaben ausführen und die Unterschiede bewerten.
- Einen gefundenen Fehler mit einem Regressionstest absichern und den Testlauf in eine vorhandene Pipeline aufnehmen.
Schulungsumgebung
Benötigt werden ein vorbereiteter MCP-Dienst mit Fehlerfällen, ein unabhängiger Testclient und eine Testumgebung in Python oder TypeScript. Für Ablaufbewertungen wird ein abgestimmter Modellzugang oder eine vorab definierte Simulation verwendet; deren Aussagegrenzen werden dokumentiert.
Fachbereichsleiter / Leiter der Trainer / Ihre Ansprechpartner
-
Lucas Beich
Telefon: + 49 (221) 74740055
E-Mail: lucas.beich@seminar-experts.de -
Paul Goldschmidt
Telefon: + 49 (221) 74740055
E-Mail: paul.goldschmidt@seminar-experts.de
| Dauer: | 2 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weitere Tage 09:00 Uhr |
|---|---|
| Preis: |
Öffentlich oder Live Stream: € 1.198 zzgl. MwSt. Inhaus: € 3.400 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | QA Engineers, Testautomatisierer, Entwickler, Integrationsverantwortliche und technische Anwendungsbetreuer |
| Voraussetzungen: | MCP-Grundlagen und Erfahrung mit einer lauffähigen Integration; Lesen und Anpassen von Tests in Python oder TypeScript; Grundkenntnisse in HTTP, JSON und Versionsverwaltung |
| Standorte: | Stream Live, Inhaus/Firmenseminar, Berlin, Bremen, Darmstadt, Dresden, Erfurt, Essen, Flensburg, Frankfurt, Freiburg, Friedrichshafen, Hamburg, Hamm, Hannover, Jena, Kassel, Köln, Konstanz, Leipzig, Luxemburg, Magdeburg, Mainz, München, Münster, Nürnberg, Paderborn, Potsdam, Regensburg, Rostock, Stuttgart, Trier, Ulm, Wuppertal, Würzburg |
| Methoden: | Vortrag, Demonstrationen, praktische Übungen am System |
| Seminararten: | Öffentlich, Webinar, Inhaus, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter + 49 (221) 74740055 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
