Seminar Kompaktseminar: KI-generierten Code systematisch testen und prüfen

Seminarbeschreibung

Das Kompaktseminar vermittelt einen vollständigen Überblick über den Prüfweg einer KI-generierten Änderung. Die praktische Arbeit konzentriert sich auf eine kleine Anwendung und wenige aussagekräftige Fehlerfälle. Anforderungen, Code, Tests und Freigabebedingungen werden gemeinsam betrachtet, damit eine erfolgreiche Einzelprüfung nicht mit einer vollständigen Absicherung verwechselt wird.

Im eigenen Praxisteil werden unabhängige Sollwerte, ein strukturierter Review sowie Unit- und API-Tests erarbeitet. Browserprüfungen, eigenschaftsbasierte Tests, Mutation, Lasttests und Schutz der Prüfpipeline werden an vorbereiteten Beispielen demonstriert und ausgewertet. Die Veranstaltung bietet damit eine Orientierung über alle Fachthemen; die technische Tiefe der einzelnen Fach- und Intensivseminare wird nicht vorausgesetzt oder zugesagt.

Lernziele

• Eine kleine KI-generierte Änderung mit einer konkreten Prüfstrategie versehen.
• Unabhängige Erwartungen und aussagekräftige Unit- und API-Tests entwickeln.
• Befunde aus Review, Sicherheitsprüfung und vorbereiteten Zusatztests einordnen.
• Erforderliche Vertiefungen und nachvollziehbare technische Freigabekriterien bestimmen.

Inhaltsübersicht

• Anforderungen, Risiken und Testorakel
• Review und statische Analyse
• Unit- und API-Tests in der Praxis
• Vertiefende Testverfahren einordnen
• Sicherheit, Abhängigkeiten und Prüfpipeline
• Technische Abnahme im Fallbeispiel

Seminarinhalte

Anforderungen, Risiken und Testorakel

Typische Fehlerbilder werden einer begrenzten Änderung zugeordnet. Sollwerte werden aus der Fachbeschreibung ermittelt. Der Prüfumfang wird anhand von Risiko und betroffenen Schnittstellen festgelegt.

• Unklare Geschäftsregeln sichtbar machen.
• Grenzfälle und unerlaubte Zustände berücksichtigen.
• Code und generierte Tests unabhängig bewerten.

Review und statische Analyse

Ein vorbereiteter Diff wird systematisch gelesen. Typprüfung und Lintergebnisse ergänzen die fachliche Prüfung. Ein bestätigter Befund wird mit einem kleinen reproduzierbaren Beispiel dokumentiert.

• Unzutreffende Paket- und API-Annahmen erkennen.
• Fehlerbehandlung und relevante Datenflüsse verfolgen.
• Änderungen an bestehenden Tests mitprüfen.

Unit- und API-Tests in der Praxis

Ausgewählte Fachregeln werden in Tests umgesetzt. Ein API-Fehlerfall ergänzt die isolierte Geschäftslogik. Kontrollierte Testdaten und geeignete Assertions bilden eine kleine, nachvollziehbare Regressionstestsuite.

• Positive und negative Erwartungen implementieren.
• Rückgabe und relevante Seiteneffekte prüfen.
• Korrektur durch vorher scheiternden Test absichern.

Vertiefende Testverfahren einordnen

Vorbereitete Beispiele zeigen einen Browserablauf, einen Eigenschaftstest und einen Mutationsbefund. Eine kleine Lastmessung ergänzt die funktionale Betrachtung. Im Vordergrund stehen Aussagekraft und passende Einsatzfälle.

• Instabile Browserprüfungen und ungeeignete Erwartungen erkennen.
• Gegenbeispiele und überlebende Mutanten kritisch bewerten.
• Lastziele und Messgrenzen benennen.

Sicherheit, Abhängigkeiten und Prüfpipeline

Ein Sicherheitsbefund und ein Komponentenbericht werden nachvollzogen. Anschließend wird eine vorbereitete Pipeline auf abgeschwächte Kontrollen geprüft. Fehlende Nachweise erhalten einen klaren Status.

• Objektberechtigungen und Eingabeprüfung beispielhaft untersuchen.
• Paketherkunft und betroffene Versionen berücksichtigen.
• Deaktivierte Tests und unterdrückte Rückgabecodes erkennen.

Technische Abnahme im Fallbeispiel

Prüfergebnisse werden mit dem untersuchten Änderungsstand verknüpft. Der Freigabeentscheid benennt fehlende Prüfungen und erforderliche Nacharbeit. Daraus werden passende nächste Vertiefungsschritte abgeleitet.

• Verantwortliche und Mindestnachweise festlegen.
• Eine befristete Ausnahme sachlich begründen.
• Gezielte nächste Fachseminare nach Aufgabe auswählen.

Praxisübungen

1. Eine kleine generierte Änderung anhand der Fachbeschreibung beurteilen.
2. Unabhängige Erwartungen festlegen und den Code strukturiert reviewen.
3. Unit- und API-Regressionstests implementieren und den Fehler beheben.
4. Vorbereitete Browser-, Eigenschafts-, Mutations-, Sicherheits- und Lastbefunde auswerten.
5. Prüfpipeline und Fallakte bewerten und einen technischen Abnahmeentscheid dokumentieren.

Arbeitsweise und Schulungsumgebung

Vorbereiteter TypeScript-Praxisfall mit Vitest und HTTP-Testclient. Playwright, fast-check, StrykerJS, Semgrep, Trivy und k6 werden anhand eng begrenzter Demonstrationen oder vorbereiteter Befunde eingeordnet.