Seminar KI-gestützte Entwicklung und sichere LLM-Anwendungen

Seminarbeschreibung

KI-Assistenten können Code schneller erzeugen, übernehmen jedoch keine verlässliche Sicherheitsprüfung. Gleichzeitig erhalten LLM-Anwendungen häufig Zugriff auf Dokumente und Werkzeuge, deren Rechte unabhängig vom Modell kontrolliert werden müssen. Das Seminar verbindet diese beiden Perspektiven anhand eines überschaubaren Entwicklungsprojekts und einer vorbereiteten LLM-Anwendung.

Zunächst werden vorgeschlagener Code, verwendete Abhängigkeiten und ausgelöste Entwicklungsaktionen überprüft. Anschließend werden Datenflüsse einer Anwendung mit Dokumentensuche und Werkzeugaufrufen analysiert. Die Übungen zeigen, wie Berechtigungen außerhalb des Modells durchgesetzt und sicherheitsrelevante Aktionen begrenzt werden. Modelltraining und mathematische Grundlagen neuronaler Netze gehören nicht zum Umfang.

Inhalte im Überblick

• KI-Werkzeuge im Entwicklungsprozess
• KI-generierten Code systematisch überprüfen
• Vertrauensgrenzen einer LLM-Anwendung
• RAG, Datenzugriffe und sichere Ausgabe
• Werkzeuge, Aktionen und Ressourcen
• Sicherheitstests und nachvollziehbarer Betrieb

Zielgruppe

Entwickler, Softwarearchitekten, Security Champions, Teams mit KI-Coding-Assistenten und Verantwortliche für LLM-Anwendungsintegration.

Voraussetzungen

Erfahrung mit Anwendungsentwicklung, Git, API-Nutzung und automatisierten Tests. Grundkenntnisse von LLM-Anwendungen und sicherer Softwareentwicklung; ein vorhandenes Übungsprojekt wird vorausgesetzt.

Seminarinhalte

KI-Werkzeuge im Entwicklungsprozess

• Zulässige Daten, Repository-Zugriffe und externe Übermittlung bei Entwicklungsassistenten festlegen.
• Änderungsvorschläge, Terminalaktionen und neue Abhängigkeiten vor ihrer Übernahme prüfen.
• Nachvollziehbare Reviews und eigenständige Tests auch für automatisch erzeugten Code beibehalten.

KI-generierten Code systematisch überprüfen

• Fehlerhafte Berechtigungsprüfungen, unsichere Datenverarbeitung und erfundene Paketnamen erkennen.
• Unabhängige Sicherheitstests formulieren, bevor vorgeschlagene Korrekturen akzeptiert werden.
• Code-, Secret- und Abhängigkeitsprüfungen mit manueller Plausibilitätskontrolle verbinden.

Vertrauensgrenzen einer LLM-Anwendung

• Eingaben, Systemanweisungen, Dokumente, Modellantworten und Werkzeugausgaben getrennt bewerten.
• Direkte und indirekte Prompt Injection anhand vorbereiteter Testfälle untersuchen.
• Systemprompts und Filter als begrenzte Schutzmaßnahmen einordnen; verbindliche Kontrollen außerhalb des Modells platzieren.

RAG, Datenzugriffe und sichere Ausgabe

• Dokumentberechtigungen bereits beim Abruf anhand der Identität und des Mandanten prüfen.
• Unzulässige Datenweitergabe über Suchergebnisse, Antworttexte und Protokolle verhindern.
• Modellausgaben als nicht vertrauenswürdige Daten validieren, kodieren und vor Weiterverarbeitung prüfen.

Werkzeuge, Aktionen und Ressourcen

• Werkzeugaufrufe über erlaubte Funktionen, feste Schemas und minimale Rechte begrenzen.
• Folgenreiche Aktionen durch anwendungsseitige Regeln und geeignete Freigaben absichern.
• Aufrufzahlen, Laufzeiten, Kosten und Zugriff auf ausgehende Verbindungen beschränken.

Sicherheitstests und nachvollziehbarer Betrieb

• Wiederholbare Testfälle für Datenabfluss, unerlaubte Aktionen und fehlerhafte Modellantworten aufbauen.
• Nicht deterministische Ausgaben bei Auswertung und Regression berücksichtigen.
• Testbefunde dokumentieren und Änderungen an Prompts, Modellen und Werkzeugrechten erneut bewerten.

Praxisübungen

1. Einen vorbereiteten KI-Codevorschlag mit bekannten Fehlern prüfen und unabhängige Sicherheitstests ergänzen.
2. Berechtigungen und Datenflüsse der LLM-Übungsanwendung erfassen.
3. Präparierte Labordokumente einsetzen und unerwünschte Anweisungen in abgerufenen Inhalten beobachten.
4. Dokumentfilterung, Ausgabebehandlung und Werkzeugrechte außerhalb des Modells nachschärfen.
5. Die Testfälle wiederholen und verbleibende Grenzen der Schutzmaßnahmen beschreiben.

Schulungsumgebung

Vorbereitete LLM-Anwendung mit Dokumentensuche und begrenzten Testwerkzeugen, freigegebener Modellzugang oder lokales Modell, IDE und Git. Die Laborfälle verwenden synthetische Dokumente und Konten; Modellzugang und eventuelle Nutzungskosten werden vorab abgestimmt.

Seminarauswahl

Zur Übersicht und zu den empfohlenen Lernwegen