Seminar Sicherheit und Code-Review bei KI-generiertem Code

Funktionierender Code kann dennoch unsichere Zugriffsregeln oder unzulässige Datenflüsse enthalten. Das Seminar entwickelt deshalb eine gezielte Prüfung KI-generierter Änderungen. Fachliche Anforderungen und ein kleines Bedrohungsmodell bestimmen, welche Eingaben, Rollen und Datenwege besonders untersucht werden. Automatisierte Prüfwerkzeuge unterstützen das Review, während ihre Ergebnisse anhand des konkreten Codes bewertet werden.

Zusätzlich werden Risiken betrachtet, die durch den Entwicklungsassistenten selbst entstehen: unpassende Paketvorschläge, sensible Inhalte im Kontext und zu weit reichende Werkzeugrechte. Alle praktischen Untersuchungen finden in einem isolierten Übungsprojekt mit synthetischen Daten statt. Der Schwerpunkt liegt auf Erkennen, Beheben und Nachprüfen sicherheitsrelevanter Fehler.

Seminarinhalte

Prüfauftrag und Bedrohungsmodell

• Schutzbedürftige Daten, Benutzerrollen und Vertrauensgrenzen des Übungsfeatures erfassen.
• Aus fachlichen Regeln konkrete Sicherheitsanforderungen und negative Prüffälle ableiten.
• Funktionsfähigkeit, Codequalität und Sicherheitsbewertung als unterschiedliche Prüffragen behandeln.

Eingaben und Datenzugriff

• Generierte Datenbankzugriffe, Pfadverarbeitung und Ausgabeerzeugung auf unsichere Annahmen prüfen.
• Serverseitige Validierung, parametrisierte Abfragen und passende Ausgabebehandlung nachvollziehen.
• Einen vorbereiteten Fehler korrigieren und die Wirkung mit positiven sowie negativen Tests prüfen.

Authentisierung und Berechtigungen

• Identitätsfeststellung und Berechtigung für eine konkrete Aktion getrennt prüfen.
• Objektbezogene Zugriffe, Rollenwechsel und direkte API-Aufrufe in einem isolierten Testfall untersuchen.
• Unzureichende serverseitige Prüfungen erkennen und Tests für verbotene Zugriffe ergänzen.

Abhängigkeiten und sensible Informationen

• Vorgeschlagene Pakete vor Übernahme auf Existenz, Herkunft und Eignung prüfen.
• Abhängigkeits- und Lizenzinformationen für die technische Freigabe aufbereiten; rechtliche Einzelfragen zur Klärung kennzeichnen.
• Zugangsdaten, personenbezogene Informationen und vertraulichen Quelltext in Kontexten und Protokollen begrenzen.

Angriffsflächen von Coding-Agenten

• Manipulierte Kommentare und Werkzeugausgaben als mögliche unerwünschte Anweisungen erkennen.
• Schreibrechte, Netzverbindungen und ausführbare Werkzeuge auf die konkrete Aufgabe begrenzen.
• Die Grenzen natürlicher Sprachanweisungen anhand eines abgeschlossenen Testfalls gegenüber technischen Kontrollen einordnen.

Review und Nachprüfung

• Automatische Befunde mit dem tatsächlichen Datenfluss und dem fachlichen Risiko abgleichen.
• Einen überschaubaren Diff mit Sicherheitskriterien und unabhängigen Tests prüfen.
• Korrekturen nachtesten und klar dokumentieren, welche Aspekte geprüft wurden und welche offenbleiben.

Praxisaufgabe

1. Für eine vorbereitete Codeänderung Rollen, Daten und erlaubte Aktionen bestimmen.
2. Den Diff mit gezielten Fragen zu Eingaben, Datenzugriff und Berechtigungen untersuchen.
3. Zwei vorbereitete Schwachstellen mit KI-Unterstützung korrigieren und die Vorschläge fachlich überprüfen.
4. Negative Tests ergänzen, mit denen die ursprünglichen Fehler zuverlässig erkannt werden.
5. Einen manipulierten Kontext in der isolierten Agentenumgebung untersuchen und technische Grenzen nachprüfen.
6. Das korrigierte Änderungspaket anhand der festgelegten Reviewkriterien bewerten.

Zielgruppe

Softwareentwickler, Code-Reviewer, AppSec Engineers, technische Architekten und Verantwortliche für sichere Entwicklungsprozesse.

Voraussetzungen

Sichere Programmierkenntnisse, Git, HTTP und grundlegende Websicherheit; Erfahrung mit einem KI-Coding-Assistenten ist sinnvoll.

Schulungsumgebung

Isolierte Übungsanwendung mit vorbereiteten Schwachstellen, synthetischen Daten, Testkonten und freigegebenem Coding-Assistenten. Statische Analyse und Abhängigkeitsprüfung sind vorbereitet. Der Kunde stellt die Schulungsumgebung.