Seminar Das U-Boot: Testautomatisierung mit Sandbox, pytest und CI

Einordnung

Das Seminar entwickelt eine mehrstufige Teststrategie für U-Boot. Sandbox, C-Unit-Tests, pytest-Konsole, Buildman, QEMU oder Simulation, reale Boards, Flash- und Reset-Hooks, Fehlerinduktion, Artefakte und CI-Freigaberegeln werden zu einer reproduzierbaren Qualitätssicherung verbunden.

Inhaltsübersicht

• Testpyramide festlegen
• Sandbox aufbauen
• C-Unit-Tests schreiben
• pytest-Konsole verwenden
• Hardware-Hooks integrieren
• Buildman und Buildmatrix einsetzen
• Fehlerinduktion und Robustheit testen
• CI und Freigaberegeln gestalten
• Praxisübungen
• Lernziele

Zielgruppe und Vorkenntnisse

Zielgruppe: BSP- und Embedded-C-Entwicklung, Testautomatisierung, Build und Release Engineering, Qualitätssicherung und technische Maintainer.
Vorkenntnisse: Gute U-Boot-, Linux-, Git- und Python-Grundkenntnisse; Erfahrung mit Cross-Build und serieller Konsole.

1. Testpyramide festlegen

Build-, Unit-, Sandbox-, Konsolen- und Hardwaretests erhalten klare Zuständigkeiten.

1. Schritt 1: Funktionen nach hostbasiert, emuliert und hardwareabhängig klassifizieren.
2. Schritt 2: Schnelle Pflichtprüfungen von längeren Freigabetests trennen.
3. Schritt 3: Abdeckung, Laufzeit und Fehlersignal je Stufe dokumentieren.

2. Sandbox aufbauen

U-Boot wird als Hostprozess für schnelle und debugbare Tests verwendet.

1. Schritt 1: Passende Sandbox-Defconfig bauen.
2. Schritt 2: Virtuelle Geräte und Testdaten konfigurieren.
3. Schritt 3: Testfall mit reproduzierbarem Startzustand ausführen.

3. C-Unit-Tests schreiben

Interne Funktionen und Driver-Model-Verhalten werden nah am Code geprüft.

1. Schritt 1: Testgruppe und Fixture für die Zielkomponente auswählen.
2. Schritt 2: Positive, Grenz- und Fehlerfälle formulieren.
3. Schritt 3: Test in den regulären Sandbox-Lauf integrieren.

4. pytest-Konsole verwenden

U-Boot wird über die reale Kommandozeile wie im Betrieb angesprochen.

1. Schritt 1: Board- und Umgebungsdaten für den Test bereitstellen.
2. Schritt 2: Kommandos ausführen und Ausgabe robust auswerten.
3. Schritt 3: Unerwarteten Reset, Timeout und Fehlermeldung eindeutig erkennen.

5. Hardware-Hooks integrieren

Flashen, Reset, Konsole und Freigabe werden für reale Boards automatisiert.

1. Schritt 1: Synchrones Flash-Hook mit Verifikation erstellen.
2. Schritt 2: Reset- oder Power-Cycle-Hook zuverlässig anbinden.
3. Schritt 3: Konsolenprozess und eindeutige Boardidentität bereitstellen.

6. Buildman und Buildmatrix einsetzen

Konfigurations- und Compilerregressionen werden vor Funktionstests erkannt.

1. Schritt 1: Boardmenge, Architekturen und Toolchains definieren.
2. Schritt 2: Warnungen und Größenänderungen erfassen.
3. Schritt 3: Fehler gegen verursachenden Commit oder Konfigurationswechsel eingrenzen.

7. Fehlerinduktion und Robustheit testen

Recovery- und Fehlerpfade werden bewusst ausgelöst statt nur den Erfolgsfall zu prüfen.

1. Schritt 1: Fehlendes Image, beschädigten Header und falsche Signatur simulieren.
2. Schritt 2: Netzwerk-, Speicher- und Resetfehler an definierten Punkten einbringen.
3. Schritt 3: Erwartete Rückgabe, Logmeldung und Wiederanlauf prüfen.

8. CI und Freigaberegeln gestalten

Testergebnisse, Artefakte und Grenzwerte werden für automatisierte Entscheidungen aufbereitet.

1. Schritt 1: Builds, Logs, Images und Testergebnisse versioniert ablegen.
2. Schritt 2: Pflicht-, Quarantäne- und Hardwaretests klar kennzeichnen.
3. Schritt 3: Freigabe bei Fehlern, Größen- oder Bootzeitregressionen blockieren.

Praxisübungen

• Sandbox-Build mit C-Unit-Test und Debuggerlauf.
• pytest-Test über U-Boot-Konsole mit positiver und negativer Variante.
• CI-Pipeline mit Buildman, Sandbox und einem simulierten Hardware-Hook.

Lernziele

• Eine mehrstufige U-Boot-Teststrategie entwerfen.
• Sandbox- und C-Unit-Tests implementieren.
• pytest für Konsolen- und Hardwaretests verwenden.
• Flash-, Reset- und Konsolen-Hooks zuverlässig integrieren.
• Build-, Funktions-, Größen- und Bootzeitregressionen in CI blockieren.