Seminar Dynamische Tests, Parameter, Repeat und Retry in Mobly

Seminarprofil

Dynamische Testgenerierung reduziert Duplikate und macht Testmatrizen explizit. Gleichzeitig steigen Anforderungen an Namen, Reproduzierbarkeit, Auswahl und Reporting.

Didaktische Einordnung: Zwei Tage ermöglichen den Aufbau sauberer Parameter- und Generierungsmuster sowie die anschließende Anwendung auf Wiederholung, Retry, Testauswahl und Ergebnisdiagnose.

Lernziele

• TestParams und DefaultParams strukturiert verwenden
• Testfälle in pre_run deterministisch generieren
• Eindeutige Namen für datengetriebene Fälle erzeugen
• Repeat und Retry nach fachlichen Regeln einsetzen
• Generierte Fälle gezielt auswählen und nachvollziehbar reporten

Zielgruppe

Mobly-Testentwickler und Testarchitekten mit wachsenden Parameter- oder Gerätematrizen.

Voraussetzungen

Python-Kenntnisse, Erfahrung mit BaseTestClass und YAML-Testbed-Konfigurationen.

Inhaltsübersicht

1. Tag 1 – Parameterquellen strukturieren
2. Tag 1 – Dynamische Testfälle in pre_run erzeugen
3. Tag 1 – Namen und Auswahlregeln gestalten
4. Tag 2 – Repeat und Retry fachlich unterscheiden
5. Tag 2 – Datenmatrizen kontrolliert erweitern
6. Tag 2 – Determinismus und Reporting sichern

1. Tag 1 – Parameterquellen strukturieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Globale, testbedbezogene und testspezifische Parameter unterscheiden.
2. Schritt 2: YAML-Anker und DefaultParams für gemeinsame Werte einsetzen.
3. Schritt 3: Pflichtparameter früh prüfen und mit klarer Meldung abbrechen.

2. Tag 1 – Dynamische Testfälle in pre_run erzeugen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Parameterkombinationen vor der endgültigen Testfallliste aufbauen.
2. Schritt 2: Testlogik von Generierungslogik und Namensbildung trennen.
3. Schritt 3: generate_tests mit stabiler Reihenfolge und reproduzierbaren Argumenten verwenden.

3. Tag 1 – Namen und Auswahlregeln gestalten

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Parameterwerte in kurze, eindeutige Testnamen überführen.
2. Schritt 2: Ungültige Zeichen und kollidierende Namen vermeiden.
3. Schritt 3: Einzelne generierte Fälle über Auswahloptionen oder Muster starten.

4. Tag 2 – Repeat und Retry fachlich unterscheiden

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Repeat für Stabilitätsmessung und Retry für begrenzte Wiederholungsversuche abgrenzen.
2. Schritt 2: Maximalzahlen und Abbruchkriterien je Fehlerklasse definieren.
3. Schritt 3: Jeden Versuch im Ergebnisdatensatz nachvollziehbar halten.

5. Tag 2 – Datenmatrizen kontrolliert erweitern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Geräte, Versionen, Modi und Nutzdaten zu sinnvollen Kombinationen verbinden.
2. Schritt 2: Unzulässige oder redundante Kombinationen vor der Generierung filtern.
3. Schritt 3: Laufzeit und Testwert einer Matrix gegeneinander abwägen.

6. Tag 2 – Determinismus und Reporting sichern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Zufallswerte mit Seed und vollständiger Parameterausgabe kontrollieren.
2. Schritt 2: Fehlerfälle mit ihrer exakten Parameterkombination verknüpfen.
3. Schritt 3: Eine fehlerhafte Kombination gezielt lokal reproduzieren.

Praxisprojekt

1. Schritt 1: Eine YAML-Konfiguration mit gemeinsamen und testbedspezifischen Parametern erstellen.
2. Schritt 2: Aus einer Datenmatrix dynamische Testfälle generieren.
3. Schritt 3: Einzelne Fälle anhand ihres Namens auswählen.
4. Schritt 4: Repeat und begrenztes Retry mit eindeutigen Ergebnisrecords ausführen.