Seminar OmniLab Android Test Station (ATS) – Testläufe, Ressourcen, Retries und Reruns

Ein erfolgreicher Testlauf entsteht aus einer konsistenten Kombination von Testdefinition, Befehl, Geräten, Aktionen und Ressourcen. Das Seminar behandelt die vollständige Konfiguration, überwachte Ausführung und gezielte Wiederholung, einschließlich früherer Resultate und abweichender Rerun-Konfigurationen.

Inhaltsverzeichnis

• Lernziele
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Test und Befehl auswählen
• Frühere Läufe als Kontext
• Geräte und Device Specs
• Geräteaktionen
• Testressourcen auswählen
• Dateimuster und lokale Ablage
• Rerun-Konfigurationen
• Start, Überwachung und Abbruch
• Praxisübungen
• Methodik

Lernziele

• Eine vollständige Testlaufkonfiguration systematisch aufbauen und prüfen.
• Geräte nach Seriennummer oder Eigenschaften auswählen und Sharding korrekt einsetzen.
• Ressourcen aus Buildkanälen und lokalen Speichern reproduzierbar zuordnen.
• Retries, vorherige Läufe und nachgelagerte Reruns fachlich sinnvoll konfigurieren.
• Status, Warteschlange, Abbruch und Wiederanlauf kontrolliert behandeln.

Zielgruppe

Test Engineering, Qualitätssicherung, Android-Plattformentwicklung, Laborbetrieb und Build-Engineering.

Voraussetzungen

Sichere Grundbedienung von ATS sowie Erfahrung mit Android-Testpaketen und Geräten. ADB-Grundkenntnisse sind erforderlich.

Seminarinhalte

Test und Befehl auswählen

1. Schritt 1: Die passende Testdefinition anhand von Suite, Version, Architektur und Zielsetzung auswählen.
2. Schritt 2: Standardbefehl, zusätzliche Parameter und Modulfilter nachvollziehbar ergänzen.
3. Schritt 3: Den getrennten Retry-Befehl auf gültige Optionen und den erwarteten Kontext prüfen.

Frühere Läufe als Kontext

1. Schritt 1: Lokale frühere Testläufe anhand der Laufkennung auswählen.
2. Schritt 2: Resultatdateien fremder Hosts als Remote-Kontext kontrolliert übernehmen.
3. Schritt 3: Version, Build, Testpaket und Gerätebezug vor einer Wiederholung auf Vergleichbarkeit prüfen.

Geräte und Device Specs

1. Schritt 1: Verfügbare Geräte auswählen und den Shard-Zähler auf die tatsächliche Auswahl abstimmen.
2. Schritt 2: Geräteanforderungen nach Produkt, Build, Variante oder Host als Device Specs formulieren.
3. Schritt 3: Warteschlangenverhalten bei noch nicht verfügbaren Geräten vor dem Start bewerten.

Geräteaktionen

1. Schritt 1: Notwendige Neustart-, Flash-, Installations- oder Vorbereitungsaktionen in die richtige Reihenfolge bringen.
2. Schritt 2: Ressourcen und Optionen jeder Aktion auf Vollständigkeit prüfen.
3. Schritt 3: Auswirkungen einer Aktion auf Retry- und Rerun-Läufe berücksichtigen.

Testressourcen auswählen

1. Schritt 1: Ressourcenfelder der Testdefinition vollständig erfassen und den passenden Buildkanal wählen.
2. Schritt 2: Dateinamen, Ordner und Auswahlkriterien so setzen, dass die gewünschte Version eindeutig getroffen wird.
3. Schritt 3: Die ausgewählte Datei vor dem Start anhand von Name, Datum, Größe und Kennzeichnung prüfen.

Dateimuster und lokale Ablage

1. Schritt 1: Dateimuster nur bei stabiler Benennung verwenden und die Auswahl des neuesten Treffers kontrollieren.
2. Schritt 2: Dateien in den lokalen ATS-Speicher übernehmen oder zusätzliche Hostverzeichnisse einbinden.
3. Schritt 3: Zugriffsrechte und spätere Reproduzierbarkeit der lokalen Ressourcen dokumentieren.

Rerun-Konfigurationen

1. Schritt 1: Einen nachgelagerten Lauf definieren, der Resultate des Primärlaufs übernimmt.
2. Schritt 2: Abweichende Geräte, Aktionen oder Ressourcen für die zweite Stufe gezielt festlegen.
3. Schritt 3: Abbruch- und Startbedingungen zwischen Primärlauf und Rerun eindeutig dokumentieren.

Start, Überwachung und Abbruch

1. Schritt 1: Die Gesamtkonfiguration mit einer festen Prüfliste freigeben und den Lauf starten.
2. Schritt 2: Pending, Queued, Running und Endzustände anhand der tatsächlichen Ursache unterscheiden.
3. Schritt 3: Abbruch, erneute Planung und Gerätefreigabe nach einem dokumentierten Verfahren durchführen.

Praxisübungen

• Konfigurieren eines Testlaufs mit Device Specs, Aktion und mehreren Ressourcen.
• Auswählen einer Ressource über ein Dateimuster und Kontrollieren des tatsächlichen Treffers.
• Durchführen eines Retry-Laufs aus einem vorherigen Resultat.
• Erstellen eines Reruns mit abweichendem Gerät und zusätzlicher Vorbereitung.

Methodik

Mehrere kurze Testläufe machen die Wirkung jeder Konfigurationsänderung sichtbar. Prüfchecklisten verhindern, dass Geräte-, Ressourcen- und Wiederholungsfehler miteinander vermischt werden.