Seminar OmniLab Android Test Station (ATS) – CTS mit ATS: Kompatibilitätsprüfung und Optimierung

CTS-Läufe sind umfangreich, ressourcenintensiv und nur dann belastbar, wenn Geräte, Host, Testpaket und Wiederholungsstrategie zusammenpassen. Das Seminar führt durch die Planung, Ausführung, Aufteilung und Auswertung von Kompatibilitätsprüfungen mit ausgewählten Modulen und vollständigen Testläufen.

Inhaltsverzeichnis

• Lernziele
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• CTS im Kompatibilitätsprozess
• Host- und Gerätevorbereitung
• CTS-Testdefinition und Ressourcen
• Geräteauswahl und Sharding
• Testlauf und Überwachung
• Wiederholung und Eingrenzung
• Ergebnisbewertung und Nachweisführung
• Prüfzyklen optimieren
• Praxisübungen
• Methodik

Lernziele

• CTS-Zweck, Versionsbezug und Prüfumfang im Android-Kompatibilitätsprozess einordnen.
• Host, Geräte, Netzwerk und Testpakete reproduzierbar vorbereiten.
• CTS-Läufe in ATS konfigurieren, auf Geräte verteilen und überwachen.
• Wiederholungen und Modulprüfungen gezielt statt wahllos einsetzen.
• Ergebnisse analysieren und Optimierungen für Entwicklungs- und Freigabezyklen ableiten.

Zielgruppe

Android-Plattformentwicklung, Gerätehersteller, Test Engineering, Qualitätssicherung, Release-Engineering und Betreiber von Kompatibilitätslaboren.

Voraussetzungen

ATS-Grundkenntnisse, sicherer Umgang mit Android-Geräten und ADB sowie Grundwissen zu Android-Builds und Kompatibilität. Geeignete Testgeräte und CTS-Ressourcen werden für Übungen benötigt.

Seminarinhalte

CTS im Kompatibilitätsprozess

1. Schritt 1: Compatibility Definition, CTS-Testpaket und gerätespezifische Freigabe als zusammenhängenden Prozess einordnen.
2. Schritt 2: Android-Version, Architektur und CTS-Paket eindeutig aufeinander abstimmen.
3. Schritt 3: Entwicklungsprüfungen, Vorabnahmen und formale Freigabeläufe mit unterschiedlichen Zielsetzungen planen.

Host- und Gerätevorbereitung

1. Schritt 1: Hostressourcen, Speicher, USB-Infrastruktur, Netzwerk und Zeitplanung für den erwarteten Laufumfang prüfen.
2. Schritt 2: Gerätebuild, Entwickleroptionen, ADB-Autorisierung, Stromversorgung und erforderliche Einstellungen kontrollieren.
3. Schritt 3: Einen dokumentierten Ausgangszustand herstellen, damit Wiederholungen vergleichbar bleiben.

CTS-Testdefinition und Ressourcen

1. Schritt 1: Die passende CTS-Testdefinition auswählen und Testpaket sowie zusätzliche Ressourcen zuordnen.
2. Schritt 2: Startkommando, Modulfilter und wiederverwendbare Parameter nachvollziehbar festlegen.
3. Schritt 3: Ressourcenbenennung und Versionskennzeichnung so gestalten, dass Verwechslungen ausgeschlossen werden.

Geräteauswahl und Sharding

1. Schritt 1: Geräte nach Seriennummer oder Eigenschaften auswählen und Verfügbarkeit vor dem Start bestätigen.
2. Schritt 2: Shard-Anzahl an die Zahl geeigneter Geräte und die Testunterstützung anpassen.
3. Schritt 3: Auslastung, Laufzeit und Vergleichbarkeit bei unterschiedlicher Geräteanzahl bewerten.

Testlauf und Überwachung

1. Schritt 1: Den Lauf starten und Ressourcenabruf, Warteschlange, Gerätezuweisung und Modulfortschritt getrennt beobachten.
2. Schritt 2: Abbrüche nur nach dokumentierter Ursache durchführen und den Geräteausgangszustand anschließend prüfen.
3. Schritt 3: Zwischenergebnisse und Protokolle für lange Läufe regelmäßig kontrollieren.

Wiederholung und Eingrenzung

1. Schritt 1: Fehlgeschlagene Module nach Umgebung, Gerät, Test oder Implementierung klassifizieren.
2. Schritt 2: Gezielte Modulwiederholungen und CTS-Retry-Läufe mit dem ursprünglichen Kontext ausführen.
3. Schritt 3: Flüchtige Fehler von reproduzierbaren Abweichungen durch kontrollierte Wiederholungen trennen.

Ergebnisbewertung und Nachweisführung

1. Schritt 1: Gesamtergebnis, Modulstatus, Fehlerberichte und Ergebnisdateien vollständig sichern.
2. Schritt 2: Abweichungen mit Buildkennung, Gerät, Testversion, Zeitpunkt und Reproduktionsschritten dokumentieren.
3. Schritt 3: Freigabeentscheidungen an definierte Kriterien statt an Einzelbeobachtungen binden.

Prüfzyklen optimieren

1. Schritt 1: Schnelle Modulsets für tägliche Entwicklungsrückmeldung und vollständige Läufe für Meilensteine trennen.
2. Schritt 2: Geräteanzahl, Sharding, Zeitplanung und strategische Modulwahl auf die verfügbare Laborzeit abstimmen.
3. Schritt 3: Kontinuierliche Läufe in Testplänen abbilden und Ergebnisse über Builds hinweg vergleichbar halten.

Praxisübungen

• Vorbereiten eines Geräts und Erstellen einer CTS-Startcheckliste.
• Konfigurieren und Ausführen eines ausgewählten CTS-Moduls auf mehreren Geräten.
• Durchführen eines gezielten Retry-Laufs und Vergleichen der Resultate.
• Erstellen einer Entscheidungsmatrix für tägliche, wöchentliche und Freigabeprüfungen.

Methodik

Die Inhalte werden an ausgewählten CTS-Modulen praktisch umgesetzt, damit Ergebnisse innerhalb der Seminarzeit vorliegen. Planung und Auswertung vollständiger Läufe werden anhand realitätsnaher Laborfälle erarbeitet.