Seminar Cuttlefish – Testautomatisierung mit CTS und Trade Federation

Android-Compliance- und Regressionstests benötigen konsistente Geräteartefakte, stabile Instanzen, kontrollierte Testpläne und belastbare Ergebnisanalyse. Das Seminar verbindet Cuttlefish mit CTS und Trade Federation zu einer parallelen, reproduzierbaren und diagnostizierbaren Testumgebung.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik
• Einordnung

Zielsetzung

• Cuttlefish- und CTS-Artefakte konsistent vorbereiten
• Trade Federation, Testpläne, Module und Gerätezuteilung sicher bedienen
• Tests parallelisieren, wiederholen und nach Fehlerklassen auswerten
• Ergebnisse, Logs, Bugreports und Infrastrukturzustände für Freigaben aufbereiten

Zielgruppe

Android-Testentwicklung, Qualitätssicherung, AOSP-Entwicklung, Build Engineering, Release Engineering und Testinfrastruktur.

Voraussetzungen

Gute Linux- und ADB-Kenntnisse, Cuttlefish-Grundlagen und grundlegendes Verständnis von Android-Testframeworks.

Seminarinhalte

1. Schritt 1: Testziel und Artefaktmatrix definieren

   Android-Build, Cuttlefish-Hostpaket, CTS-Paket, Architektur, Buildtyp und Testumfang werden als zusammengehörige Matrix dokumentiert. Mischstände werden ausgeschlossen.

2. Schritt 2: Geräteumgebung vorbereiten

   Eine oder mehrere Instanzen werden mit eindeutigen Seriennummern, Ressourcenprofilen und sauberem Ausgangszustand gestartet. Bereitschaft und grundlegende Geräteeigenschaften werden geprüft.

3. Schritt 3: Trade Federation verstehen

   Konfigurationen, Gerätezuordnung, Testobjekte, Reporter, Zeitouts und Resultate werden in ihrem Ablauf nachvollzogen. Der Lebenszyklus eines Testlaufs wird sichtbar gemacht.

4. Schritt 4: CTS-Pläne und Module ausführen

   Voll- und Teilpläne, einzelne Module, Klassen oder Tests werden gezielt gestartet. Ein- und Ausschlüsse werden dokumentiert und reproduzierbar gemacht.

5. Schritt 5: Parallelisierung und Sharding steuern

   Mehrere Instanzen werden für geteilte Testlast verwendet. Ressourcen, Laufzeit, Serialisierung und mögliche Wechselwirkungen werden gemessen.

6. Schritt 6: Fehler wiederholen und eingrenzen

   Retry, Rerun, gezielte Modulwiederholung und saubere Gerätevorbereitung werden genutzt, um Produktfehler, Flakes und Infrastrukturfehler zu trennen.

7. Schritt 7: Resultate analysieren

   Ergebnisdateien, Konsolenausgaben, Logs, Bugreports und Gerätekonfiguration werden korreliert. Abweichungen erhalten eine nachvollziehbare Klassifizierung.

8. Schritt 8: Eigene Tests und CI integrieren

   Kundenspezifische Trade-Federation-nahe Tests, Pipelineparameter, Artefaktsammlung, Cleanup und Freigaberegeln werden in einen automatisierten Ablauf überführt.

Praxisübungen

• Einen CTS-Teilplan auf einer sauberen Cuttlefish-Instanz ausführen und vollständig dokumentieren
• Eine Testsuite auf mehrere Geräte verteilen und Laufzeit sowie Ressourcennutzung vergleichen
• Einen fehlgeschlagenen Test wiederholen und anhand von Resultat, Log und Bugreport einer Fehlerklasse zuordnen

Methodik

Die vier Tage bauen von Geräte- und Artefaktkonsistenz über Trade Federation und CTS bis zu Parallelisierung, Fehlerklassifizierung und CI-Integration auf. Jeder Lauf ist wiederholbar und beweissicher.

Einordnung

Vier Tage sind erforderlich, weil CTS-Umfang, Trade-Federation-Mechanik, parallele Ausführung, Retry-Strategien, Ergebnisanalyse und CI-Integration jeweils umfangreiche Praxis und längere Testläufe benötigen.