Seminar Testinium Device Farm – Parallelisierung, Scheduling und Ausführungssteuerung

Parallele mobile Tests verkürzen Rückmeldezeiten, erhöhen jedoch den Koordinationsbedarf für Geräte, Testdaten und Infrastruktur. Das Seminar behandelt die planbare Ausführungssteuerung in Testinium Device Farm von der Testsuite-Zerlegung bis zur kontrollierten Warteschlange.

Inhaltsverzeichnis

1. Seminarziel
2. Zielgruppe
3. Voraussetzungen
4. Seminarinhalte
5. 1. Ausgangslage und Laufzeitprofil
6. 2. Testsuite für Parallelität zerlegen
7. 3. Gerätezuordnung und Matrixbildung
8. 4. Testdaten und Konten isolieren
9. 5. Parallelitätsgrad festlegen
10. 6. Zeitpläne und Ausführungsfenster
11. 7. Prioritäten und Warteschlangen
12. 8. Abbruch, Zeitüberschreitung und Wiederholung
13. 9. Kennzahlen und kontinuierliche Optimierung
14. Praxisübungen

Seminarziel

Ziel ist eine schnelle und zugleich stabile Testausführung. Nach dem Seminar können Tests parallelisierbar strukturiert, Geräte- und Datenkonflikte vermieden, Zeitpläne und Prioritäten eingerichtet, Kapazitäten begrenzt und Laufzeiten anhand belastbarer Kennzahlen optimiert werden.

Zielgruppe

Testautomatisierung, DevOps, Testarchitektur, Plattformbetrieb, Release-Management und technische Testleitung.

Voraussetzungen

Erfahrungen mit automatisierten Tests und Test-Suites. Grundkenntnisse von CI/CD und Appium sind hilfreich.

Seminarinhalte

Die Inhalte werden anhand eines durchgängigen Übungsszenarios erarbeitet. Jeder Themenblock folgt einer nachvollziehbaren Arbeitsfolge aus Einordnung, Konfiguration, Durchführung, Kontrolle und Dokumentation.

1. Ausgangslage und Laufzeitprofil

Optimierung beginnt mit Messdaten. Testdauer, Wartezeit, Gerätebelegung und Fehlerquote werden getrennt betrachtet.

1. Schritt 1: Bestehende Testsuite und typische Ausführungsanlässe erfassen.
2. Schritt 2: Einzeltestdauer, Setup-Zeit und Gerätebelegung messen.
3. Schritt 3: Engpässe und lange Abhängigkeitspfade identifizieren.
4. Schritt 4: Zielwerte für Rückmeldezeit und Ressourcennutzung festlegen.

2. Testsuite für Parallelität zerlegen

Tests können nur sicher parallel laufen, wenn sie voneinander unabhängig sind. Gemeinsame Daten und Reihenfolgen werden sichtbar gemacht.

1. Schritt 1: Tests nach Funktion, Plattform, Laufzeit und Abhängigkeit gruppieren.
2. Schritt 2: Versteckte Reihenfolgen und gemeinsam veränderte Zustände identifizieren.
3. Schritt 3: Unabhängige Einheiten mit ähnlicher Laufzeit bilden.
4. Schritt 4: Nicht parallelisierbare Tests kennzeichnen und begründet separat planen.

3. Gerätezuordnung und Matrixbildung

Parallele Worker benötigen eindeutige Geräte. Auswahlregeln berücksichtigen Plattform, Betriebssystem, Verfügbarkeit und Priorität.

1. Schritt 1: Geräteanforderungen je Testgruppe definieren.
2. Schritt 2: Feste Zuordnung und dynamische Auswahl vergleichen.
3. Schritt 3: Ersatzregeln für nicht verfügbare Geräte festlegen.
4. Schritt 4: Matrix anhand eines Probelaufs auf Vollständigkeit und Konflikte prüfen.

4. Testdaten und Konten isolieren

Gemeinsame Benutzer oder Datenobjekte sind eine häufige Ursache instabiler paralleler Tests. Jede Ausführung erhält einen kontrollierten Datenkontext.

1. Schritt 1: Gemeinsam genutzte Konten und Datenbestände inventarisieren.
2. Schritt 2: Eindeutige Kennungen pro Lauf und Worker erzeugen.
3. Schritt 3: Datenbereitstellung und Bereinigung automatisieren.
4. Schritt 4: Konflikte durch kontrollierte gleichzeitige Ausführung nachweisen oder beseitigen.

5. Parallelitätsgrad festlegen

Mehr Worker führen nicht automatisch zu kürzerer Gesamtdauer. Geräte, Netzwerk, Testsysteme und Ergebnisverarbeitung setzen Grenzen.

1. Schritt 1: Verfügbare Geräte und technische Limits erfassen.
2. Schritt 2: Mit niedrigem Parallelitätsgrad einen Ausgangslauf durchführen.
3. Schritt 3: Parallelität stufenweise erhöhen und Laufzeit sowie Fehlerquote messen.
4. Schritt 4: Optimalen Bereich und harte Obergrenzen dokumentieren.

6. Zeitpläne und Ausführungsfenster

Geplante Läufe werden nach Zweck, Dauer und Ressourcenbedarf verteilt. Nächtliche Regressionen, Smoke-Tests und Freigabeläufe erhalten passende Fenster.

1. Schritt 1: Wiederkehrende und ereignisgesteuerte Läufe unterscheiden.
2. Schritt 2: Zeitfenster unter Berücksichtigung von Wartung und Nutzerbetrieb festlegen.
3. Schritt 3: Zeitzone, Kalender und Überschneidungen kontrollieren.
4. Schritt 4: Ausfall oder verspäteten Start mit klaren Nachholregeln behandeln.

7. Prioritäten und Warteschlangen

Bei knappen Geräten muss nachvollziehbar entschieden werden, welcher Lauf zuerst startet. Prioritäten dürfen nicht zu dauerhafter Verdrängung führen.

1. Schritt 1: Laufklassen und geschäftliche Dringlichkeit definieren.
2. Schritt 2: Prioritätsstufen mit Freigaberechten und maximaler Wartezeit verbinden.
3. Schritt 3: Fairness- und Eskalationsregeln für lange wartende Aufträge festlegen.
4. Schritt 4: Warteschlangenverhalten in einem Lastszenario prüfen.

8. Abbruch, Zeitüberschreitung und Wiederholung

Hängende Sitzungen blockieren Ressourcen. Zeitgrenzen und Wiederholungen werden je Testtyp und Fehlerklasse differenziert.

1. Schritt 1: Normale Laufzeit und zulässige Abweichung je Testgruppe bestimmen.
2. Schritt 2: Zeitüberschreitungen für Setup, Test und Abschluss getrennt konfigurieren.
3. Schritt 3: Abbruch so gestalten, dass Gerät und Daten bereinigt werden.
4. Schritt 4: Wiederholungen nur für definierte technische Fehler mit Begrenzung zulassen.

9. Kennzahlen und kontinuierliche Optimierung

Ausführungssteuerung wird anhand von Durchsatz, Wartezeit, Belegung und Stabilität verbessert. Einzelne Rekordläufe sind weniger wichtig als ein verlässlicher Trend.

1. Schritt 1: Kennzahlen für Gesamtdauer, P95-Wartezeit, Geräteauslastung und Fehlstarts festlegen.
2. Schritt 2: Werte nach Testgruppe, Gerät und Ausführungsfenster auswerten.
3. Schritt 3: Engpasshypothesen mit gezielten Änderungen testen.
4. Schritt 4: Optimierung dokumentieren und Grenzwerte regelmäßig neu bewerten.

Praxisübungen

• Zerlegung einer Regressionssuite in parallelisierbare Gruppen mit ähnlicher Laufzeit.
• Entwurf einer Datenisolationsstrategie für mehrere gleichzeitige Appium-Worker.
• Konfiguration eines Zeitplans mit Prioritäten und begrenzten Gerätekapazitäten.
• Messbasierte Bestimmung eines geeigneten Parallelitätsgrads.