Seminar Testinium Device Farm – Reporting und Qualitätskennzahlen

Testberichte müssen technische Ausführungsdaten in belastbare Qualitätsaussagen übersetzen. Das Seminar zeigt, wie Ergebnisse aus Live- und Automatisierungstests in Testinium Device Farm strukturiert ausgewertet, mit Geräte- und Versionskontext versehen und für operative sowie releasebezogene Entscheidungen aufbereitet werden.

Inhaltsverzeichnis

1. Seminarziel
2. Zielgruppe
3. Voraussetzungen
4. Seminarinhalte
5. 1. Berichtsziele und Zielgruppen
6. 2. Ausführungsstatus korrekt interpretieren
7. 3. Fehlerklassifikation und Nachweisqualität
8. 4. Geräte- und Plattformabdeckung
9. 5. Stabilität und Laufzeit
10. 6. Trends und Releasevergleich
11. 7. Dashboards und Quality Gates
12. 8. Berichtsprozess und Datenqualität
13. Praxisübungen

Seminarziel

Ziel ist ein einheitliches Reportingmodell für mobile Tests. Nach dem Seminar können Ausführungsstatus, Fehlerarten, Stabilität, Laufzeit, Geräteabdeckung und Trends korrekt interpretiert, zielgruppengerecht verdichtet und mit nachvollziehbaren Entscheidungskriterien verbunden werden.

Zielgruppe

Testmanagement, QA Leads, Release-Management, Product Owner, Testautomatisierung, Plattformbetrieb und Projektleitung.

Voraussetzungen

Grundkenntnisse von Softwaretest, Testfällen und Fehlerstatus. Erfahrungen mit mobilen Tests sind hilfreich.

Seminarinhalte

Die Inhalte werden anhand eines durchgängigen Übungsszenarios erarbeitet. Jeder Themenblock folgt einer nachvollziehbaren Arbeitsfolge aus Einordnung, Konfiguration, Durchführung, Kontrolle und Dokumentation.

1. Berichtsziele und Zielgruppen

Ein Bericht für die operative Entstörung benötigt andere Details als eine Freigabeentscheidung. Inhalt und Verdichtung werden deshalb vom Informationsbedarf abgeleitet.

1. Schritt 1: Empfängergruppen und ihre Entscheidungen erfassen.
2. Schritt 2: Benötigte Detailtiefe für Tester, Betrieb, Management und Release festlegen.
3. Schritt 3: Berichtsfrequenz und Aktualitätsbedarf bestimmen.
4. Schritt 4: Ein gemeinsames Begriffs- und Statusmodell dokumentieren.

2. Ausführungsstatus korrekt interpretieren

Erfolgreich, fehlgeschlagen, blockiert, abgebrochen und technisch nicht gestartet dürfen nicht vermischt werden.

1. Schritt 1: Verfügbare Lauf- und Testfallstatus inventarisieren.
2. Schritt 2: Jeden Status mit eindeutiger Bedeutung und Verantwortlichkeit versehen.
3. Schritt 3: Technische Fehlläufe von fachlichen Fehlern getrennt auswerten.
4. Schritt 4: Unvollständige oder uneindeutige Ergebnisse kennzeichnen.

3. Fehlerklassifikation und Nachweisqualität

Zahlen werden erst aussagekräftig, wenn Fehler nach Ursache und Nachweisqualität strukturiert sind.

1. Schritt 1: Kategorien für Produkt, Test, Gerät, Daten und Infrastruktur definieren.
2. Schritt 2: Pflichtinformationen für einen verwertbaren Fehlernachweis festlegen.
3. Schritt 3: Doppelte und bekannte Fehler erkennen und zusammenführen.
4. Schritt 4: Fehlerverteilung nach Gerät, Plattform und App-Version auswerten.

4. Geräte- und Plattformabdeckung

Abdeckung wird nicht nur als Anzahl getesteter Geräte verstanden. Entscheidend ist, ob relevante Plattform-, Versions- und Modellklassen vertreten sind.

1. Schritt 1: Soll-Matrix aus unterstützten Zielgruppen und Risiken ableiten.
2. Schritt 2: Tatsächlich ausgeführte Matrix aus den Ergebnissen ermitteln.
3. Schritt 3: Lücken, Ersatzgeräte und nicht verfügbare Kombinationen kennzeichnen.
4. Schritt 4: Abdeckungsgrad mit der Freigabeentscheidung verbinden.

5. Stabilität und Laufzeit

Instabile Tests und lange Wartezeiten mindern den Wert der Automatisierung. Kennzahlen werden getrennt nach Test, Gerät und Infrastruktur betrachtet.

1. Schritt 1: Wiederholte Ausführungen und wechselnde Ergebnisse identifizieren.
2. Schritt 2: Fehlerquote, Wiederholungsquote und technische Abbruchrate berechnen.
3. Schritt 3: Warte-, Setup- und Testdauer voneinander trennen.
4. Schritt 4: Ausreißer priorisieren und mit konkreten Verbesserungsaufträgen versehen.

6. Trends und Releasevergleich

Ein einzelner Lauf zeigt einen Zustand; Trends zeigen Entwicklung und Wiederholbarkeit.

1. Schritt 1: Vergleichbare Zeiträume, App-Versionen und Testumfänge festlegen.
2. Schritt 2: Erfolgsquote, Fehlerarten, Laufzeit und Abdeckung im Verlauf darstellen.
3. Schritt 3: Änderungen im Testumfang von echten Qualitätsänderungen unterscheiden.
4. Schritt 4: Auffällige Trends mit Ursachenhypothesen und Maßnahmen ergänzen.

7. Dashboards und Quality Gates

Dashboards verdichten Informationen, Quality Gates treffen formalisierte Entscheidungen. Grenzwerte benötigen Kontext und Ausnahmen.

1. Schritt 1: Wenige entscheidungsrelevante Kennzahlen auswählen.
2. Schritt 2: Filter für Projekt, Version, Plattform, Gerät und Zeitraum definieren.
3. Schritt 3: Grenzwerte für kritische Fehler, Stabilität und Mindestabdeckung festlegen.
4. Schritt 4: Abweichung, Freigabe mit Auflage und Eskalation als geregelte Entscheidungen beschreiben.

8. Berichtsprozess und Datenqualität

Ein verlässlicher Bericht benötigt Verantwortlichkeit, Prüfregeln und einen festen Veröffentlichungsprozess.

1. Schritt 1: Datengrundlagen und Aktualisierungszeitpunkte dokumentieren.
2. Schritt 2: Vollständigkeit und Plausibilität vor Veröffentlichung prüfen.
3. Schritt 3: Kommentar- und Freigabeschritte für kritische Berichte festlegen.
4. Schritt 4: Kennzahlen regelmäßig auf Nutzen und Fehlanreize überprüfen.

Praxisübungen

• Entwurf eines Status- und Fehlerklassifikationsmodells für mobile Tests.
• Berechnung von Geräteabdeckung, Stabilität und technischer Abbruchrate aus Beispieldaten.
• Aufbau eines zielgruppengerechten Dashboards für Testteam und Release-Management.
• Formulierung eines Quality Gates mit Grenzwerten und geregelten Ausnahmen.