Seminar Poco SDK – Integration in Unreal Engine und eigene Engines

Das Architektur- und Integrationsseminar behandelt die Poco-Anbindung für Unreal Engine sowie das Design eines eigenen UI-Automatisierungsagenten.

Inhaltsverzeichnis

1. Seminarprofil
2. Lernziele
3. Schrittweise Lernstrecke
4. Praxisbausteine
5. Zielgruppe und Voraussetzungen
6. Didaktische Einordnung

Seminarprofil

Für Unreal werden Module, Buildregeln, Laufzeitdienst, Portkommunikation und Widget-Hierarchien eingerichtet. Anschließend wird das Protokoll- und Agentenmodell auf eigene Engines übertragen: Knotenidentität, Hierarchieexport, Eigenschaften, Abfragen, Aktionen, Koordinaten und Fehlerzustände werden als testbare Schnittstelle spezifiziert.

Lernziele

• Poco in Unreal-Builds integrieren
• Widget-Hierarchien und Eigenschaften validieren
• Agentenkomponenten für eigene Engines entwerfen
• Abfrage-, Aktions- und Fehlermodelle spezifizieren
• eine minimale End-to-End-Integration prüfen

Schrittweise Lernstrecke

1. Poco-SDK in Unreal Engine integrieren

1. Engine-Version, Projektmodule, UI-Technologie, Zielplattform und Buildkonfiguration werden vor der Integration geprüft.
2. SDK-Komponenten, Buildregeln, Laufzeitdienst und Portkommunikation werden in einem freigegebenen Testbuild aktiviert.
3. Widgets, Container, Texte, Sichtbarkeit und Interaktionszustände werden in der Poco-Hierarchie validiert.

2. Eigene Engine- und Agent-Architektur

1. Ein Agent trennt Enginezugriff, Hierarchieexport, Eigenschaftsmodell, Abfragen, Interaktionen und Transport voneinander.
2. Knotenidentität, Eltern-Kind-Beziehungen, Position, Größe, Sichtbarkeit und benutzerdefinierte Attribute werden spezifiziert.
3. Aktionen erhalten eindeutige Fehlerzustände, Zeitgrenzen und Schutz gegen zerstörte, verdeckte oder veraltete Knoten.

3. Poco-Hierarchien und robuste Selektoren

1. Elementnamen, Typen, Texte, Eigenschaften, Sichtbarkeit, Position und hierarchische Beziehungen werden systematisch inspiziert.
2. Selektoren bevorzugen stabile Attribute und relationale Bezüge gegenüber langen absoluten Hierarchiepfaden.
3. Mehrdeutige Treffer, dynamische Listen und nicht zugängliche Bereiche werden explizit behandelt und bei Bedarf bildbasiert ergänzt.

4. Geräte- und Anwendungsverbindung

1. Zielsysteme werden mit einer festen Diagnosefolge aus Treiber-, Port-, Berechtigungs-, Prozess- und Netzprüfungen verbunden.
2. Sitzungsaufbau, Anwendungsstart, Statusprüfung und kontrolliertes Beenden werden in wiederverwendbare Hilfsfunktionen überführt.
3. Verbindungsabbrüche werden protokolliert und nur unter klaren Bedingungen automatisch wiederhergestellt.

5. Interaktionen, Gesten und Koordinaten

1. Klick, Long-Press, Ziehen, Wischen, Scrollen und Texteingabe werden mit Sichtbarkeits- und Zustandsprüfungen verknüpft.
2. Geräte-, Fenster-, Engine- und Bildschirmkoordinaten werden durch dokumentierte Umrechnungs- und Bezugssysteme verbunden.
3. Nach jeder komplexen Interaktion bestätigt eine unabhängige Eigenschaft oder Bildprüfung den erwarteten Zustand.

6. Sicherheit und kontrollierter Betrieb

1. Zugangsdaten, Signiermaterial, Gerätekennungen und sensible Testdaten werden außerhalb des Quellcodes geschützt bereitgestellt.
2. Runner, Testbuilds und Gerätefarm erhalten minimale Berechtigungen und nachvollziehbare administrative Zugriffe.
3. Instrumentierung wird ausschließlich in freigegebenen Testkonfigurationen aktiviert und gegen unerwünschten Netzwerkzugriff begrenzt.

7. Assertions und Qualitätsregeln

1. Technische Vorprüfungen, fachliche Erwartungen und Diagnoseprüfungen erhalten unterschiedliche Assertionstypen.
2. Fehlermeldungen enthalten Szenario, erwartetes Ergebnis, tatsächliche Beobachtung und relevante Kontextdaten.
3. Eine Review-Checkliste prüft Testabsicht, Ausgangszustand, Synchronisation, Selektor, Bildobjekt und Bereinigung.

8. Durchgängiges Praxisprojekt

1. Ein repräsentativer Benutzerweg wird in Ausgangszustand, fachliche Schritte, Kontrollpunkte und Abschlusszustand zerlegt.
2. Die Testsuite wird schrittweise implementiert, auf Varianten ausgeführt und durch absichtlich erzeugte Störungen geprüft.
3. Ergebnisse werden anhand von Stabilität, Verständlichkeit, Laufzeit, Wartbarkeit und Diagnosequalität bewertet und verbessert.

Praxisbausteine

1. Unreal-Modul- und Buildintegration
2. Widget-Hierarchie mit Interaktionstest
3. Agentenvertrag für eine eigene Engine
4. Minimaler Hierarchieexport und Aktionsaufruf

Zielgruppe und Voraussetzungen

Zielgruppe: Unreal-Entwickler, Engine-Entwickler, Technical QA, Tool-Entwickler und Testarchitekten.

Voraussetzungen: Gute C++- und Engine-Kenntnisse; Zugriff auf Quellcode, Buildsystem und eine freigegebene Testkonfiguration.

Didaktische Einordnung

Drei Tage sind notwendig, um eine konkrete Unreal-Integration und die übertragbare Agentenarchitektur eigener Engines einschließlich Hierarchie, Transport, Aktionen, Koordinaten, Security und Testnachweis zu verbinden.

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Umsetzungsschritte, eigenständige Übungen und kontrollierte Fehlerfälle vertieft. Jeder Praxisblock verwendet definierte Ausgangszustände, überprüfbare Zwischenergebnisse und dokumentierte Diagnoseinformationen.