Alibabas MAI-UI-Team hat Qwen-UI-Agent veröffentlicht, einen GUI-Agenten, der mobile Apps, Desktop-Software und Websites bedienen und zustandsbehaftete Workflows geräteübergreifend fortführen soll.
Das System kombiniert Aktionen auf dem Bildschirm mit CLI- und API-Tools, einschließlich gebündelter Aktionen. Für Builder könnte das Automatisierung auf Dienste mit eingeschränkten oder fehlenden APIs ausweiten und längere Aufgaben zwischen Smartphones und Computern verbunden halten.
Auf MobileWorld-Real berichtet das Team eine Erfolgsquote von 92.2% bei 409 von Menschen formulierten Aufgaben in 104 aktiven Android-Apps. Laut Projekt waren diese Aufgaben und Trajektorien vom Training ausgeschlossen, das Ergebnis stammt jedoch vom Anbieter und wurde nicht breit validiert.
Zahlungen, Buchungen und andere folgenschwere Aktionen erfordern weiterhin eine Bestätigung durch Nutzende. Produktionsbereitstellungen benötigen ähnliche Freigabeschritte sowie eigene Tests auf realen Geräten, bevor Sie dem Agenten sensible Workflows anvertrauen.