L’équipe MAI-UI d’Alibaba a publié Qwen-UI-Agent, un agent GUI conçu pour utiliser des applications mobiles, des logiciels de bureau et des sites web, tout en conservant l’état des workflows entre les appareils.
Le système associe des actions à l’écran à des outils CLI et API, y compris des actions par lots. Pour les builders, il pourrait étendre l’automatisation à des services dont les API sont limitées ou absentes, tout en maintenant la continuité des tâches longues entre téléphones et ordinateurs.
Sur MobileWorld-Real, l’équipe annonce un taux de réussite de 92,2 % sur 409 tâches rédigées par des humains et couvrant 104 applications Android actives. Le projet indique que ces tâches et trajectoires ont été exclues de l’entraînement, mais ce résultat est communiqué par le fournisseur et n’a pas encore été largement validé.
Les paiements, réservations et autres actions à conséquences nécessitent toujours une confirmation de l’utilisateur. Les déploiements en production devront prévoir des contrôles d’approbation similaires, ainsi que leurs propres tests sur appareils réels avant de confier des workflows sensibles à l’agent.