A equipe MAI-UI da Alibaba publicou o Qwen-UI-Agent, um agente de interface gráfica projetado para operar apps móveis, softwares de desktop e sites, mantendo fluxos com estado entre dispositivos.
O sistema combina ações na tela com ferramentas de linha de comando (CLI) e APIs, incluindo ações em lote. Para quem desenvolve, isso pode ampliar a automação para serviços com APIs limitadas ou ausentes, mantendo tarefas mais longas conectadas entre celulares e computadores.
No MobileWorld-Real, a equipe relata uma taxa de sucesso de 92.2% em 409 tarefas escritas por humanos, abrangendo 104 apps Android ativos. O projeto afirma que essas tarefas e trajetórias foram excluídas do treinamento, mas o resultado foi informado pelo fornecedor e ainda não foi amplamente validado.
Pagamentos, reservas e outras ações com consequências ainda exigem confirmação do usuário. Implantações em produção precisarão de etapas de aprovação semelhantes, além dos próprios testes em dispositivos reais antes de confiar ao agente fluxos sensíveis.