A Qwen lançou o BabelArena, um benchmark de agentes multilíngue criado para testar modelos que usam ferramentas em 23 idiomas, 13 domínios e quatro famílias de benchmarks.
Ao contrário de avaliações que traduzem apenas a tarefa, o BabelArena localiza prompts, tarefas, descrições de ferramentas e conteúdo do ambiente. As notas de lançamento da Qwen afirmam que nenhum modelo avaliado lidera em todas as famílias de benchmarks. A Qwen também informa que os cinco modelos testados têm desempenho pior em idiomas de poucos recursos e que essas execuções podem usar cerca do dobro dos tokens de entrada em comparação com o inglês.
Para quem constrói automações, o ponto útil são os testes de regressão de fluxo completo: um modelo que lida bem com um prompt em inglês ainda pode falhar quando as ferramentas e o contexto ao redor mudam de idioma. O dataset BabelArena é público, embora o subconjunto padrão atual exclua o ClawEval, distribuído separadamente.