Qwen lanzó BabelArena, un benchmark multilingüe de agentes diseñado para probar modelos que usan herramientas en 23 idiomas, 13 dominios y cuatro familias de benchmarks.
A diferencia de las evaluaciones que solo traducen la tarea, BabelArena localiza los prompts, las tareas, las descripciones de herramientas y el contenido del entorno. Las notas de lanzamiento de Qwen indican que ningún modelo evaluado lidera todas las familias de benchmarks. Qwen también informa de que los cinco modelos probados obtienen peores resultados en idiomas con pocos recursos y de que esas ejecuciones pueden usar hasta aproximadamente el doble de tokens de entrada que en inglés.
Para quienes crean automatizaciones, la parte útil son las pruebas de regresión de flujo completo: un modelo que maneja un prompt en inglés aún puede fallar cuando las herramientas y el contexto circundante cambian de idioma. El dataset BabelArena es público, aunque el subconjunto estándar actual excluye ClawEval, que se distribuye por separado.