Qwen a publié BabelArena, un benchmark d’agents multilingue conçu pour tester des modèles utilisant des outils dans 23 langues, 13 domaines et quatre familles de benchmarks.
Contrairement aux évaluations qui ne traduisent que la tâche, BabelArena localise les invites, les tâches, les descriptions d’outils et le contenu de l’environnement. Les notes de publication de Qwen indiquent qu’aucun modèle évalué ne domine toutes les familles de benchmarks. Qwen rapporte également que les cinq modèles testés obtiennent de moins bons résultats dans les langues à faibles ressources, et que ces exécutions peuvent utiliser jusqu’à environ deux fois plus de tokens d’entrée qu’en anglais.
Pour les builders, l’intérêt réside dans les tests de régression de workflow complets : un modèle qui traite correctement une invite en anglais peut tout de même échouer lorsque les outils et le contexte environnant changent de langue. Le jeu de données BabelArena est public, bien que le sous-ensemble standard actuel exclue ClawEval, distribué séparément.