Qwen hat BabelArena veröffentlicht, einen mehrsprachigen Agenten-Benchmark zum Testen von Modellen mit Tool-Nutzung in 23 Sprachen, 13 Bereichen und vier Benchmark-Familien.
Anders als Evaluierungen, die nur die Aufgabe übersetzen, lokalisiert BabelArena Prompts, Aufgaben, Tool-Beschreibungen und Inhalte der Umgebung. Laut den Veröffentlichungshinweisen von Qwen führt kein evaluiertes Modell in jeder Benchmark-Familie. Qwen berichtet außerdem, dass alle fünf getesteten Modelle in ressourcenarmen Sprachen schlechter abschneiden und diese Durchläufe bis zu etwa doppelt so viele Input-Token wie auf Englisch nutzen können.
Für Builder ist vor allem das Regressionstesten vollständiger Workflows nützlich: Ein Modell, das einen englischen Prompt verarbeitet, kann dennoch scheitern, wenn sich die Sprache von Tools und umgebendem Kontext ändert. Der BabelArena-Datensatz ist öffentlich verfügbar, allerdings schließt die aktuelle Standard-Teilmenge ClawEval aus, das separat bereitgestellt wird.