Le 27 septembre 2026, Bridgebench a annoncé NerfBench, un projet de benchmarking visant à vérifier si les modèles changent après leur sortie, avec des effets sur la qualité ou le coût. Selon Bridgebench, chaque modèle reçoit une évaluation le jour de son lancement, qui devient son score de référence à 100 %, puis des nouveaux tests mesurent les performances, les tokens utilisés et le coût par tâche.
Bridgebench indique que les scores compris entre 90 % et 110 % relèvent d'une variation normale, tandis que les résultats inférieurs à 90 % sont signalés comme une possible dégradation. Le projet a également indiqué avoir engagé $10,000 pour suivre si les laboratoires d'IA « brident » les modèles après leur lancement.
Cette approche ne permet pas à elle seule d'établir une intention, mais elle donne aux équipes une méthode reproductible pour distinguer les plaintes anecdotiques des vérifications de régression mesurées sur la qualité, l'utilisation des tokens et le coût unitaire.
