Latenode

Bridgebench lance NerfBench pour suivre la dérive des modèles

NerfBench propose une méthode simple pour surveiller la dérive des modèles : comparer leur comportement au lancement avec des tests ultérieurs, tout en suivant le coût et l'utilisation des tokens.

Suivi des performances, des tokens et du coût des modèles après leur lancement

Le 27 septembre 2026, Bridgebench a annoncé NerfBench, un projet de benchmarking visant à vérifier si les modèles changent après leur sortie, avec des effets sur la qualité ou le coût. Selon Bridgebench, chaque modèle reçoit une évaluation le jour de son lancement, qui devient son score de référence à 100 %, puis des nouveaux tests mesurent les performances, les tokens utilisés et le coût par tâche.

Bridgebench indique que les scores compris entre 90 % et 110 % relèvent d'une variation normale, tandis que les résultats inférieurs à 90 % sont signalés comme une possible dégradation. Le projet a également indiqué avoir engagé $10,000 pour suivre si les laboratoires d'IA « brident » les modèles après leur lancement.

Cette approche ne permet pas à elle seule d'établir une intention, mais elle donne aux équipes une méthode reproductible pour distinguer les plaintes anecdotiques des vérifications de régression mesurées sur la qualité, l'utilisation des tokens et le coût unitaire.

Sources

Quand les modèles et les API changent le workflow continue

Connectez dans un même scénario les modèles et apps de ce type d'actualité. Si un fournisseur change le routage, le tarif ou la disponibilité, vous mettez à jour le workflow — vous ne recommencez pas à zéro.

Commencer gratuitement

Offre gratuite à vie. Aucune carte bancaire requise.

Que doit construire Latenode ?

Continuer sans prompt →