Latenode

Bridgebench lanza NerfBench para seguir la deriva de modelos

Propone un patrón simple para supervisar la deriva de modelos: comparar el comportamiento del día de lanzamiento con pruebas posteriores y vigilar el coste y el uso de tokens junto con la calidad.

Comparación de resultados de modelos antes y después de su lanzamiento

El 27 de septiembre de 2026, Bridgebench anunció NerfBench, un proyecto de evaluación comparativa diseñado para comprobar si los modelos cambian tras su lanzamiento de formas que afectan a la calidad o al coste. Según Bridgebench, cada modelo recibe una evaluación el día de lanzamiento que se convierte en su puntuación de referencia del 100 %, y las pruebas posteriores miden el rendimiento junto con los tokens utilizados y el coste por tarea.

Bridgebench indica que las puntuaciones entre el 90 % y el 110 % se consideran variación normal, mientras que los resultados inferiores al 90 % se señalan como posible degradación. El proyecto también afirmó haber comprometido $10,000 para rastrear si los laboratorios de IA "degradan" modelos después de su lanzamiento.

Por sí solo, el sistema no demuestra intención, pero ofrece a los equipos una forma repetible de distinguir las quejas anecdóticas de las comprobaciones de regresión medidas en calidad, uso de tokens y coste unitario.

Fuentes

Cuando cambian los modelos y las APIs el flujo sigue en marcha

Conecta en un solo escenario los modelos y apps de noticias como esta. Si un proveedor cambia el enrutado, el precio o la disponibilidad, actualizas el flujo — no empiezas de cero.

Empezar gratis

Plan gratuito para siempre. No se requiere tarjeta de crédito.

¿Qué debe construir Latenode?

Continuar sin prompt →