Le 26 octobre 2026, a16z a indiqué que la demande de tokens sur OpenRouter avait été multipliée par environ 27 depuis novembre dernier, tandis que les locations de GPU Nvidia restaient au-dessus d’une référence d’amortissement standard sur six ans.
Dans le State of AI d’a16z, le trafic hebdomadaire d’OpenRouter est estimé à environ 165 billions de tokens, contre près de 6 billions auparavant. Les modèles à poids ouverts traitent désormais environ 72 % des tokens, contre environ 28 % en novembre dernier.
a16z a également relevé des primes de location supérieures à cette référence pour plusieurs GPU, dont le H200 à +143 %. Comme le souligne l’analyse de XenoSpectrum, ce chiffre pour le H200 ne correspond pas à une hausse de prix depuis le début de l’année. Il reflète l’écart entre les tarifs de location actuels et un modèle d’amortissement linéaire basé sur les premiers tarifs observés.
Pourquoi c’est important : les équipes qui cherchent à réduire les coûts d’inférence peuvent toujours se heurter à une offre d’accélérateurs coûteuse. La baisse des prix par token et l’augmentation de l’usage des modèles ne garantissent pas des coûts de service inférieurs si les locations de GPU restent élevées.