Latenode

Anthropic reduz espera pelo primeiro token no Claude Code

Equipes de agentes podem reduzir a latência percebida sem trocar de modelo ao otimizar a transferência de payloads e a inicialização do ambiente. Ajustes assim podem melhorar mais a UX do que pequenos ganhos na velocidade de inferência.

Interface do Claude Code com métricas de latência reduzida

A Anthropic afirma que o Claude Code agora começa a responder muito mais rápido após adicionar gzip às solicitações e pré-aquecimento de sessões.

O Claude Code compacta a conversa enviada a cada interação, reduzindo o tempo de upload em contextos extensos. Segundo o AICoder, as sessões na nuvem começam a ser aquecidas assim que o usuário começa a digitar, em vez de esperar o envio.

A espera p90 relatada pela Anthropic antes do primeiro token caiu de 4.07 segundos para 1.33 segundos em sessões locais e de 16.99 segundos para 6.00 segundos na nuvem. Essas medições excluem o tempo de inferência do modelo, portanto os ganhos vêm do transporte e da inicialização, não de uma geração mais rápida.

Para builders, a estratégia é prática: compacte payloads conversacionais longos, faça o pré-aquecimento dos ambientes de execução cedo e teste a compatibilidade com proxies. As mudanças seguem a abordagem focada em latência descrita no relato técnico mais amplo da Anthropic.

Quando modelos e APIs mudam o fluxo continua rodando

Conecte em um único cenário os modelos e apps de notícias como esta. Se um provedor mudar roteamento, preço ou disponibilidade, você atualiza o fluxo — sem recomeçar do zero.

Começar grátis

Plano gratuito para sempre. Não é necessário cartão de crédito.