DeepSeek abre seu motor de inferência em produção, mas guarda o segredo que mais economiza

A DeepSeek liberou em 20 de outubro de 2026 o código do DeepInfer, a stack de inferência que roda seu modelo DeepSeek-V4.1-Flash em produção. O anúncio saiu no mesmo dia em que começou a PyTorch Conf, mas não é uma palestra do evento: é um post técnico e um repositório, acompanhados de um relatório de engenharia que a Latent Space traduziu e comentou.

A peça interessante não é só o código. É o conjunto de números de produção que a empresa publicou junto: 155 trilhões de tokens processados por dia num único cluster, 96% de acerto de cache na entrada e receita de 38 dólares por hora e por acelerador em horário de baixa demanda.

Apresentamos o DeepInfer, nosso framework de inferência interno, agora totalmente open source! Ele roda o DeepSeek-V4.1-Flash em escala, com alto throughput e baixa latência. Estamos compartilhando nossa stack de produção para ajudar a comunidade a reduzir custo de computação, reduzir consumo de energia e tornar a IA mais...

Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We're sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more...DeepSeek, conta oficial no X

O que foi liberado e o que ficou de fora

O DeepInfer nasceu como uma customização do vLLM, com créditos explícitos ao SGLang e ao TensorRT-LLM. Junto veio o deepseek-recipe, a camada que trata tokenização, compatibilidade com as APIs Chat Completions, Responses e Messages, e a distinção entre tokens de controle reais e strings idênticas que um usuário digitou por acaso (o que evita que texto comum seja interpretado como delimitador de estrutura, mas não é uma defesa completa contra prompt injection).

O que não veio é justamente o que mais custa caro para reproduzir: o gerenciamento fino do cache de KV (o estado intermediário da atenção que o modelo guarda para não recalcular contexto) e o balanceamento de carga entre workers. A própria DeepSeek chama isso de componentes ainda acoplados à infraestrutura interna. O sistema de armazenamento 3FS, que sustenta esse cache, já tinha sido aberto antes. Ou seja: o motor é público, a garagem onde ele roda não é.

Por que 155 trilhões de tokens por dia não significa 155 trilhões gerados

Esse é o ponto que mais confunde quem lê só a manchete. O cache de blocos persistentes vive num cluster de armazenamento 3FS separado, com cerca de 100 PiB de SSD. A retenção é de três dias para tráfego de agentes e sete dias para tráfego de chat, e qualquer worker de prefill pode buscar um prefixo em cache, o que desacopla onde o dado mora de onde ele é processado.

Com 96% de acerto de cache na entrada, a maior parte dos 155T tokens diários é reaproveitamento de contexto já processado, não geração nova. Isso é bom para quem usa agentes que reenviam repetidamente o mesmo histórico de instruções, código de repositório e saídas de ferramentas: o custo de reprocessar esse contexto cai quase a zero. A técnica que sustenta isso, chamada SWA Bounded Replay, reconstrói o estado de curta duração usando apenas os últimos 128 tokens, e a DeepSeek reporta que isso praticamente reduz à metade o cálculo total de prefill (a etapa que processa o prompt antes de começar a gerar resposta).

O timing não é acaso: a OpenAI tinha acabado de anunciar cache de prompt por 12 horas (contra 30 minutos de padrão anterior). O DeepInfer já opera com retenção de até 72 horas. São arquiteturas diferentes, mas os dois miram o mesmo problema: agentes que reaproveitam contexto ao longo de sessões longas.

O que a vLLM conseguiu reproduzir de forma independente

A parte mais sólida do debate técnico veio de fora da DeepSeek. O time do vLLM publicou uma comparação própria e reportou throughput de decodificação dentro de 6% dos números divulgados pelo DeepInfer, rodando numa configuração equivalente em GB200. Isso é medição de terceiro, não claim de fabricante, e vale destacar a diferença: é paridade na etapa de decode, não reprodução do serviço inteiro. Não cobre os 100 PiB de cache, o roteamento entre workers nem a disponibilidade de produção sob o tráfego real da DeepSeek.

O próprio vLLM agradeceu publicamente o crédito e a licença Apache 2.0 do release, e Woosuk Kwon, um dos mantenedores, descreveu a DeepSeek como adotante e contribuidora antiga do projeto. Isso reposiciona o anúncio: menos "substituto do ecossistema open source" e mais "aprendizado de produção voltando para dentro dele".

Quem quiser testar a recomendação de implantação da DeepSeek (máquinas comuns de 8 aceleradores para prefill, supernodes de 64 a 128 aceleradores para decode) parte de algo como isto, adaptando os flags já existentes do vLLM para paralelismo de pipeline em vez de paralelismo tensorial, que é a escolha que o relatório da DeepSeek descreve:

vllm serve deepseek-ai/DeepSeek-V4.1-Flash \
  --enable-prefix-caching \
  --tensor-parallel-size 1 \
  --pipeline-parallel-size 8

Isso é uma ilustração de como a recomendação de arquitetura se traduziria num comando real do vLLM, não um trecho retirado literalmente do repositório da DeepSeek.

Quanto sobra de margem, segundo quem fez a conta

O número que circulou mais foi a margem de inferência. A DeepSeek divulgou receita de 38 dólares por hora e por acelerador em horário de baixa demanda, calculada sobre o preço atual de 0,15 e 0,60 dólar por milhão de tokens de entrada e saída. Com custo total estimado entre 5 e 8 dólares por placa por hora, isso dá margem acima de 80%, segundo a própria empresa. É dado de fabricante, não auditoria externa.

Outras pessoas refizeram a conta com premissas diferentes, e os resultados variam bastante conforme o custo de GPU assumido:

Nenhuma dessas contas inclui o custo da frota de SSD do 3FS, rede, capacidade ociosa, falhas de hardware ou o time de engenharia que mantém tudo isso rodando. Também dependem de um mix de tokens muito favorável ao cache (97% em cache, 2% entrada nova, 1% saída, numa das estimativas). Margem de contribuição alta na inferência não diz nada sobre o resultado da empresa como um todo, que também inclui o custo gigantesco de treinar os modelos.

O que muda pra quem opera modelo em produção

Para um time de TI que já roda vLLM ou SGLang, o ganho prático imediato é menor do que a manchete sugere. O que dá para copiar hoje é a separação de prefill e decode em workers diferentes, o roteamento de prefill por carga computacional estimada em vez de apenas tamanho da requisição, e a ideia de que paralelismo tensorial não é a única saída para servir modelos grandes em GPUs recentes (a DeepSeek evita tensor parallelism no Blackwell, herança das limitações de interconexão da era H800).

O que não dá para copiar sem reconstruir do zero é o cache de 100 PiB com retenção de dias e o balanceamento de carga que torna esse cache útil em escala. Isso continua sendo trabalho de infraestrutura que cada operação precisa montar por conta própria, com SSD, RDMA e um sistema de armazenamento como o 3FS. A técnica SWA Bounded Replay também é amarrada ao desenho específico do DeepSeek-V4.1-Flash: adaptar para outro modelo exige validar de novo se a aproximação de 128 tokens ainda vale.

A mensagem prática é: o release reduz a distância entre quem opera modelo fechado caro e quem monta a própria stack open source, mas não zera essa distância. A parte que mais custa caro para construir, o cache e o roteamento, continua sendo trabalho de quem opera.

Fonte: Latent Space