DeepSeek libera DeepInfer, motor de inferência usado em produção
Ferramenta open source (Apache‑2.0) traz otimizações para rodar offline em NVIDIA SM100 ou Huawei Ascend 950
A DeepSeek lançou o DeepInfer na terça‑feira, 20 de outubro de 2026, como projeto open source sob licença Apache‑2.0. O código reproduz o motor central usado para servir o modelo DeepSeek‑V4.1‑Flash.
O pacote traz kernels otimizados, paralelismo distribuído (incluindo expert parallelism do Mixture‑of‑Experts), decodificação especulativa e controles para saída estruturada, além de uma biblioteca acompanhante chamada deepseek‑recipe para tratamento de tokens compatível com o comportamento da API.
A DeepSeek publicou benchmarks de fornecedor que apontam alta taxa de transferência (155 trilhões de tokens por dia por cluster), 96% de acerto no cache de entrada, cerca de 400 ms até o primeiro token e geração de 230–300 tokens/segundo. Esses números são fornecidos pela própria empresa e precisam de reprodução independente.
O lançamento é voltado para inferência offline e omite propositalmente peças-chave para serviços online — gerenciamento de KV cache, disaggregations como VE/prefill/decode e balanceamento de carga entre réplicas — de modo que empresas e provedores de nuvem precisarão montar essa infraestrutura ao redor do DeepInfer.
O suporte já no primeiro dia para GPUs NVIDIA SM100 e NPUs Huawei Ascend 950 amplia as opções de hardware, mas também levanta questões geopolíticas e de cadeia de suprimentos para quem adotar a solução. A iniciativa segue a estratégia da DeepSeek de publicar modelos e ferramentas para reduzir o custo de inferência e facilitar o self‑hosting.