DeepSeek libera DeepInfer, motor de inferência para rodar V4.1‑Flash localmente
Objetivo é permitir que clientes reduzam custos de inferência executando o modelo em hardware próprio, como GPUs NVIDIA SM100 ou NPUs Huawei Ascend 950.
A DeepSeek publicou nesta terça‑feira no GitHub o DeepInfer sob a licença Apache‑2.0: um framework de inferência aberto e de alto desempenho projetado para rodar o DeepSeek‑V4.1‑Flash localmente ou em clusters privados.
O código reúne otimizações de baixo nível, como kernels personalizados, paralelismo distribuído (incluindo parallelismo de especialistas MoE), decodificação especulativa para acelerar a geração e formatação estruturada de saída para produzir formatos previsíveis.
O DeepInfer tem como alvo oficial as GPUs NVIDIA SM100 e as NPUs Huawei Ascend 950 e exige pré‑requisitos de sistema modernos para compilação e execução, como Linux, GCC 13, Python 3.12 e CUDA 13 ou CANN 9.2.
A DeepSeek deixa claro que o DeepInfer não é um serviço pronto para uso em produção: quem for implantar precisa adicionar um cache KV, componentes separados de pré‑preenchimento/decodificação e balanceamento de carga para formar uma pilha completa de produção. Além disso, os números de vazão e latência divulgados pelo laboratório são fornecidos pelo próprio provedor e não foram verificados de forma independente.
Como ferramenta complementar, o deepseek‑recipe alinha a tokenização à API da DeepSeek para reduzir deriva nos resultados. O lançamento do DeepInfer acompanha a disponibilização, em 17 de outubro, dos pesos do V4.1‑Flash, parte da estratégia da empresa para reduzir custos operacionais e incentivar a hospedagem própria pelos clientes.