快讯详情
行情猫 · 实时资讯
2026-10-20 17:22

DeepSeek 宣布全面开源内部推理框架 DeepInfer

DeepSeek 表示,将全面开源内部推理框架 DeepInfer,并同步开放生产级 Token 编解码组件 deepseek-recipe,以帮助开发者和企业优化大规模模型推理的吞吐、延迟与部署成本。DeepInfer 集成高性能算子和经过深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,并兼容英伟达与华为昇腾平台。DeepSeek 称,目前已基于 DeepInfer 实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务,未来新