快讯详情
行情猫 · 实时资讯
2026-10-20 17:07

DeepSeek 全面开源推理框架 DeepInfer 兼容华为昇腾

ChainCatcher 消息,DeepSeek 宣布全面开源其内部推理框架 DeepInfer,并同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与深度优化推理引擎,支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出,兼容英伟达与华为昇腾平台。DeepSeek 表示,已基于 DeepInfer 实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务,未来新模型的推理代码及优化也将在此持续更新。dee