推理框架

科技人工智能

DeepSeek开源内部推理框架DeepInfer,推动大模型普惠

DeepSeek宣布将内部推理框架DeepInfer全面开源,同时开放deepseek-recipe编解码组件。该推理框架集成了高性能算子与优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay和结构化输出等多项功能,兼容英伟达与华为昇腾平台。DeepSeek表示,开源这些工具的目标是优化大规…