DeepSpec 是 DeepSeek 发布的推测解码草稿模型训练与评估代码库。它把提示数据准备、目标模型答案重生成、目标隐藏状态缓存、草稿模型训练和接受率评估串成一条研究流水线。
来源:github.com/deepseek-ai/DeepSpec 查看 GitHub 仓库 → 📘 使用教程 →仓库同时公开 DSpark、DFlash 和 Eagle3 的训练配置、论文使用的检查点及九类评测数据入口,便于研究者复现同一套训练与评估口径。官方也明确提醒:训练设置不一致时,论文表格不能直接比较。
来源:github.com/deepseek-ai/DeepSpec下载并切分提示数据,通过 OpenAI 兼容推理服务重生成答案,再预计算训练所需的目标模型隐藏状态缓存。
来源:github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md当前包含 DSpark、DFlash 和 Eagle3,并提供 Qwen3 4B/8B/14B 与 Gemma 4 12B 的配置和发布检查点。
来源:github.com/deepseek-ai/DeepSpectrain.sh 调用 train.py,并为每个可见 GPU 启动工作进程;默认脚本按单机 8 GPU 编写,可以缩小 CUDA_VISIBLE_DEVICES。
来源:github.com/deepseek-ai/DeepSpeceval.py 可在 gsm8k、math500、aime25、humaneval、mbpp、livecodebench、mt-bench、alpaca 和 arena-hard-v2 上评估训练后的草稿模型。
来源:github.com/deepseek-ai/DeepSpec输入提示先经过目标模型重生成,随后 prepare_target_cache.py 保存每 token 的目标隐藏状态;train.py 使用算法配置和缓存训练草稿模型;eval.py 再把目标模型与草稿检查点组合起来测量推测解码接受情况。各阶段通过 JSONL、缓存目录和 checkpoint 目录衔接。
来源:github.com/deepseek-ai/DeepSpec (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)datasets 4.8.5openai 2.6.1safetensors 0.7.0可单独安装的 OpenAI 兼容推理引擎适合研究 DSpark、DFlash 或 Eagle3 的算法复现、消融实验、跨目标模型接受率比较,以及在自有领域数据上重新训练草稿模型。它不是下载后即可替代现有推理服务的终端应用。
来源:github.com/deepseek-ai/DeepSpec截至 2026-09-23,官方仓库没有 GitHub Release 或带版本号的发布包;不要为它编造版本号。GitHub API 显示主分支最近推送时间为 2026-07-09。
来源:github.com/deepseek-ai/DeepSpec/releasesstatus: official_docs_checked_not_locally_run | checked_at: 2026-09-23 | environment: 核对 deepseek-ai/DeepSpec 官方 README、requirements.txt、数据准备文档、LICENSE、NOTICE 和 GitHub API;未下载模型或运行 GPU 任务 | limitations: 未验证依赖可安装性、SGLang/vLLM 服务、缓存实际体积、GPU 显存、训练收敛、检查点质量、接受率或端到端加速 | observed_output: 官方仓库无 GitHub Releases;README 列出 DSpark、DFlash、Eagle3,默认脚本假设单机 8 GPU;数据文档警告 Qwen3-4B 默认目标缓存约 38 TB
来源:github.com/deepseek-ai/DeepSpec/releases (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)DeepSpec 明确围绕 DSpark、DFlash、Eagle3 及其论文检查点组织,适合按 DeepSeek 的训练设置复现结果。SpecForge 是更广的训练到 SGLang 服务框架,官方文档还覆盖 online/offline、分离式拓扑、FSDP 和多种硬件。想复现 DeepSpec 论文设置时前者更直接;需要长期接入 SGLang 训练和部署生态时,应优先评估 SpecForge。
来源:github.com/deepseek-ai/DeepSpec (1) · github.com/sgl-project/SpecForge (2)DeepSpec 适合有多 GPU 和大容量存储、需要复现或改进推测解码草稿模型的研究团队。首次尝试应从小样本和小缓存开始,把数据、目标服务、缓存、训练、评估逐段验通;没有相应硬件或只想部署现成推理服务时,不适合直接照搬默认流水线。
来源:官方 README 与文档入口默认 Qwen3-4B 全量目标缓存约 38 TB,但首次验证不应照跑全量。可以缩小训练集,并减少配置中的目标层数量,让缓存随样本、序列长度和隐藏维度下降。
不自带完整推理引擎。重生成答案需要另行启动 OpenAI 兼容服务;官方示例使用 SGLang,也允许替换为 vLLM、TGI 等兼容实现。
可以调整示例脚本中的 CUDA_VISIBLE_DEVICES 和 worker 数,但速度、显存和配置是否合适要自行验证。README 只说明默认脚本按单机 8 GPU 设置。
截至 2026-09-23,官方 GitHub Releases 页面为空。当前只能以主分支代码和官方发布的 Hugging Face 检查点作为明确基线。