DeepSpec 是什么?

DeepSpec 是 DeepSeek 发布的推测解码草稿模型训练与评估代码库。它把提示数据准备、目标模型答案重生成、目标隐藏状态缓存、草稿模型训练和接受率评估串成一条研究流水线。

⭐ 6,352 Stars 🍴 551 Forks Python MIT 作者: deepseek-ai
来源:github.com/deepseek-ai/DeepSpec 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

仓库同时公开 DSpark、DFlash 和 Eagle3 的训练配置、论文使用的检查点及九类评测数据入口,便于研究者复现同一套训练与评估口径。官方也明确提醒:训练设置不一致时,论文表格不能直接比较。

来源:github.com/deepseek-ai/DeepSpec

核心功能

三阶段数据流水线

下载并切分提示数据,通过 OpenAI 兼容推理服务重生成答案,再预计算训练所需的目标模型隐藏状态缓存。

来源:github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md
三种草稿模型算法

当前包含 DSpark、DFlash 和 Eagle3,并提供 Qwen3 4B/8B/14B 与 Gemma 4 12B 的配置和发布检查点。

来源:github.com/deepseek-ai/DeepSpec
多 GPU 单机训练

train.sh 调用 train.py,并为每个可见 GPU 启动工作进程;默认脚本按单机 8 GPU 编写,可以缩小 CUDA_VISIBLE_DEVICES。

来源:github.com/deepseek-ai/DeepSpec
接受率评估

eval.py 可在 gsm8k、math500、aime25、humaneval、mbpp、livecodebench、mt-bench、alpaca 和 arena-hard-v2 上评估训练后的草稿模型。

来源:github.com/deepseek-ai/DeepSpec

技术架构

输入提示先经过目标模型重生成,随后 prepare_target_cache.py 保存每 token 的目标隐藏状态;train.py 使用算法配置和缓存训练草稿模型;eval.py 再把目标模型与草稿检查点组合起来测量推测解码接受情况。各阶段通过 JSONL、缓存目录和 checkpoint 目录衔接。

来源:github.com/deepseek-ai/DeepSpec (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) datasets 4.8.5 openai 2.6.1 safetensors 0.7.0safetensors 0.… 可单独安装的 OpenAI 兼容推理引擎可单独安装的 Op… 三阶段数据流水线 三种草稿模型算法 多 GPU 单机训练 接受率评估 DeepSpec 项目本体 核心功能 关键依赖

技术栈

语言Python框架PyTorch 2.9.1、Transformers 5.10.2、Triton 3.5.1
datasets 4.8.5openai 2.6.1safetensors 0.7.0可单独安装的 OpenAI 兼容推理引擎
默认脚本假设单机 8 张 CUDA GPU;完整 Qwen3-4B 默认目标缓存约 38 TB
来源:github.com/deepseek-ai/DeepSpec/blob/main/requirements.txt (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)

快速上手

先创建隔离 Python 环境并安装 requirements.txt。第一次不要直接运行默认 prepare_data.sh;先下载少量数据,在单个 OpenAI 兼容目标服务上重生成少量答案,再用缩小的数据和 CUDA_VISIBLE_DEVICES 构建缓存。确认缓存大小和格式后,才运行 scripts/train/train.sh 与 scripts/eval/eval.sh。
来源:github.com/deepseek-ai/DeepSpec (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)

使用场景

适合研究 DSpark、DFlash 或 Eagle3 的算法复现、消融实验、跨目标模型接受率比较,以及在自有领域数据上重新训练草稿模型。它不是下载后即可替代现有推理服务的终端应用。

来源:github.com/deepseek-ai/DeepSpec

优势与局限

优势

  • 数据、训练、评估和论文检查点放在同一仓库口径下
  • 覆盖 DSpark、DFlash 和 Eagle3 三种方法
  • README 明确写出比较结果所需的训练设置边界

局限

  • 默认数据流水线和训练脚本假设单机 8 GPU
  • 默认 Qwen3-4B 目标缓存约 38 TB,不能在普通工作站上直接照跑
  • requirements 固定较新的 PyTorch、Transformers 和 Triton 版本,需要匹配驱动与 CUDA
  • GitHub 当前没有正式 Release;主分支就是使用基线
来源:github.com/deepseek-ai/DeepSpec

最新版本

截至 2026-09-23,官方仓库没有 GitHub Release 或带版本号的发布包;不要为它编造版本号。GitHub API 显示主分支最近推送时间为 2026-07-09。

来源:github.com/deepseek-ai/DeepSpec/releases

实测与证据

status: official_docs_checked_not_locally_run  |  checked_at: 2026-09-23  |  environment: 核对 deepseek-ai/DeepSpec 官方 README、requirements.txt、数据准备文档、LICENSE、NOTICE 和 GitHub API;未下载模型或运行 GPU 任务  |  limitations: 未验证依赖可安装性、SGLang/vLLM 服务、缓存实际体积、GPU 显存、训练收敛、检查点质量、接受率或端到端加速  |  observed_output: 官方仓库无 GitHub Releases;README 列出 DSpark、DFlash、Eagle3,默认脚本假设单机 8 GPU;数据文档警告 Qwen3-4B 默认目标缓存约 38 TB

来源:github.com/deepseek-ai/DeepSpec/releases (1) · github.com/deepseek-ai/DeepSpec/blob/main/scripts/data/README.md (2)

同类项目对比

DeepSpec 明确围绕 DSpark、DFlash、Eagle3 及其论文检查点组织,适合按 DeepSeek 的训练设置复现结果。SpecForge 是更广的训练到 SGLang 服务框架,官方文档还覆盖 online/offline、分离式拓扑、FSDP 和多种硬件。想复现 DeepSpec 论文设置时前者更直接;需要长期接入 SGLang 训练和部署生态时,应优先评估 SpecForge。

来源:github.com/deepseek-ai/DeepSpec (1) · github.com/sgl-project/SpecForge (2)

总结评价

DeepSpec 适合有多 GPU 和大容量存储、需要复现或改进推测解码草稿模型的研究团队。首次尝试应从小样本和小缓存开始,把数据、目标服务、缓存、训练、评估逐段验通;没有相应硬件或只想部署现成推理服务时,不适合直接照搬默认流水线。

来源:官方 README 与文档入口

常见问题

DeepSpec 第一次运行真的需要准备约 38 TB 吗?

默认 Qwen3-4B 全量目标缓存约 38 TB,但首次验证不应照跑全量。可以缩小训练集,并减少配置中的目标层数量,让缓存随样本、序列长度和隐藏维度下降。

DeepSpec 自带目标模型推理服务吗?

不自带完整推理引擎。重生成答案需要另行启动 OpenAI 兼容服务;官方示例使用 SGLang,也允许替换为 vLLM、TGI 等兼容实现。

少于 8 张 GPU 能运行 DeepSpec 吗?

可以调整示例脚本中的 CUDA_VISIBLE_DEVICES 和 worker 数,但速度、显存和配置是否合适要自行验证。README 只说明默认脚本按单机 8 GPU 设置。

DeepSpec 有可直接安装的稳定 Release 吗?

截至 2026-09-23,官方 GitHub Releases 页面为空。当前只能以主分支代码和官方发布的 Hugging Face 检查点作为明确基线。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新,请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 10:52.

参考材料:README、GitHub API、依赖文件