DFlash 是 z-lab 的一项 LLM 推理加速研究:一个轻量级的「块扩散(block diffusion)」草稿模型,专为投机解码(speculative decoding)设计,用并行起草来加速大模型生成。投机解码的常规做法是用一个小而快的草稿模型先猜若干 token、大模型再验证;DFlash 的草稿端用块扩散一次并行地起草一段 token,目标是又快又高质量。它有 arXiv 论文与博客,配套在 Hugging Face 上为大量主流基座模型(Gemma 4、Qwen3.x、Kimi K2.x、MiniMax M2.x、gpt-oss、Llama-3.1 等)提供现成 DFlash 草稿模型,并已接入 vLLM、SGLang、Transformers 和 MLX 四套推理后端。Python,MIT。
来源:README 顶部/Supported Models/Citation;GitHub desc,license MIT 查看 GitHub 仓库 →约 4.7k 星,热度来自推理加速这个高价值方向 + 落地完整度:投机解码是公认能显著降延迟的技术,但要为每个基座模型搞草稿模型、再接进 vLLM/SGLang 很费劲。DFlash 直接给了 20 多个主流模型的现成草稿权重、并由 NVIDIA、Modal 等帮忙接进主流 serving 框架,开箱即用、有论文背书,对做大模型推理部署的人很有吸引力。
来源:GitHub 4,693 stars / 331 forks,created 2026-01-04;README Supported Models/Acknowledgement用轻量块扩散模型作为投机解码的草稿端,一次并行起草一段 token 供大模型验证,相比逐 token 自回归草稿更高效,兼顾起草速度与质量。
来源:README 顶部说明;arXiv:2602.06036在 HF 提供 20+ 基座模型的 DFlash 草稿(Gemma-4-31B/26B-A4B、Qwen3.5/3.6 系列含 MoE、Kimi-K2.5/K2.6、MiniMax-M2.5/M2.7、gpt-oss-20b/120b、Qwen3-Coder、Llama-3.1-8B 等),DeepSeek-V4、GLM-5.1 等 coming soon。
来源:README Supported Models(表)已接入 vLLM、SGLang、Transformers 和 MLX(Apple Silicon),可在各自的服务/推理流程里启用 DFlash 草稿做加速;SGLang 还有实验性的 schedule overlapping 选项。
来源:README Quick Start(vLLM/SGLang/Transformers/MLX)内置 dflash.benchmark,在 gsm8k/math500/humaneval/mbpp/mt-bench 等数据集上跨四套后端做统一评测,数据首次运行自动下载缓存,便于复现加速效果。
来源:README Evaluation作者表示将开源 DFlash 草稿模型的训练配方,使你能为任意 LLM 训练自己的 DFlash 草稿来加速,并欢迎通过 issue 请求支持新模型。
来源:README Supported Models 注记仓库本身很小(dflash/ 一个 Python 包 + pyproject.toml),核心价值在于『方法 + 草稿权重 + 后端适配』三部分:方法是块扩散草稿模型(论文 arXiv:2602.06036),权重托管在 HF(按基座模型一一对应的 DFlash 草稿),代码部分主要是把 DFlash 草稿接入各推理后端的适配与统一的 benchmark 工具(dflash.benchmark 支持 vllm/sglang/transformers/mlx 四种 backend)。真正的加速由所在推理框架(vLLM/SGLang 的投机解码机制)执行,DFlash 提供草稿模型与对接逻辑。NVIDIA、Modal 等社区帮忙完成了 vLLM/SGLang 的集成。整体是『以草稿模型为中心、寄生于主流 serving 框架』的推理加速研究工程,轻代码、重权重与方法。
来源:tree(dflash/、pyproject.toml);README Quick Start/Evaluation/Acknowledgement中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成
vLLMSGLangHugging Face TransformersMLX (Apple Silicon)HF 托管的 DFlash 草稿权重PyTorch适合:①做大模型推理部署、想用投机解码降低延迟/提高吞吐的工程师,尤其用 vLLM/SGLang serving 的团队;②用的基座模型在其支持列表内、想直接拿现成 DFlash 草稿加速的人;③做推理加速/投机解码研究、想复现或对比块扩散草稿方法的研究者;④Apple Silicon 上用 MLX 跑本地模型想提速的人。不适合:基座模型不在支持列表且暂不想自己训草稿的人;以及只做少量轻量推理、对延迟不敏感的场景(投机解码的复杂度未必划算)。
来源:README Supported Models/Quick Start,结合推理加速场景推断仓库无正式 GitHub Release,以论文 + HF 权重 + 主分支代码维护(最近 push 2026-05-10,创建于 2026-01-04)。模型支持列表持续扩充(DeepSeek-V4、GLM-5.1 等标 coming soon),训练配方计划开源,处于活跃研究迭代期。
来源:GitHub 无 releases;pushed_at 2026-05-10;README Supported Models(coming soon)DFlash 是一项做得很扎实的推理加速研究:用块扩散草稿改进投机解码这件公认有效但落地麻烦的事,它不仅给了方法和论文,还为 20 多个主流模型备好现成草稿权重、并由社区帮忙接进 vLLM/SGLang/Transformers/MLX 四套后端,配统一 benchmark,开箱即用程度在同类研究里很高,4.7k 星合理。要清醒它的边界:实际加速比依模型/任务/硬件而变,需自行测;草稿按基座一一对应、列表外要等支持或自训;且投机解码本身有复杂度与显存代价、低并发未必划算。对做大模型 serving、想降延迟、且模型在其支持范围内的团队,这是当前很值得直接用的加速方案。
来源:综合 README 方法/支持列表/集成、tree(轻代码重权重)、发布状态的事实判断DFlash 是 z-lab 的一项 LLM 推理加速研究:一个轻量级的「块扩散(block diffusion)」草稿模型,专为投机解码(speculative decoding)设计,用并行起草来加速大模型生成。投机解码的常规做法是用一个小而快的草稿模型先猜若干 token、大模型再验证;DFlash 的草稿端用块扩散一次并行地起草一段 token,目标是又快又高质量。
dflash 的核心功能包括:块扩散草稿做投机解码、覆盖大量主流模型的现成草稿权重、四套推理后端集成、统一基准评测、训练配方将开源。
约 4.7k 星,热度来自推理加速这个高价值方向 + 落地完整度:投机解码是公认能显著降延迟的技术,但要为每个基座模型搞草稿模型、再接进 vLLM/SGLang 很费劲。DFlash 直接给了 20 多个主流模型的现成草稿权重、并由 NVIDIA、Modal 等帮忙接进主流 serving 框架,开箱即用、有论文背书,对做大模型推理部署的人很有吸引力。
适合:①做大模型推理部署、想用投机解码降低延迟/提高吞吐的工程师,尤其用 vLLM/SGLang serving 的团队;②用的基座模型在其支持列表内、想直接拿现成 DFlash 草稿加速的人;③做推理加速/投机解码研究、想复现或对比块扩散草稿方法的研究者;④Apple Silicon 上用 MLX 跑本地模型想提速的人。