DFlash 是用于投机解码的块扩散草稿模型与工具包。它让 draft 一次并行提出一块 token,再由目标模型验证;项目提供 DFlash 与 DFlash 2 checkpoint,并可通过 Transformers、MLX 或已启用 DFlash 的 OpenAI-compatible vLLM/SGLang 服务运行和评测。
来源:github.com/z-lab/dflash 查看 GitHub 仓库 → 📘 使用教程 →项目已发布 DFlash 2,支持列表、命令和后端边界与旧稿不同;当前正式包为 0.1.0,真正效果必须把目标模型、draft、硬件和基线锁定后再测。
来源:github.com/z-lab/dflash/releases/tag/v0.1.0draft 模型并行生成 token block,由目标模型验证,目标是减少自回归草稿阶段的串行开销。
来源:github.com/z-lab/dflashDFlash 2 当前提供 Muse-Glimmer-30B 和 Qwen3.8-27B checkpoint;原 DFlash 列出 Qwen、Gemma、MiniMax、Kimi、GPT-OSS、Llama、GLM 等多组权重。
来源:github.com/z-lab/dflashLinux 可用 Transformers,本地 Apple Silicon 可用 MLX;vLLM、SGLang、oMLX 或 llama.cpp 需单独安装并启动兼容服务。
来源:github.com/z-lab/dflashgsm8k、math500、humaneval、mbpp、mt-bench 使用同一入口,可分别测 OpenAI-compatible server、Transformers 与 MLX。
来源:github.com/z-lab/dflashdflash 包负责 CLI、draft/target 配对与 benchmark。Transformers 和 MLX 在本进程加载目标模型及对应 draft;服务端路径把请求发到已加载 DFlash 的 OpenAI-compatible vLLM/SGLang 等服务。checkpoint 与目标模型必须匹配,目标模型仍负责验证,所以输出分布和实际吞吐取决于两者及推理后端。
来源:github.com/z-lab/dflash基础包固定 tqdm 4.70.0、datasets 5.0.1、req…dflash[local] 在 Linux 安装 PyTorch/Tra…服务端测试需另装支持版本的 SGLang、vLLM、oMLX 或 lla…目标模型与对应的 DFlash/DFlash 2 checkpoint适合已经自托管大模型、能固定请求集并测量端到端吞吐和延迟的推理团队。先用相同 prompt、采样参数、batch/concurrency 与输出长度分别跑不开启 draft 和开启 DFlash 的基线;同时记录显存、接受长度、首 token 与总时延。
来源:github.com/z-lab/dflash最新 GitHub release 和 pyproject 版本均为 v0.1.0,发布于 2026-08-18。README 已加入 DFlash 2 checkpoint 与新 CLI 用法,部署时仍应固定 0.1.0 或具体 commit,并核对后端支持版本。
来源:github.com/z-lab/dflash/releases/tag/v0.1.0status: docs-only | checked_at: 2026-09-23 | environment: 核对官方 README、pyproject.toml、MIT LICENSE、DFlash/DFlash 2 checkpoint 列表、评测命令与 v0.1.0 release | limitations: 未安装 dflash、PyTorch、Transformers、MLX、vLLM 或 SGLang,未下载模型与数据集,未验证生成质量、接受率、延迟、吞吐和显存 | observed_output: PyPI/project 版本与最新 GitHub release 均为 0.1.0;release 页面标注 2026-08-18,pyproject 要求 Python 3.10+
来源:github.com/z-lab/dflash/releases/tag/v0.1.0SafeAILab/EAGLE 的 EAGLE-3 用自回归 draft head 做投机解码,官方仓库提供训练、推理和一批匹配 checkpoint;DFlash 的区别是用 block diffusion 并行起草,并把 Transformers、MLX 与 OpenAI-compatible server benchmark 放进同一 CLI。已有 EAGLE checkpoint 或依赖 SGLang SpecForge 训练链时先看 EAGLE;想评估扩散式并行 draft 或 Apple Silicon MLX 路径时看 DFlash。
来源:github.com/SafeAILab/EAGLEDFlash 把扩散式 draft 从论文推进到可调用的本地和服务端工具。是否值得采用只能靠同条件对照实验决定;先从一个官方配对的 target/draft 和 128 条固定请求开始,再决定是否承担额外模型、显存与后端复杂度。
来源:github.com/z-lab/dflash不可以。DFlash 2 当前明确列出 Muse-Glimmer-30B 和 Qwen3.8-27B;target 与 draft 应按官方支持表配对。
不会。基础包只提供 CLI 与轻量依赖;服务端后端需要单独安装和启动,dflash 再通过 base URL 访问。
不一定。官方对量化 target 和 draft 建议 block_size 不超过 5,因为 MLX 当前量化矩阵乘内核在更大验证宽度下会变慢。
用同一请求集、采样参数、并发和输出长度做开关对照,同时记录首 token、总时延、吞吐、显存和 draft 接受情况。