视频扩散模型推理机制解读：Chain-of-Steps 挑战 Chain-of-Frames

背景：视频生成模型会"推理"？

近期研究发现了一个意想不到的现象：基于扩散的视频生成模型展现出了不容忽视的推理能力。此前有研究展示过，给定一个数学题的初始帧，视频模型可以"生成"出解题过程，每一帧对应解题的一个步骤。

此前的主流解释是 Chain-of-Frames（CoF）假设：推理沿帧序列逐步展开，类似于 LLM 中的 Chain-of-Thought，只不过"思维链"被展开在了视频帧中。

这个假设听起来很直觉，但它对吗？

核心发现：推理沿去噪步骤展开，而非帧序列

论文通过定性分析和定向探测实验，对 CoF 假设提出了不同解释：

具体来说：

• 在早期去噪步骤中，模型会同时探索多个候选解
• 随着去噪过程推进，模型逐步收敛到最终答案
• 推理更像是"逐步细化"，每次去噪迭代在全局层面推进推理，而非帧到帧的因果推导

CoF vs CoS：一个直觉对比

三种涌现推理行为

除了核心的 CoS 机制，论文还发现了三种对模型性能至关重要的涌现推理行为：

1. 工作记忆（Working Memory）

模型能在去噪过程中维持对先前信息的持久引用。这类似于人类解题时"记住前几步的中间结果"，模型不是每步从头开始，而是在去噪过程中维护一个隐式的工作记忆。

2. 自纠错与增强（Self-Correction and Enhancement）

模型能从错误的中间解中恢复。在去噪的早期阶段，模型可能会产生不正确的方案，但后续的去噪步骤能检测到这些错误并修正，最终收敛到正确答案。

3. 感知先于动作（Perception Before Action）

早期的去噪步骤负责建立语义基础（理解问题），后续步骤才执行结构化的推理操作。这与人类先"看懂题目"再"动手解题"的过程高度一致。

Diffusion Transformer 内部的功能分化

论文还深入到 Diffusion Transformer 的单个去噪步骤内部，发现了自发形成的功能分工：

• 早期层：编码密集的感知结构（理解输入）
• 中间层：执行推理计算（核心思考）
• 后期层：整合潜在表示（输出结果）

论文将这种现象称为"自发演化的功能特化"（self-evolved functional specialization），意味着这种分工不是通过显式监督来驱动的。

一个免训练的验证策略

基于以上发现，作者提出了一个简单的概念验证策略：用不同随机种子的相同模型生成多条去噪轨迹，然后在潜在空间中进行集成（ensemble）。

作者把它作为免训练概念验证，并在论文设置下报告了质量提升。它会增加多轨迹推理成本，是否适用于其他模型或任务，需要单独复测。

对实践者的启示

• 把去噪调度纳入消融：比较步数、调度器和种子时，同时记录质量、延迟与显存。
• 不要把更多步数等同于更强推理：论文描述了沿步骤展开的机制，但没有证明步数与能力单调增长。
• 多轨迹集成要算完整成本：它免训练，却需要多次采样；生产使用应比较收益与额外推理费用。
• 跨模型结论仍待验证：图像、3D 或其他视频扩散模型不能直接套用同一结论。