video-use 0.1.0:转录要上传音频,渲染仍需人工终审
video-use 把现有素材转成逐词时间戳,让 Agent 从文本选择片段、写 EDL,再用 ffmpeg 拼接、调色、加动画与字幕。它适合谈话类、多 take 和教程素材,但不是离线剪辑器:ElevenLabs Scribe 承担全部转录。
版本状态与搜索数据
仓库没有 GitHub Release 或 tag;pyproject.toml 写的是 0.1.0。当前核对的主分支提交 9575612 发布于 2026-08-30,修复音轨选择并拒绝上传静音轨。两期 Bing 的 video-use 与 video use 合计从 806 次展现、13 次点击升到 859 次展现、16 次点击。
安装前先读源码说明
git clone https://github.com/browser-use/video-use ~/Developer/video-use
cd ~/Developer/video-use
git checkout 9575612f066aa517354790a645fd90f9f95a743b
uv sync # 或 pip install -e .
python helpers/timeline_view.py --help
ffprobe -version项目要求 Python 3.10+ 和现代 ffmpeg/ffprobe。应把整个仓库目录链接到 Agent 的 skills 目录,因为 SKILL.md 会调用同级 helpers/。yt-dlp、HyperFrames、Remotion 和 Manim 都是按需依赖;HyperFrames 当前要求 Node.js 22+。
.env,官方建议权限设为仅用户可读。转录会把音频交给 Scribe 并消耗真实额度。客户采访、未发布产品或含个人信息的素材,必须先取得授权并核对数据处理政策。实际剪辑流程
- 用 ffprobe 盘点每个源文件。
- 转录并缓存逐词结果,再生成紧凑的
takes_packed.md。 - Agent 根据素材提出时长、节奏、保留内容、字幕和动画方案。
- 用户确认方案后才写 EDL;切点必须落在词边界并留出缓冲。
- 逐段提取和调色,拼接后加入动画,最后烧录字幕。
- 在每个切点检查画面跳变、爆音和遮挡;最多修复重渲染三轮,仍失败就交给用户判断。
失败排查
- 脚本找不到:确认链接的是完整仓库目录,
SKILL.md与helpers/必须保持相邻。 - 401:ElevenLabs key 错误或过期。其他网络错误先停止,不要反复消耗额度。
- 转录为空:确认素材有可识别音轨;当前提交会拒绝上传静音轨。
- 字幕错位:检查 EDL 输出时间偏移和逐词时间戳,不要用缺少亚秒间隔的普通 SRT 替代。
- 渲染三轮仍有问题:保存中间产物并人工处理,不要让 Agent 无限循环。
与 Remotion 对比
Remotion 用 React 组件定义画面、时间线和程序化渲染,适合模板化、数据驱动或批量视频。video-use 先从既有素材转录与选段,再生成 EDL 并调用 ffmpeg;Remotion 只是可选动画层之一。已有访谈素材要粗剪时更接近 video-use,长期维护 React 视频模板时更适合 Remotion。
这里仅补原教程没有展开的事实和边界。安装命令与操作步骤仍以前文为准。
先判断这个项目是否适合你
适合谁用
适合访谈、讲解、产品演示和多 take 素材的对话式粗剪与包装。它依赖语音转录来决定切点,不适合把纯音乐、复杂多机位叙事或严格广播交付完全交给无人审查的 Agent。
采用建议
video-use 有本批最强的连续项目词流量,应保留。教程要把 ElevenLabs 上传与费用、Agent shell 权限、无正式 Release、策略确认和人工终审写在核心步骤里,避免把它描述成无需监督的一键剪辑器。
原教程未展开的系统信息
核心功能
文本驱动选段
ElevenLabs Scribe 生成逐词时间戳,脚本压成 phrase 级文本,Agent 据此去除口头词、停顿和重复片段。
EDL 与 ffmpeg 渲染
剪辑决策写进 EDL,按片段提取、拼接、叠加动画并最后烧录字幕,避免字幕被覆盖。
架构与数据流
`transcribe.py`/`transcribe_batch.py` 把音频发给 ElevenLabs Scribe,并把响应缓存到 `edit/transcripts/`;`pack_transcripts.py` 生成紧凑文本;Agent 与用户确认策略后写 EDL;`render.py` 逐段提取、拼接、合成动画并最后加字幕;`timeline_view.py` 在切点检查成片。所有项目产物写入素材目录下的 `edit/`。
常见问题
video-use 0.1.0 能在没有 ElevenLabs key 时转录吗?
不能。官方安装文档明确写明 Scribe 承担全部转录;没有 key 就不会转录。安装验证不应为此消耗额度,应等到有授权测试片段再做真实转录。
video-use 为什么要求链接整个仓库目录,而不是只复制 SKILL.md?
SKILL.md 会按同级相对路径调用 `helpers/` 中的转录、打包、渲染和时间线脚本。只复制技能文件会让这些脚本路径失效。
video-use 会在确认方案前直接剪素材吗?
按官方硬规则不会。流程应先盘点和转录,再用自然语言提出剪辑策略,获得用户确认后才写 EDL 和渲染;最终成片仍需人工审看。
video-use 没有 GitHub Release,怎样固定可复现版本?
记录并固定仓库提交 SHA、Python 锁文件、ffmpeg 版本、Scribe 模型响应和 EDL。当前核对的主分支提交为 `9575612f066aa517354790a645fd90f9f95a743b`。