返回项目页

video-use 0.1.0:转录要上传音频,渲染仍需人工终审

video-use 把现有素材转成逐词时间戳,让 Agent 从文本选择片段、写 EDL,再用 ffmpeg 拼接、调色、加动画与字幕。它适合谈话类、多 take 和教程素材,但不是离线剪辑器:ElevenLabs Scribe 承担全部转录。

版本状态与搜索数据

仓库没有 GitHub Release 或 tag;pyproject.toml 写的是 0.1.0。当前核对的主分支提交 9575612 发布于 2026-08-30,修复音轨选择并拒绝上传静音轨。两期 Bing 的 video-usevideo use 合计从 806 次展现、13 次点击升到 859 次展现、16 次点击。

安装前先读源码说明

git clone https://github.com/browser-use/video-use ~/Developer/video-use
cd ~/Developer/video-use
git checkout 9575612f066aa517354790a645fd90f9f95a743b
uv sync  # 或 pip install -e .
python helpers/timeline_view.py --help
ffprobe -version

项目要求 Python 3.10+ 和现代 ffmpeg/ffprobe。应把整个仓库目录链接到 Agent 的 skills 目录,因为 SKILL.md 会调用同级 helpers/。yt-dlp、HyperFrames、Remotion 和 Manim 都是按需依赖;HyperFrames 当前要求 Node.js 22+。

媒体与费用:ElevenLabs key 保存在仓库根目录的 .env,官方建议权限设为仅用户可读。转录会把音频交给 Scribe 并消耗真实额度。客户采访、未发布产品或含个人信息的素材,必须先取得授权并核对数据处理政策。

实际剪辑流程

  1. 用 ffprobe 盘点每个源文件。
  2. 转录并缓存逐词结果,再生成紧凑的 takes_packed.md
  3. Agent 根据素材提出时长、节奏、保留内容、字幕和动画方案。
  4. 用户确认方案后才写 EDL;切点必须落在词边界并留出缓冲。
  5. 逐段提取和调色,拼接后加入动画,最后烧录字幕。
  6. 在每个切点检查画面跳变、爆音和遮挡;最多修复重渲染三轮,仍失败就交给用户判断。

失败排查

与 Remotion 对比

Remotion 用 React 组件定义画面、时间线和程序化渲染,适合模板化、数据驱动或批量视频。video-use 先从既有素材转录与选段,再生成 EDL 并调用 ffmpeg;Remotion 只是可选动画层之一。已有访谈素材要粗剪时更接近 video-use,长期维护 React 视频模板时更适合 Remotion。

验证边界:本轮只核对官方 README、install.md、SKILL.md、pyproject、env 示例和 GitHub API。未克隆或安装项目,未配置 ElevenLabs key,未上传媒体、运行转录、生成 EDL 或渲染视频,也未使用 Browser Use Box/Cloud。

这里仅补原教程没有展开的事实和边界。安装命令与操作步骤仍以前文为准。

先判断这个项目是否适合你

适合谁用

适合访谈、讲解、产品演示和多 take 素材的对话式粗剪与包装。它依赖语音转录来决定切点,不适合把纯音乐、复杂多机位叙事或严格广播交付完全交给无人审查的 Agent。

采用建议

video-use 有本批最强的连续项目词流量,应保留。教程要把 ElevenLabs 上传与费用、Agent shell 权限、无正式 Release、策略确认和人工终审写在核心步骤里,避免把它描述成无需监督的一键剪辑器。

原教程未展开的系统信息

核心功能

  • 文本驱动选段

    ElevenLabs Scribe 生成逐词时间戳,脚本压成 phrase 级文本,Agent 据此去除口头词、停顿和重复片段。

  • EDL 与 ffmpeg 渲染

    剪辑决策写进 EDL,按片段提取、拼接、叠加动画并最后烧录字幕,避免字幕被覆盖。

架构与数据流

`transcribe.py`/`transcribe_batch.py` 把音频发给 ElevenLabs Scribe,并把响应缓存到 `edit/transcripts/`;`pack_transcripts.py` 生成紧凑文本;Agent 与用户确认策略后写 EDL;`render.py` 逐段提取、拼接、合成动画并最后加字幕;`timeline_view.py` 在切点检查成片。所有项目产物写入素材目录下的 `edit/`。

常见问题

video-use 0.1.0 能在没有 ElevenLabs key 时转录吗?

不能。官方安装文档明确写明 Scribe 承担全部转录;没有 key 就不会转录。安装验证不应为此消耗额度,应等到有授权测试片段再做真实转录。

video-use 为什么要求链接整个仓库目录,而不是只复制 SKILL.md?

SKILL.md 会按同级相对路径调用 `helpers/` 中的转录、打包、渲染和时间线脚本。只复制技能文件会让这些脚本路径失效。

video-use 会在确认方案前直接剪素材吗?

按官方硬规则不会。流程应先盘点和转录,再用自然语言提出剪辑策略,获得用户确认后才写 EDL 和渲染;最终成片仍需人工审看。

video-use 没有 GitHub Release,怎样固定可复现版本?

记录并固定仓库提交 SHA、Python 锁文件、ffmpeg 版本、Scribe 模型响应和 EDL。当前核对的主分支提交为 `9575612f066aa517354790a645fd90f9f95a743b`。

官方来源:仓库安装文档编辑规则