Real-Time-Voice-Cloning 是什么?

Real-Time Voice Cloning 是 Corentin Jemine 的 SV2TTS 硕士论文实现:说话人编码器从几秒参考音频提取嵌入,Tacotron 合成器把文本变成梅尔频谱,WaveRNN 声码器生成波形。它是教学和复现实验项目,不是当前语音克隆 SOTA。

⭐ 59,596 Stars 🍴 9,412 Forks Python NOASSERTION 作者: CorentinJ
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

项目用完整三阶段代码和 GUI/CLI 展示少样本语音克隆,长期具有教学价值;但作者明确写明仓库已过时,并推荐查看 Chatterbox 等更新方案。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md

核心功能

说话人编码

从数秒参考音频提取固定维度的说话人表示,作为后续合成条件。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md
文本到梅尔频谱

Tacotron 合成器结合文本和说话人嵌入生成梅尔频谱。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md
实时 WaveRNN 声码器

第三阶段把频谱转成语音波形,仓库定位为可实时运行。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md
工具箱与 CLI

Windows/Linux 均可用,uv 自动建虚拟环境,预训练模型可自动下载,也提供 GUI 与命令行演示。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md

技术架构

数据依次经过 encoder、synthesizer 和 vocoder。encoder 用 GE2E 思路把参考语音压缩成说话人嵌入;synthesizer 以文本和嵌入为条件产生梅尔频谱;vocoder 用 WaveRNN 生成波形。仓库把三部分拆成独立目录并提供训练、预处理、GUI 与 CLI 入口。推理会读取本地音频、自动下载模型,并可使用麦克风录音,因此要把参考音频、模型下载来源和输出文件一起纳入数据治理。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) uv ffmpeg 预训练模型 可选 NVIDIA CUDA 说话人编码 文本到梅尔频谱 实时 WaveRNN 声码器 工具箱与 CLI Real-Time-Voice-Clon… 项目本体 核心功能 关键依赖

技术栈

语言Python框架PyTorch;SV2TTS、Tacotron、WaveRNN、GE2E
uvffmpeg预训练模型可选 NVIDIA CUDA
Windows/Linux;CPU 或 NVIDIA GPU;本地 GUI/CLI
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

快速上手

先安装 ffmpeg 与 uv,从官方仓库固定提交,在隔离目录执行 `uv run --extra cpu demo_cli.py`;有受支持 NVIDIA GPU 时可用 `--extra cuda`。预训练模型会自动下载。只使用本人录音、明确授权的测试音频或许可清楚的数据集,给输出加明显的合成标记,并禁止用于身份冒充、电话营销或误导性发布。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

使用场景

适合学习 SV2TTS 三阶段结构、复现实验、测试本人或获得书面授权的声音,以及无障碍语音原型。作者已经说明音质落后于新项目,因此不宜作为无需评测即可上线的生产 TTS。FTC 也把欺诈、冒充和挪用创作者声音列为实际风险。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

优势与局限

优势

  • 三阶段实现和论文对应关系清楚
  • GUI 与 CLI 便于教学观察
  • 支持 CPU/CUDA 和 Windows/Linux
  • 代码采用 MIT License

局限

  • 作者明确说明项目已经过时
  • 没有正式 GitHub Release,复现需固定提交
  • 自动下载模型,首次运行依赖网络与外部资产
  • 语音克隆可能被用于冒充、诈骗或未经许可的声音挪用
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

最新版本

截至 2026-09-23,官方 Releases 页面没有正式 Release。仓库以 master 分支和 uv 锁文件维护;作者在 README 明确说明项目已经过时,因此文档不把最近提交等同于稳定版本。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/releases;https://github.…

实测与证据

status: official_docs_checked_not_run  |  checked_at: 2026-09-23  |  environment: 核对官方 README、LICENSE、Releases 页面、pyproject 和 FTC 语音克隆风险资料  |  limitations: 未克隆仓库,未安装依赖或 ffmpeg,未下载模型,未读取或录制音频,未运行 GUI/CLI,也未生成任何合成语音  |  observed_output: 官方 Releases 页面没有正式版本;README 要求 ffmpeg 与 uv,支持 CPU/CUDA,并明确项目已经过时;LICENSE 为 MIT

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

同类项目对比

相比官方 README 推荐的 Resemble AI Chatterbox,Real-Time Voice Cloning 是较早的 SV2TTS 三段式教学实现;Chatterbox 当前提供 Multilingual V3、350M Turbo 和 110M Nano,覆盖 23+ 语言、CPU/MPS/CUDA 与低延迟路径。学习经典架构可保留本项目,追求当前多语言、说话人相似度和低算力部署应优先评测 Chatterbox。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

总结评价

这是理解 SV2TTS 编码器、合成器和声码器链路的经典代码库。适合在授权音频和隔离环境中学习,不适合直接当作当前生产方案;真实部署应同时比较 Chatterbox 等新模型,并建立同意、标记、防冒充和数据删除流程。

来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…

常见问题

Real-Time Voice Cloning 有正式版本号吗?

没有。官方 GitHub Releases 页面没有正式发布;要复现实验应记录具体提交、uv 锁文件和下载的模型资产。

Real-Time Voice Cloning 现在还算语音克隆 SOTA 吗?

不算。作者在 README 中明确说仓库已经过时,并推荐查看更新研究和 Chatterbox 等项目。

Real-Time Voice Cloning 没有 NVIDIA GPU 能运行吗?

可以。官方提供 `uv run --extra cpu` 的 GUI 和 CLI 路径;CPU 延迟与音质仍需用自己的硬件和样本评测。

可以用 Real-Time Voice Cloning 克隆别人的声音吗?

不应在没有明确授权时这样做。只使用本人或书面同意的声音,标记合成输出,并遵守当地关于生物特征、版权、冒充、电话和广告的规则。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新,请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 13:55.

参考材料:README、GitHub API、依赖文件