Real-Time Voice Cloning 是 Corentin Jemine 的 SV2TTS 硕士论文实现:说话人编码器从几秒参考音频提取嵌入,Tacotron 合成器把文本变成梅尔频谱,WaveRNN 声码器生成波形。它是教学和复现实验项目,不是当前语音克隆 SOTA。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md 查看 GitHub 仓库 → 📘 使用教程 →项目用完整三阶段代码和 GUI/CLI 展示少样本语音克隆,长期具有教学价值;但作者明确写明仓库已过时,并推荐查看 Chatterbox 等更新方案。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md从数秒参考音频提取固定维度的说话人表示,作为后续合成条件。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.mdTacotron 合成器结合文本和说话人嵌入生成梅尔频谱。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md第三阶段把频谱转成语音波形,仓库定位为可实时运行。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.mdWindows/Linux 均可用,uv 自动建虚拟环境,预训练模型可自动下载,也提供 GUI 与命令行演示。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md数据依次经过 encoder、synthesizer 和 vocoder。encoder 用 GE2E 思路把参考语音压缩成说话人嵌入;synthesizer 以文本和嵌入为条件产生梅尔频谱;vocoder 用 WaveRNN 生成波形。仓库把三部分拆成独立目录并提供训练、预处理、GUI 与 CLI 入口。推理会读取本地音频、自动下载模型,并可使用麦克风录音,因此要把参考音频、模型下载来源和输出文件一起纳入数据治理。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.mduvffmpeg预训练模型可选 NVIDIA CUDA适合学习 SV2TTS 三阶段结构、复现实验、测试本人或获得书面授权的声音,以及无障碍语音原型。作者已经说明音质落后于新项目,因此不宜作为无需评测即可上线的生产 TTS。FTC 也把欺诈、冒充和挪用创作者声音列为实际风险。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…截至 2026-09-23,官方 Releases 页面没有正式 Release。仓库以 master 分支和 uv 锁文件维护;作者在 README 明确说明项目已经过时,因此文档不把最近提交等同于稳定版本。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/releases;https://github.…status: official_docs_checked_not_run | checked_at: 2026-09-23 | environment: 核对官方 README、LICENSE、Releases 页面、pyproject 和 FTC 语音克隆风险资料 | limitations: 未克隆仓库,未安装依赖或 ffmpeg,未下载模型,未读取或录制音频,未运行 GUI/CLI,也未生成任何合成语音 | observed_output: 官方 Releases 页面没有正式版本;README 要求 ffmpeg 与 uv,支持 CPU/CUDA,并明确项目已经过时;LICENSE 为 MIT
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…相比官方 README 推荐的 Resemble AI Chatterbox,Real-Time Voice Cloning 是较早的 SV2TTS 三段式教学实现;Chatterbox 当前提供 Multilingual V3、350M Turbo 和 110M Nano,覆盖 23+ 语言、CPU/MPS/CUDA 与低延迟路径。学习经典架构可保留本项目,追求当前多语言、说话人相似度和低算力部署应优先评测 Chatterbox。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…这是理解 SV2TTS 编码器、合成器和声码器链路的经典代码库。适合在授权音频和隔离环境中学习,不适合直接当作当前生产方案;真实部署应同时比较 Chatterbox 等新模型,并建立同意、标记、防冒充和数据删除流程。
来源:github.com/CorentinJ/Real-Time-Voice-Cloning/blob/master/README.md;ht…没有。官方 GitHub Releases 页面没有正式发布;要复现实验应记录具体提交、uv 锁文件和下载的模型资产。
不算。作者在 README 中明确说仓库已经过时,并推荐查看更新研究和 Chatterbox 等项目。
可以。官方提供 `uv run --extra cpu` 的 GUI 和 CLI 路径;CPU 延迟与音质仍需用自己的硬件和样本评测。
不应在没有明确授权时这样做。只使用本人或书面同意的声音,标记合成输出,并遵守当地关于生物特征、版权、冒充、电话和广告的规则。