OmniVoice 是什么?

OmniVoice 是 k2-fsa 发布的多语言零样本文本转语音模型,提供自动选声、语音设计和语音克隆三种生成方式。官方称覆盖 600 多种语言,模型采用扩散语言模型式架构,并提供 Python API、单条与批量 CLI、Gradio 演示界面。

⭐ 6,861 Stars 🍴 1,034 Forks Python — 作者: k2-fsa
来源:github.com/k2-fsa/OmniVoice 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

它把广语言覆盖、短参考音频克隆、可描述的音色设计和多硬件后端放在同一套接口中。这些数值只用于判断持续搜索需求,不能当作独立用户数。

来源:github.com/k2-fsa/OmniVoice

核心功能

三种语音生成方式

自动选声不需要参考音频;语音设计用年龄、音高、口音等属性描述声音;语音克隆从短参考音频提取音色。三种方式共用 generate API,也可从 CLI 调用。

来源:github.com/k2-fsa/OmniVoice
参考音频与提示复用

官方建议语音克隆使用 3 至 10 秒参考音频。0.2.1 增加 VoiceClonePrompt.save/load,可保存提示并在后续会话复用;省略 ref_text 时会用 Whisper 自动转写,也可指定 asr_model_name 和 asr_device。

来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/relea…
发音与非语言声音控制

输入中可加入 laughter、sigh 等标签;中文可用带声调数字的拼音纠音,英文可用 CMU 词典格式的音素覆盖读音。数字、日期与货币规范化是可选功能。

来源:github.com/k2-fsa/OmniVoice
多硬件与批量推理

官方安装说明覆盖 NVIDIA CUDA、Apple Silicon 和 Intel XPU。Intel XPU 不支持 flash_attn,会回退到 SDPA;批量 CLI 可把推理分配到多张 GPU。

来源:github.com/k2-fsa/OmniVoice

技术架构

OmniVoice 从 Hugging Face 加载预训练模型,把文本与可选的参考音频、参考文本或音色属性送入统一的 generate 接口。语音克隆会形成可保存的 VoiceClonePrompt;未提供参考文本时,Whisper 负责转写。输出是 24 kHz 波形数组。项目同时封装 Gradio demo、单条推理 CLI 和多 GPU 批处理 CLI。官方把核心模型描述为扩散语言模型式架构。

来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/relea…

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) torch>=2.4 torchaudio>=2.4 transformers>=5.3.0transformers>=… accelerate soundfile 三种语音生成方式 参考音频与提示复用 发音与非语言声音控制 多硬件与批量推理 OmniVoice 项目本体 核心功能 关键依赖

技术栈

语言Python框架PyTorch、Transformers 与 Hugging Face 预训练模型
torch>=2.4torchaudio>=2.4transformers>=5.3.0acceleratesoundfilegradio
Python >=3.10;NVIDIA CUDA、Apple Silicon 或 Intel XPU;PyPI 包和 uv 安装;Apache-2.0 许可
来源:github.com/k2-fsa/OmniVoice/blob/master/pyproject.toml;https://github…

快速上手

新建 Python 3.10 或更高版本的虚拟环境,按硬件从官方渠道安装匹配的 PyTorch,再执行 pip install omnivoice。用 omnivoice-demo --ip 127.0.0.1 --port 8001 只在本机打开界面;首次加载还会下载模型。先用不涉及真人音色的 Auto Voice 做烟雾测试,再按需要评估 Voice Design。只有取得声音权利人明确授权后,才应把 3 至 10 秒参考音频用于克隆。
来源:github.com/k2-fsa/OmniVoice

使用场景

适合多语言旁白原型、授权配音人的跨语言合成、音色属性实验和批量 TTS 研究。Voice Design 主要用中英文数据训练,其他语言可能不稳定;跨语言克隆可能带入参考音频语言的口音。对外发布时应标明合成语音,并保存授权与生成记录。

来源:github.com/k2-fsa/OmniVoice

优势与局限

优势

  • 自动选声、音色设计和语音克隆共用一套 API 与 CLI
  • 官方提供 600 多种语言清单、训练评估入口与多个硬件安装路径
  • 0.2.1 支持克隆提示跨会话保存,并修正 ASR 设备选择
  • 单条推理、Gradio 界面和多 GPU 批处理均有官方入口

局限

  • 600 多种语言是覆盖声明,不代表各语言具有相同自然度或稳定性
  • Voice Design 主要用中文和英文训练,低资源语言与边界输入可能不稳定
  • 跨语言克隆可能保留参考音频语言的口音
  • 模型权重、显存、硬件后端和 PyTorch 版本都会影响能否运行与实际速度
  • 语音克隆存在冒充与诈骗风险,必须取得授权并限制访问
来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/relea…

最新版本

2026-09-23 核对时,Latest release 为 0.2.1,GitHub 页面显示 2026-07-16 发布。该版让 flex_attention 遵循 autocast,修正延迟加载时的 asr_model_name 和 ASR 固定占用 GPU 0 的问题,加入 asr_device、VoiceClonePrompt.save/load 与可选文本规范化。

来源:github.com/k2-fsa/OmniVoice/releases/tag/0.2.1;https://github.com/k2-…

实测与证据

status: docs_only_official_sources_checked_not_installed  |  checked_at: 2026-09-23  |  environment: 只阅读 k2-fsa/OmniVoice 官方 README、pyproject.toml、0.2.1 release,以及 myshell-ai/OpenVoice 官方 README;没有安装 Python 包或下载模型权重与音频  |  limitations: 没有本机观察模型下载、显存占用、生成音质、600 多种语言效果、RTF、ASR 转写、Web UI、CLI 或不同硬件兼容性。文中的能力与性能均按官方资料表述,其中 RTF 是项目报告值。  |  observed_output: GitHub API 和 Releases 页面均把 0.2.1 作为最新正式版,页面显示 2026-07-16 发布;主分支 pyproject.toml 版本也是 0.2.1,要求 Python >=3.10。

来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/blob/…

同类项目对比

相比 OpenVoice V2,OmniVoice 官方主打 600 多种语言、Auto Voice、Voice Design、可保存克隆提示以及多 GPU 批处理。OpenVoice V2 的官方 README 明确列出英语、西班牙语、法语、中文、日语和韩语六种原生语言,重点是音色克隆、风格控制和跨语言克隆,并采用 MIT 许可。需要广语言入口与统一 CLI 时可先评估 OmniVoice;更看重 OpenVoice 的六种原生语言、风格控制或 MIT 许可时,可评估 OpenVoice。两者的克隆效果都要用已授权样本实测。

来源:github.com/k2-fsa/OmniVoice;https://github.com/myshell-ai/OpenVoice

总结评价

OmniVoice 值得用于多语言 TTS 与授权音色实验,但先用 Auto Voice 验证环境和资源占用更稳妥。项目报告的 600 多种语言与低 RTF 不能替代自己的语料测试。涉及真人声音时,授权、合成标识、文件访问控制和公网暴露检查应放在功能试用之前。

来源:github.com/k2-fsa/OmniVoice

常见问题

OmniVoice 当前版本和 Python 要求是什么?

2026-09-23 核对时,GitHub Latest release 与主分支 pyproject.toml 都是 0.2.1;pyproject.toml 要求 Python 3.10 或更高版本。

OmniVoice 不写 ref_text 也能克隆吗?

可以。官方示例说明省略 ref_text 后会用 Whisper 自动转写参考音频;0.2.1 还支持指定 asr_model_name 和 asr_device。首次使用可能下载额外 ASR 模型,应检查网络、磁盘与数据处理边界。

OmniVoice 的 600 多种语言都一样稳定吗?

官方声明的是语言覆盖,不是逐语言质量保证。Voice Design 主要在中文和英文数据上训练,其他语言的低资源或边界输入可能不稳定;跨语言克隆还可能带入参考音频语言的口音。

怎样降低 OmniVoice 被用于声音冒充的风险?

只使用本人声音或已取得明确授权的素材,保存授权与生成记录,对外内容标注为合成语音。Web 界面本机试用时绑定 127.0.0.1,不要直接暴露到公网,并限制参考音频和保存提示文件的访问权限。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新,请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 13:55.

参考材料:README、GitHub API、依赖文件