OmniVoice 是 k2-fsa 发布的多语言零样本文本转语音模型,提供自动选声、语音设计和语音克隆三种生成方式。官方称覆盖 600 多种语言,模型采用扩散语言模型式架构,并提供 Python API、单条与批量 CLI、Gradio 演示界面。
来源:github.com/k2-fsa/OmniVoice 查看 GitHub 仓库 → 📘 使用教程 →它把广语言覆盖、短参考音频克隆、可描述的音色设计和多硬件后端放在同一套接口中。这些数值只用于判断持续搜索需求,不能当作独立用户数。
来源:github.com/k2-fsa/OmniVoice自动选声不需要参考音频;语音设计用年龄、音高、口音等属性描述声音;语音克隆从短参考音频提取音色。三种方式共用 generate API,也可从 CLI 调用。
来源:github.com/k2-fsa/OmniVoice官方建议语音克隆使用 3 至 10 秒参考音频。0.2.1 增加 VoiceClonePrompt.save/load,可保存提示并在后续会话复用;省略 ref_text 时会用 Whisper 自动转写,也可指定 asr_model_name 和 asr_device。
来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/relea…输入中可加入 laughter、sigh 等标签;中文可用带声调数字的拼音纠音,英文可用 CMU 词典格式的音素覆盖读音。数字、日期与货币规范化是可选功能。
来源:github.com/k2-fsa/OmniVoice官方安装说明覆盖 NVIDIA CUDA、Apple Silicon 和 Intel XPU。Intel XPU 不支持 flash_attn,会回退到 SDPA;批量 CLI 可把推理分配到多张 GPU。
来源:github.com/k2-fsa/OmniVoiceOmniVoice 从 Hugging Face 加载预训练模型,把文本与可选的参考音频、参考文本或音色属性送入统一的 generate 接口。语音克隆会形成可保存的 VoiceClonePrompt;未提供参考文本时,Whisper 负责转写。输出是 24 kHz 波形数组。项目同时封装 Gradio demo、单条推理 CLI 和多 GPU 批处理 CLI。官方把核心模型描述为扩散语言模型式架构。
来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/relea…torch>=2.4torchaudio>=2.4transformers>=5.3.0acceleratesoundfilegradio适合多语言旁白原型、授权配音人的跨语言合成、音色属性实验和批量 TTS 研究。Voice Design 主要用中英文数据训练,其他语言可能不稳定;跨语言克隆可能带入参考音频语言的口音。对外发布时应标明合成语音,并保存授权与生成记录。
来源:github.com/k2-fsa/OmniVoice2026-09-23 核对时,Latest release 为 0.2.1,GitHub 页面显示 2026-07-16 发布。该版让 flex_attention 遵循 autocast,修正延迟加载时的 asr_model_name 和 ASR 固定占用 GPU 0 的问题,加入 asr_device、VoiceClonePrompt.save/load 与可选文本规范化。
来源:github.com/k2-fsa/OmniVoice/releases/tag/0.2.1;https://github.com/k2-…status: docs_only_official_sources_checked_not_installed | checked_at: 2026-09-23 | environment: 只阅读 k2-fsa/OmniVoice 官方 README、pyproject.toml、0.2.1 release,以及 myshell-ai/OpenVoice 官方 README;没有安装 Python 包或下载模型权重与音频 | limitations: 没有本机观察模型下载、显存占用、生成音质、600 多种语言效果、RTF、ASR 转写、Web UI、CLI 或不同硬件兼容性。文中的能力与性能均按官方资料表述,其中 RTF 是项目报告值。 | observed_output: GitHub API 和 Releases 页面均把 0.2.1 作为最新正式版,页面显示 2026-07-16 发布;主分支 pyproject.toml 版本也是 0.2.1,要求 Python >=3.10。
来源:github.com/k2-fsa/OmniVoice;https://github.com/k2-fsa/OmniVoice/blob/…相比 OpenVoice V2,OmniVoice 官方主打 600 多种语言、Auto Voice、Voice Design、可保存克隆提示以及多 GPU 批处理。OpenVoice V2 的官方 README 明确列出英语、西班牙语、法语、中文、日语和韩语六种原生语言,重点是音色克隆、风格控制和跨语言克隆,并采用 MIT 许可。需要广语言入口与统一 CLI 时可先评估 OmniVoice;更看重 OpenVoice 的六种原生语言、风格控制或 MIT 许可时,可评估 OpenVoice。两者的克隆效果都要用已授权样本实测。
来源:github.com/k2-fsa/OmniVoice;https://github.com/myshell-ai/OpenVoiceOmniVoice 值得用于多语言 TTS 与授权音色实验,但先用 Auto Voice 验证环境和资源占用更稳妥。项目报告的 600 多种语言与低 RTF 不能替代自己的语料测试。涉及真人声音时,授权、合成标识、文件访问控制和公网暴露检查应放在功能试用之前。
来源:github.com/k2-fsa/OmniVoice2026-09-23 核对时,GitHub Latest release 与主分支 pyproject.toml 都是 0.2.1;pyproject.toml 要求 Python 3.10 或更高版本。
可以。官方示例说明省略 ref_text 后会用 Whisper 自动转写参考音频;0.2.1 还支持指定 asr_model_name 和 asr_device。首次使用可能下载额外 ASR 模型,应检查网络、磁盘与数据处理边界。
官方声明的是语言覆盖,不是逐语言质量保证。Voice Design 主要在中文和英文数据上训练,其他语言的低资源或边界输入可能不稳定;跨语言克隆还可能带入参考音频语言的口音。
只使用本人声音或已取得明确授权的素材,保存授权与生成记录,对外内容标注为合成语音。Web 界面本机试用时绑定 127.0.0.1,不要直接暴露到公网,并限制参考音频和保存提示文件的访问权限。