开源 ElevenLabs 平替来了！OmniVoice Studio 本地免费实现电影级配音

项目简介

实时听写 + 3秒零样本语音克隆 + 646种语言视频配音，全程本地运行，无需账号、无需API密钥！

它能让你在自己的电脑上完成：

• 3秒音频实现任意声音克隆
• 电影级视频自动配音（支持 YouTube 链接直接转配音）
• 全局快捷键实时听写（任意软件都能用）
• 人声分离、说话人区分、AI水印等专业功能

全部本地运行，完全免费开源！

特点

• 🎙️ 零样本语音克隆：只需3秒音频，就能完美复刻声音，支持 646种语言
• 🎨 精细语音设计：可调节性别、年龄、口音、情感、语速、音高、方言等
• 🎬 智能视频配音：输入视频或YouTube链接 → 自动转录 → 翻译 → 重新配音 → 输出新MP4
• ⌨️ 全局听写小部件：按 ⌘ + ⇧ + Space 即可在任意应用中实时转录并自动粘贴
• 🔊 人声分离：基于 Demucs，可从音乐中干净分离人声并保留背景
• 👥 说话人区分：自动判断视频里谁在说话
• 📦 批量处理：一次拖入50个视频，挂机自动完成
• 🛡️ AI水印：内置 Meta AudioSeal，生成的内容可追溯
• 🔐 100% 本地隐私：无需联网、无需上传数据

支持的平台与安装方式

OmniVoice Studio 支持 Windows、macOS、Linux 三大平台，提供以下三种使用方式：

1. 最推荐 – 桌面应用（最简单）
直接下载安装包（macOS DMG / Windows MSI / Linux AppImage），安装后启动即可。首次会自动下载所需模型，之后使用非常方便。

2. Docker 一键部署
适合有服务器或喜欢容器化的用户，一条命令即可启动，支持 CPU 和 NVIDIA GPU。

3. 从源码运行（开发者推荐）

git clone https://github.com/debpalash/OmniVoice-Studio.git
cd OmniVoice-Studio
bun install && bun run dev

支持热重载，方便二次开发和修改。

关键技术

• 主要 TTS 引擎（多引擎可切换）：

• OmniVoice（默认，自研/集成）：600+ 语言零样本语音克隆。基于 Diffusion Language Model（扩散语言模型）架构，离散非自回归（NAR），支持指令跟随（Instruct）、语音设计（性别、年龄、口音、情感等）。
• 支持其他引擎：CosyVoice 3、MLX-Audio（Apple Silicon 专属：Kokoro、Qwen3-TTS 等）、VoxCPM2、MOSS-TTS-Nano、KittenTTS（轻量英文）。

• 语音识别（ASR）：

• WhisperX（主要）：带时间戳和说话人区分。
• Faster-Whisper（fallback）。
• MLX-Whisper（Apple Silicon 加速）。

• 说话人区分（Diarization）：Pyannote-audio + WhisperX。

• 人声分离：Demucs（保留背景音乐）。

• 其他音频处理：

• AudioSeal（Meta）：AI 生成音频隐形水印（抗压缩）。
• Pedalboard：音频效果处理。
• pydub + soundfile：音频格式转换。
• yt-dlp：YouTube 视频下载与处理。

• GPU/硬件加速：

• 自动检测：CUDA（NVIDIA）、MPS（Apple Silicon）、ROCm（AMD）、CPU。
• VRAM 感知自动卸载（≤8GB 时 TTS 卸载到 CPU）。
• Torch + Torchaudio（PyTorch 2.8+）。

项目对显存要求友好，8GB显存也能通过自动卸载机制正常运行。