Voicebox：36K Stars 开源 AI 语音工作室，本地克隆、生成、听写一条龙

发表于

Voicebox 是集 ElevenLabs（语音输出）+ WisprFlow（语音输入）+ MCP Agent 语音接口于一身的免费开源 AI 语音工作室。7 个 TTS 引擎、23 种语言、零样本语音克隆、全局听写热键，所有模型本地运行——你的声音数据永不离开你的电脑。36,000+ GitHub Stars，MIT 许可证，一次安装解决所有语音需求。

为什么 Voicebox 值得你关注？

AI 语音领域有两个巨头：ElevenLabs 负责「说话」（TTS 语音合成），WisprFlow 负责「听写」（语音转文字）。但它们是两家独立的商业公司，你的声音数据要上传到云端，每月还要付费订阅。

Voicebox 用一个免费开源项目，把两件事一起做了，还多了 AI Agent 语音接口——让 Claude、Cursor 等 AI 智能体能用你克隆的声音跟你对话。

关键数据：

  • 📦 GitHub Stars: **36,000+**（GitHub 仓库）
  • 🍴 Forks: 4,300+
  • 📝 许可证：MIT（完全免费开源）
  • 🏠 官网：voicebox.sh
  • ⚡ 技术栈：Tauri（Rust）+ React + FastAPI（Python）

核心功能一览

🎤 语音克隆与 TTS 合成

从几秒钟的音频样本就能零样本克隆一个声音。支持 7 个 TTS 引擎：

  • Qwen3-TTS / Qwen CustomVoice — 通义千问团队出品，自然度极高
  • LuxTTS — 轻量级高质量合成
  • Chatterbox / Chatterbox Turbo — 支持 [laugh]、[sigh] 等副语言标签，让合成语音带感情
  • HumeAI TADA — 情感语音合成
  • Kokoro — 50+ 预置声音选择

23 种语言全覆盖：从英语、中文、日语、阿拉伯语到斯瓦希里语。

🎧 语音后处理特效

合成之后还能加音效：音调调节、混响、延迟、合唱、压缩、滤波器……像专业音频工作站一样精细控制。

⌨️ 全局听写（语音输入）

按下全局热键，对着麦克风说话，文字自动出现在任何输入框中。基于 Whisper 语音识别，支持推按通话和连续切换两种模式。

🤖 AI Agent 语音输出

这是 Voicebox 最独特的功能：它内置了一个 MCP 服务器。AI 编程助手（Claude Code、Cursor、Cline 等）只需调用一个 oicebox.speak 工具，就能用你配置好的声音念出代码审查、错误信息或任何文本。相当于给你的 AI 助手装上了「嘴巴」。

🎭 声音人格（Voice Personalities）

可以为每个声音档案绑定一个自由格式的人设描述，配合内置的本地小语言模型（Qwen3 0.6B/1.7B/4B），实现润色、改写、回复三种模式。Agent 也可以通过 MCP 调用这些模式。

📖 故事编辑器

多轨道时间线编辑器，适合制作对话、播客、有声叙事。自动分块和交叉淡入淡出，支持超长文本无限制合成。

技术亮点

🦀 原生性能（非 Electron）

大多数桌面应用用 Electron（Chrome 内核打包），有点重。Voicebox 用 Tauri（Rust）构建，性能接近原生桌面应用，内存占用更低。

🔒 完全的本地隐私

所有模型在本地运行——语音数据、克隆的声音、听写记录永远不会上传到云端。三种推理后端可选：

  • MLX（Apple Silicon Mac）
  • CUDA（NVIDIA GPU）
  • CPU 回退（没有 GPU 也能用）

还支持 AMD ROCm 和 Intel Arc GPU。

🌐 REST API + MCP

Voicebox 提供了完整的 REST API 文档（http://127.0.0.1:17493/docs），同时内置 MCP 服务器，让其他 AI 工具无缝调用。

支持平台

平台 下载方式
macOS（Apple Silicon） DMG 安装包
macOS（Intel） DMG 安装包
Windows MSI 安装包
Linux 源码构建
Docker docker compose up

快速开始

  1. 从 GitHub Releases 下载对应平台的安装包
  2. 安装后首次启动会自动下载必要的 AI 模型（约 2-3GB，根据选择引擎不同）
  3. 导入一段音频或选择预置声音开始克隆
  4. 在任意应用中按全局热键开始听写
  5. 在支持 MCP 的 AI 工具中配置 Voicebox MCP 即可让 AI「说话」

💡 Windows 用户注意： 如果安装遇到问题，请参考故障排除指南。

总结

Voicebox 是 2026 年 AI 语音领域最让人兴奋的开源项目之一。它不只是一个 TTS 工具或听写工具，而是完整的语音 I/O 栈——输入（听写）、处理（LLM 润色）、输出（合成说话）全部覆盖。再加上 MCP 接口，AI Agent 第一次有了真正属于自己的声音。

如果你是内容创作者、AI 开发者、或者只是想要一个私有的语音助手，Voicebox 值得一试。

参考资源：