兄弟们,声音克隆这玩意儿之前还挺麻烦的吧?要录长时间样本、训练模型、等几小时才能用。现在好了——小红书开源了Dots TTS,3秒录音就能完美复刻你的声音,还能跨语言说英语、法语、韩语,连情绪都能迁移过去。最关键的是——免费!本地跑!6G显存就能玩!
这篇文章手把手教你从下载到实战,不需要任何编程基础。
准备工作
| 项目 | 要求 |
|---|---|
| 显卡 | NVIDIA 显卡,6GB 以上显存(推荐 8GB) |
| 系统 | Windows 10/11(有整合包,解压即用) |
| 硬盘 | 至少 10GB 空闲空间(模型文件约 5-8GB) |
| 网络 | 第一次运行需要下载模型,约 5-10 分钟 |
⚠️ 注意:如果你是 AMD 显卡或者只有核显,Dots TTS 目前只支持 NVIDIA CUDA,暂时用不了。不过你可以去官网搜一下有没有 CPU 版本更新。
第1步:下载 Dots TTS
官方代码托管在 GitHub 上,不过国内可能打不开。别急——作者已经贴心地做了整合包,Windows 直接解压就能用。
官方项目地址 👉 https://github.com/dots-tts/dots-tts
下载方法:
打开上面 GitHub 页面 → 找到 Releases 区域 → 下载最新版本的 Windows 整合包(点那个写着 DotsTTS_Windows_vX.X.zip 的文件)
⚠️ 如果 GitHub 打不开,直接百度搜索 “Dots TTS 整合包” 或 “小红书 TTS 下载”,各大论坛和博客都有热心网友分享的网盘链接。
整合包里有什么
下载解压后,你会看到两个启动脚本:
- start_soar.bat — SOAR 模型版本,16步推理,音色更准(推荐首选)
- start_mf.bat — 蒸馏模型版本,4步推理,速度更快
两个版本显存占用差不多都是 6GB 左右。建议第一次先用 SOAR 版本,音质更好。
第2步:启动 Dots TTS
双击 start_soar.bat,第一次运行会自动下载模型文件(约 5-8GB),耗时取决于你的网速。
⚠️ 注意:国内用户第一次下载模型时,建议提前开好代理的全局模式,否则下载可能会非常慢。如果没条件挂代理,可以等一会儿——它支持断点续传,下次启动会接着下。
等命令窗口所有步骤加载完成,它会自动弹出浏览器打开 Web UI 界面,地址通常是 http://127.0.0.1:7860。
验证:浏览器里能看到一个简洁的网页界面,有上传区域和生成按钮,说明启动成功。
第3步:第一次语音克隆——跨语言音色迁移
这是 Dots TTS 最牛的功能——只凭几秒录音,就能让你的声音说外语。
操作步骤:
- 准备一段参考音频(3-10秒的人声录音,越干净越好,不要有背景音乐)
- 在 Web UI “参考音频”区域,点击上传你的音频文件(支持 mp3、wav、m4a 格式)
- 在 “参考音频文本” 框里填上音频里说的话(不填也行,但填了效果更好)
- 在 “合成内容” 框里输入你要生成的话,可以写中文、英文、日文、韩文——什么语言都行
- 点击 “生成” 按钮,等几秒就能听到结果
# 一次生成四种语言示范 合成内容框分别输入: The weather is nice today. # 英语 Il fait un temps assez doux. # 法语 No tenemos clase esta tarde. # 西班牙语 오늘 날씨가 정말 좋네요. # 韩语
一个参考音频,四种语言——这就是零样本跨语言克隆。Dots TTS 直接输出 48K 高保真音频,几乎听不到电子音,效果非常震撼。
参数调优:让情绪更强烈
如果你想生成的语音情绪更强烈(更愤怒、更兴奋、更悲伤),可以点开界面里的 “参数设置”:
- CFG 参数:默认 1.2,可以往上调到 1.5 或 1.6,语气会更明显
- 注意:数值别超过 2.0,否则可能会出现电音(那种机器人的嘶嘶声)
第4步:情绪迁移——同样的台词,不同的味道
这是 Dots TTS 真正让人惊艳的地方。你换一段不同情绪的参考音频,生成的语音也会带上那种情绪。
实操方法:
- 准备三段不同情绪的参考音频:
– 平常语气(正常说话)
– 疑问/惊讶语气
– 愤怒/伤心语气 - 保持合成文本不变(比如都用”如果必须有人承担后果,那为什么一定是他”)
- 每次切换参考音频,点生成
你会发现三段的语速、语气、停顿位置都不一样——情绪真的迁移过去了。大部分时候只需要 10 秒的参考音频就能完美复刻语气。
第5步:保存常用参考音频(超实用)
如果你经常用某些参考音频(比如不同情绪的音频),每次上传太麻烦。Dots TTS 支持预设功能:
- 打开 Dots TTS 的安装目录,找到
references/文件夹 - 把你常用的参考音频文件(比如
平常.wav、愤怒.wav)复制进去 - 用记事本打开同一目录下的
prompt_text.txt文件 - 每行写一个配置:
文件名|音频对应的文本内容
# prompt_text.txt 示例 平常.wav|今天天气真好,我们出去玩吧 愤怒.wav|你到底想怎么样?我已经受够了! 疑问.wav|真的假的?你说的这个靠谱吗?
- 保存文件,重启 Web UI
- 界面上就会多一个下拉菜单,可以直接选参考音频了
第6步:进阶玩法——接入大模型实时朗读
这是 Dots TTS 最有意思的玩法——让它和本地 AI 模型联动,做成自己的实时语音助手。
作者在 GitHub 上提供了配套脚本,可以接:
- 本地 Ollama(如 Qwen2.5-1.5B 小模型)
- 云端 API(如 DeepSeek,填上 API Key 即可)
本地 Ollama 模式:
- 先装好 Ollama(官网下载,双击安装就行)
- 在 Ollama 里拉一个模型,比如
ollama pull qwen2.5:1.5b - 下载 Dots TTS 配套的对话脚本
- 双击运行脚本,直接在命令行里和模型聊天
- Dots TTS 会实时朗读模型的回复——就像真人对话一样
注意:同时跑两个模型(Ollama + Dots TTS)显卡会有点吃力,所以本地建议用 1.5B 的小模型。如果接云端 API(DeepSeek 之类),显存只跑 Dots TTS 就够用了,朗读基本没延迟。
# 接云端 DeepSeek 的脚本用法 # 填上你的 DeepSeek API Key # 指定参考音频路径 python dots_chat.py --api_key sk-xxxx --ref_audio 平常.wav
这个脚本地一次启动会现场编译推理加速代码,大约需要 5 分钟。之后启动就快了。
使用技巧与注意事项
1. 克隆方言
Dots TTS 支持方言克隆——上传一段方言的参考音频就行。比如粤语、四川话、北京话、东北方言都可以。实测粤语效果最好,其他方言口音偏轻。如果对方言要求高,可以看看我们之前写的 VoxCPM 教程,那个方言支持更多。
2. 标点符号很重要
这个模型对标点很敏感——没有独立的停顿标签,但靠标点来控制节奏:
- 逗号(,):短暂停顿
- 句号(。):正常停顿
- 省略号(……):长停顿,效果非常明显
- 问号/感叹号:改变语调
3. 多音字处理
遇到多音字可以用带声调的拼音:
# 正确示范 他生平不 hào 交际,唯独 hào 喝酒烫头。 (用拼音标注读音)
4. 数字和符号
直接写数字(如 “876”、”1,248.5″)大部分情况下读不准。建议直接用汉字写出来:
# 推荐 今天是二零二六年六月二十一日,温度三十六摄氏度。 # 不推荐 今天是2026年6月21日,温度36摄氏度。
常见问题
Q:启动后网页打不开怎么办?
A:检查命令窗口是否还在运行(关了就没了)。第一次启动要下载模型,等”所有步骤加载完成”后,它会自动弹出浏览器。如果没弹,手动访问 http://127.0.0.1:7860。
Q:显存不够 6GB 能跑吗?
A:试一下蒸馏版(start_mf.bat),显存占用会低一些。如果还不行……老实说,这工具对显卡有硬门槛,6GB 以下是真跑不动。
Q:生成的语音有电音/嘶嘶声怎么办?
A:把 CFG 参数调低到 1.2 以下试试。CFG 过高(超过 2.0)会导致电音。
Q:能不能商用?
A:Dots TTS 是开源项目,具体要看它的开源协议。建议去 GitHub 看 LICENSE 文件确认。如果是非商用场景(自己玩、做视频配音、学习研究)完全没问题。
总结
Dots TTS 是目前开源语音克隆里效果最惊艳的工具之一。3 秒复刻音色、跨语言克隆、情绪迁移、实时朗读——这些功能放在一年前还是大公司的专利,现在一张 6G 显存的显卡就能跑。
如果你要的是长文本合成(比如有声书),效率可能不是最优的。但如果你要的是高质量音色克隆、情绪丰富的配音、多语言输出——Dots TTS 值得你花时间折腾一下。
最适合的场景:影视混剪配音、短剧对口型、AI 实时语音助手。