这几天配合 GPT-SoVITS 微调了 TTS 模型，效果超出预期，可能不久的将来 AI 语音就能达到人类水平(?)，特别是经过深度调教的。本文将给出步骤参考学习，并着重介绍綾地寧々的 TTS 语音效果【建议使用耳机/宅向内容警告⚠️】

先给几个效果参考，整体来说配合精挑的参考和手 K 的停顿和升降调可以达到很不错的效果，不仔细听可能分辨不出来，中文和日语【注：仅供技术交流学习，不发布和公开权重和解包数据】

分两条线，一条是语音数据清洗，然后是配置 GPT-SoVITS^{[1]开源模型 GPT-SoVITS} 和训练。语音数据用的是 YUZU-SOFT (柚子社) 《魔女的夜宴》中綾地寧々的语音数据，我用的是日文原版光碟做的解包，Steam 的高清版解包难度会更大

怎么解：用 LLM 狠狠蹬 (DeepSeek 处理不了的换 GPT Sol)，让模型暴力破解，而且需要配合 ghidra-mcp 自动化逆向引擎 dll 对应的拆包和 parser 逻辑，成功破解:

其中关于 voiceFile 的解密花了很大功夫，DeepSeek 找了很久搞不定（5小时）换 GPT-6 Sol 半小时成功处理并解密，总共解压出来差不多 23,000 个音频文件，批量过了一下 ffmpeg 校验合法性，大概有 1% 是报错的，由于 Copilot 额度快没了，这部分非法文件做了踢出。（让 GPT 继续跑估计能逆向出全部细节）

总之经过漫长的处理，最后形成类似这样带 meta 的全量 jsonl 数据:

接下来就是做 TTS 微调了。GPT-SoVITS 是一个 few-shot 音色克隆 TTS 系统，可以仅提供几句话就能克隆音色，但需要达到最佳效果最好做微调。

微调需要关注两个权重，同时也是系统的两个主要模块：GPT 和 SoVITS。

整个 TTS 任务需要这两个基模共同完成语音生成任务，具体细节官网文档和 WebUI 做的很傻瓜式，只需要配好全局代理等完 py 脚本跑完，并按格式准备好数据集就可以开始跑梯度下降微调模型了（配合 LLM 估计没有难度）

我这波整个微调在双卡 3080 上 2 小时跑完默认训练配置: v2proplus / GPT 15 epoch, SoVITS 8 epoch，注意这里不要用 mac 做训练，官方没有做适配用的 CPU 做梯度，极慢，但是推理可以用 mac 没有大问题（因为推理走的另外一个框架...）

还有一个细节需要注意，由于引入了 GPT，所以 Transformer 那股味一起带进来了：幻觉、词重复、采样不稳定、推理开销重等，换句话说：生成语音需要开奖多次

最后就是测试了，这套架构配合微调后可以生成相对很逼真的语音，非母语学习者可能无法分辨，下面是一个简易的 benchmark 盲测，原声来自验证集不会被训练到，可以对比 AI 泛化效果跟真人差距，供参考。

中文迁移测试，GPT-SoVITS 支持中文迁移，这里列一些效果，供参考（迁移后效果差的比较多了，原来的训练集里只有日文配音，所以）

长文测试片段^{[2]这里选了之前写的一篇文章 ECZN 给 SICP 作序 摘录了一些内容}，供参考，找了一些文本，使用中文/日文生成，带不同情绪风格试试效果供参考，注意其中几段配合了不同的参考和手 K 的停顿/升降调，可以预见这类模型的玩法的上限会极高，仅做演示和参考。