updated pipeline
This commit is contained in:
+21
-38
@@ -1,17 +1,22 @@
|
||||
English Documentation Please Click [here](https://github.com/Plachtaa/VITS-fast-fine-tuning/blob/main/README_EN.md)
|
||||
# VITS 快速微调
|
||||
这个代码库会指导你如何将自定义角色,甚至你自己的声线加入一个现有的VITS模型中,在1小时内的微调使模型具备如下功能:
|
||||
1. 在 你 & 你加入的角色 & 预设角色 之间进行任意声线转换
|
||||
2. 以 你的声线 & 你加入的角色声线 & 预设角色声线 进行中日英三语 文本到语音合成。
|
||||
这个代码库会指导你如何将自定义角色(甚至你自己),加入预训练的VITS模型中,在1小时内的微调使模型具备如下功能:
|
||||
1. 在 模型所包含的任意两个角色 之间进行声线转换
|
||||
2. 以 你加入的角色声线 进行中日英三语 文本到语音合成。
|
||||
|
||||
本项目使用的底模涵盖常见二次元男/女配音声线(来自原神数据集)以及现实世界常见男/女声线(来自VCTK数据集),支持中日英三语,保证能够在微调时快速适应新的声线。
|
||||
|
||||
欢迎体验微调所使用的底模!
|
||||
[](https://huggingface.co/spaces/Plachta/VITS-Umamusume-voice-synthesizer)
|
||||
欢迎体验微调所使用的底模!
|
||||
|
||||
中日英:[](https://huggingface.co/spaces/Plachta/VITS-Umamusume-voice-synthesizer)
|
||||
|
||||
中日:[](https://huggingface.co/spaces/sayashi/vits-uma-genshin-honkai)
|
||||
|
||||
### 目前支持的任务:
|
||||
- [x] 转换用户声线到 [这些角色](https://github.com/SongtingLiu/VITS_voice_conversion/blob/main/configs/finetune_speaker.json)
|
||||
- [x] 自定义角色的中日英三语TTS!
|
||||
- [x] 从 10条以上的短音频 克隆角色声音
|
||||
- [x] 从 3分钟以上的长音频 克隆角色声音
|
||||
- [x] 从 3分钟以上的视频(只包含单说话人) 克隆角色声音
|
||||
- [x] 通过输入 bilibili视频链接(只包含单说话人) 克隆角色声音
|
||||
|
||||
### 目前支持声线转换和中日英三语TTS的角色
|
||||
- [x] 赛马娘 (仅已实装角色)(预训练时使用的角色)
|
||||
@@ -26,36 +31,10 @@ English Documentation Please Click [here](https://github.com/Plachtaa/VITS-fast-
|
||||
建议使用 [Google Colab](https://colab.research.google.com/drive/1omMhfYKrAAQ7a6zOCsyqpla-wU-QyfZn?usp=sharing)
|
||||
进行微调任务,因为VITS在多语言情况下的某些环境依赖相当难以配置。
|
||||
### 在Google Colab里,我需要花多长时间?
|
||||
1. 安装依赖 (2 min)
|
||||
2. 录入你自己的声音,阅读内容会在UI中提供,每句不超过20个字。 (5~10 min)
|
||||
3. 上传你希望加入的其它角色声音,用一个`.zip`文件打包
|
||||
文件结构应该如下所示:
|
||||
```
|
||||
Your-zip-file.zip
|
||||
├───Character_name_1
|
||||
├ ├───xxx.wav
|
||||
├ ├───...
|
||||
├ ├───yyy.mp3
|
||||
├ └───zzz.wav
|
||||
├───Character_name_2
|
||||
├ ├───xxx.wav
|
||||
├ ├───...
|
||||
├ ├───yyy.mp3
|
||||
├ └───zzz.wav
|
||||
├───...
|
||||
├
|
||||
└───Character_name_n
|
||||
├───xxx.wav
|
||||
├───...
|
||||
├───yyy.mp3
|
||||
└───zzz.wav
|
||||
```
|
||||
注意音频的格式和名称都不重要,只要它们是音频文件。
|
||||
质量要求:2秒以上,20秒以内,尽量不要有背景噪音。
|
||||
数量要求:一个角色至少10条,最好每个角色20条以上。
|
||||
你可以选择进行步骤2或3,或二者一起,取决于你的需求。
|
||||
|
||||
4. 进行微调 (30 min)
|
||||
1. 安装依赖 (3 min)
|
||||
2. 选择预训练模型,详细区别参见Colab笔记本页面。
|
||||
3. 上传你希望加入的其它角色声音,详细上传方式见[DATA.MD]()
|
||||
4. 进行微调,根据选择的微调方式和样本数量不同,花费时长可能在20分钟到2小时不等。
|
||||
|
||||
微调结束后可以直接下载微调好的模型,日后在本地运行(不需要GPU)
|
||||
|
||||
@@ -64,7 +43,7 @@ Your-zip-file.zip
|
||||
1. 下载最新的Release包(在Github页面的右侧)
|
||||
2. 把下载的模型和config文件放在 `inference`文件夹下, 确保模型的文件名为 `G_latest.pth` ,config文件名为 `finetune_speaker.json`
|
||||
3. 一切准备就绪后,文件结构应该如下所示:
|
||||
```shell
|
||||
```
|
||||
inference
|
||||
├───inference.exe
|
||||
├───...
|
||||
@@ -73,3 +52,7 @@ inference
|
||||
```
|
||||
4. 运行 `inference.exe`, 浏览器会自动弹出窗口, 注意其所在路径不能有中文字符或者空格.
|
||||
|
||||
## 在MoeGoe使用
|
||||
0. MoeGoe以及类似其它VITS推理UI使用的config格式略有不同,需要下载的文件为模型`G_latest.pth`和配置文件`moegoe_config.json`
|
||||
1. 按照[MoeGoe](https://github.com/CjangCjengh/MoeGoe)页面的提示配置路径即可使用。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user