[发明专利]一种自动拓增语料的语音合成模型训练方法和系统有效
申请号: | 201910726585.8 | 申请日: | 2019-08-07 |
公开(公告)号: | CN110390928B | 公开(公告)日: | 2022-01-11 |
发明(设计)人: | 徐波 | 申请(专利权)人: | 广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/047;G10L13/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 麦小婵;郝传鑫 |
地址: | 510530 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自动 语料 语音 合成 模型 训练 方法 系统 | ||
1.一种自动拓增语料的语音合成模型训练方法,其特征在于,包括以下步骤:
S1,收集文本-语音平行语料,记为原始语料A;
S2,将原始语料A的每个语音样本按照语音停顿分割成若干时长较短的语音片段;
S3,根据语音片段将对应的文本样本分割成若干文本片段;
S4,汇集所有的语音片段和文本片段,记为片段语料B;
S5,根据原始语料A和片段语料B构建深度学习方法的第一语音合成模型;
S6,多次重复从原始语料A中随机选择m个样本,将文本样本和语音样本分别拼接构成一个新的语料样本的步骤,并将所得到的全部新的语料样本记为原始构造语料C;
S7,多次重复从片段语料B中随机选择n个样本,将文本片段和语音片段分别拼接构成一个新的语料样本的步骤,并将所得到的全部新的语料样本称为片段构造语料D;
S8,使用原始构造语料C和片段构造语料D训练第一语音合成模型,得到第二语音合成模型;
S9,降低学习率,使用原始语料A、片段语料B和原始构造语料C训练第二语音合成模型;
S10,得到能够稳定合成语音的语音合成模型。
2.根据权利要求1所述的自动拓增语料的语音合成模型训练方法,其特征在于,步骤S1收集文本-语音平行语料具体包括以下方式:收集、整理和筛选开源文本-语音平行语料或预先设置好需要录音的文本,然后通过录音员录音的方式收集语音样本或预先收集清晰的语音音频,通过语音识别转为文本,然后人工修正文本内容得到文本样本。
3.根据权利要求1所述的自动拓增语料的语音合成模型训练方法,其特征在于,步骤S2中,预先设置语音安静时长的阈值,扫描语音样本,如果安静时长大于阈值则切分。
4.根据权利要求1所述的自动拓增语料的语音合成模型训练方法,其特征在于,步骤S5中语音合成模型包括但不限于tacotron模型、gst模型、deepvoice3模型、TransformerTTS模型。
5.根据权利要求1所述的自动拓增语料的语音合成模型训练方法,其特征在于,步骤S6中,预先设置m的取值集合,随机从m的取值集合中选取一个数值;用安静音频连接相邻的两段语音样本,用标点符号连接相邻的两段文本样本,预定义标点符号对应的安静音频时长。
6.根据权利要求1所述的自动拓增语料的语音合成模型训练方法,其特征在于,步骤S9中,原始语料A、片段语料B和原始构造语料C的数量一致,原始语料A、片段语料B重复使用。
7.一种自动拓增语料的语音合成模型训练系统,其特征在于,包括语料收集单元,用于收集文本-语音平行语料,记为原始语料A;
语料分割单元,用于原始语料A的每个语音样本按照语音停顿分割成若干时长较短的语音片段,根据语音片段将对应的文本样本分割成若干文本片段,汇集所有的语音片段和文本片段,记为片段语料B;
第一语音合成单元,用于根据原始语料A和片段语料B构建深度学习方法的第一语音合成模型;
语料拼接单元,用于多次重复从原始语料A中随机选择m个样本,将文本样本和语音样本分别拼接构成一个新的语料样本的步骤,并将所得到的全部新的语料样本记为原始构造语料C;多次重复从片段语料B中随机选择n个样本,将文本片段和语音片段分别拼接构成一个新的语料样本的步骤,并将所得到的全部新的语料样本称为片段构造语料D;
第二语音合成单元,用于将原始构造语料C和片段构造语料D输入第一语音合成模型训练得出第二语音合成模型;
第三语音合成单元,用于使用原始语料A、片段语料B和原始构造语料C输入第二语音合成模型继续训练,直至得到能够稳定合成语音的语音合成模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司,未经广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910726585.8/1.html,转载请声明来源钻瓜专利网。