[发明专利]语音合成方法、装置、电子设备及存储介质在审
申请号: | 202210885008.5 | 申请日: | 2022-07-26 |
公开(公告)号: | CN115394283A | 公开(公告)日: | 2022-11-25 |
发明(设计)人: | 李睿端;李健;陈明;武卫东 | 申请(专利权)人: | 北京捷通华声科技股份有限公司 |
主分类号: | G10L13/08 | 分类号: | G10L13/08;G10L25/30;G10L25/51;G10L15/06 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100193 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 电子设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
从目标数据集中获取文本数据和所述文本数据对应的音频数据;
根据所述文本数据和目标音素编码获取拼接编码;
将所述音素编码和目标音素编码进行拼接,得到拼接编码;
将所述拼接编码输入生成模型中生成模拟音频数据,输出第一损失函数;
根据所述第一损失函数对判别模型进行训练,得到训练后的判别模型;
将所述模拟音频数据和所述音频数据输入训练后的判别模型进行判断;
根据判断结果对所述生成模型进行迭代优化,直至所述模拟音频数据在所述判别模型中输出的判断结果等于预设阈值,输出目标音频数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述拼接编码输入生成模型中生成模拟音频数据,输出第一损失函数包括:
根据所述拼接编码进行向量化处理,得到拼接向量;
将所述拼接向量转换成中间特征,由所述中间特征与第一时刻的目标特征输出生成第二时刻的目标特征,根据目标特征生成模拟音频数据以及第一损失函数。
3.根据权利要求1所述的方法,其特征在于,所述根据判断结果对所述生成模型进行迭代优化包括:
获取判别模型的第二损失函数;
根据所述第二损失函数训练所述判别模型,冻结参数,根据所述判别模型的第二损失函数训练所述生成模型,进行迭代优化。
4.根据权利要求1所述的方法,其特征在于,所述根据所述文本数据和目标音素编码获取拼接编码包括:
将所述文本数据转换成拼音序列,根据拼音序列获取对应的音素编码;
将所述音素编码和目标音素编码进行拼接处理,得到拼接编码。
5.一种语音合成装置,其特征在于,所述装置包括:
第一获取模块,用于从目标数据集中获取文本数据和所述文本数据对应的音频数据;
第二获取模块,用于根据所述文本数据和目标音素编码获取拼接编码;
拼接模块,用于将所述音素编码和目标音素编码进行拼接处理,得到拼接编码;
输出模块,用于将所述拼接编码输入生成模型中生成模拟音频数据,输出第一损失函数;
训练模块,用于根据所述第一损失函数对判别模型进行训练,得到训练后的判别模型;
判断模块,用于将所述模拟音频数据和所述音频数据输入训练后的判别模型进行判断;
优化输出模块,用于根据判断结果对所述生成模型进行迭代优化,直至所述模拟音频数据在所述判别模型中输出的判断结果等于预设阈值,输出目标音频数据。
6.根据权利要求5所述的装置,其特征在于,所述输出模块包括:
处理子模块,用于根据所述拼接编码进行向量化处理,得到拼接向量;
生成子模块,用于将所述拼接向量转换成中间特征,由所述中间特征与第一时刻的目标特征输出生成第二时刻的目标特征,根据目标特征生成模拟音频数据以及第一损失函数。
7.根据权利要求5所述的装置,其特征在于,所述优化输出模块包括:
获取子模块,用于获取判别模型的第二损失函数;
优化子模块,用于根据所述第二损失函数训练所述判别模型,冻结参数,根据所述判别模型的第二损失函数训练所述生成模型,进行迭代优化。
8.根据权利要求5所述的装置,其特征在于,所述拼接模块包括:
转换子模块,用于将所述文本数据转换成拼音序列,根据拼音序列获取对应的音素编码;
拼接子模块,用于将所述音素编码和目标音素编码进行拼接处理,得到拼接编码。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的语音合成方法。
10.一种计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行如权利要求1至4中任一项所述的语音合成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京捷通华声科技股份有限公司,未经北京捷通华声科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210885008.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种焊接用钢盘条的轧制方法
- 下一篇:一种电梯电磁感应平衡系统