[发明专利]语音合成方法、装置、设备及存储介质在审
申请号: | 202110866867.5 | 申请日: | 2021-07-29 |
公开(公告)号: | CN113450765A | 公开(公告)日: | 2021-09-28 |
发明(设计)人: | 倪子凡;王健宗 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G10L13/08 | 分类号: | G10L13/08;G10L13/10;G10L25/18;G10L25/30 |
代理公司: | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人: | 张传义 |
地址: | 518057 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
获取待合成文本,并对所述待合成文本进行音素嵌入,得到所述待合成文本对应的音素嵌入文本;
将所述音素嵌入文本输入至预先训练的分类器中进行预测,得到所述待合成文本对应的语言特征;
对所述音频嵌入文本和所述语言特征进行编码,得到编码序列;
对所述编码序列进行注意力计算,得到注意力输出;
将所述注意力输出输入至预先训练的解码器进行解码,得到所述待合成文本对应的梅尔频谱;
对所述梅尔频谱进行音频转换,得到所述待合成文本对应的合成语音。
2.根据权利要求1所述的语音合成方法,其特征在于,所述对所述待合成文本进行音素嵌入,包括:
采用预先构建的音素字典对所述待合成文本进行语素和音素转换,得到所述待合成文本对应的音素嵌入文本。
3.根据权利要求1所述的语音合成方法,其特征在于,所述将所述注意力输出输入至预先训练的解码器中进行解码,包括:
将所述注意力输出和所述语言特征进行拼接,并将拼接后的特征输入至预先训练的解码器中进行解码。
4.根据权利要求1所述的语音合成方法,其特征在于,所述解码器包括双层循环网络和后处理网络;所述将所述注意力输出输入至预先训练的解码器中进行解码,得到所述待合成文本对应的梅尔频谱,包括:
将所述注意力输出输入所述双层循环网络得到预测的梅尔频谱;
根据所述后处理网络对所述预测的梅尔频谱进行优化,得到所述待合成文本对应的梅尔频谱。
5.根据权利要求1所述语音合成方法,其特征在于,所述对所述梅尔频谱进行音频转换,得到所述待合成文本对应的合成语音,包括:
将所述语音特征与所述梅尔频谱进行拼接,得到拼接梅尔频谱;
对所述拼接梅尔频谱进行音频转换,得到所述待合成文本对应的合成语音。
6.根据权利要求1所述的语音合成方法,其特征在于,所述方法包括:
获取训练样本,并对所述训练样本进行预处理,得到所述训练样本对应的韵律特征和音素嵌入样本;
将所述韵律特征和所述音素嵌入样本输入多层神经网络,对所述多层神经网络进行无监督学习,得到预先训练的分类器。
7.根据权利要求6所述的语音合成方法,其特征在于,所述对所述训练样本进行预处理,得到所述训练样本对应的韵律特征和音素嵌入样本,包括:
对所述训练样本进行基频检测,得到所述训练样本对应的韵律特征;
对所述训练样本进行音素嵌入,得到所述训练样本对应的音素嵌入样本。
8.一种语音合成装置,其特征在于,包括:
文本获取模块,用于获取待合成文本,并对所述待合成文本进行音素嵌入,得到所述待合成文本对应的音素嵌入文本;
特征预测模块,用于将所述音素嵌入文本输入至预先训练的分类器中进行预测,得到所述待合成文本对应的语言特征;
特征编码模块,用于对所述音频嵌入文本和所述语言特征进行编码,得到编码序列;
注意计算模块,用于对所述编码序列进行注意力计算,得到注意力输出;
频谱生成模块,用于将所述注意力输出输入至预先训练的解码器进行解码,得到所述待合成文本对应的梅尔频谱;
语音合成模块,用于对所述梅尔频谱进行音频转换,得到所述待合成文本对应的合成语音。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的语音合成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的语音合成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110866867.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种轻载开关控制电路、方法及芯片
- 下一篇:一种煤矿用窄机身双臂钻车