[发明专利]一种歌声合成方法、设备及计算机可读存储介质在审
申请号: | 202010920722.4 | 申请日: | 2020-09-04 |
公开(公告)号: | CN112037757A | 公开(公告)日: | 2020-12-04 |
发明(设计)人: | 庄晓滨 | 申请(专利权)人: | 腾讯音乐娱乐科技(深圳)有限公司 |
主分类号: | G10L13/04 | 分类号: | G10L13/04;G10L13/08;G10L13/10 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 张金香 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 歌声 合成 方法 设备 计算机 可读 存储 介质 | ||
1.一种歌声合成方法,其特征在于,包括:
获取待合成的目标歌声的目标文本信息;
获取所述目标歌声对应的参考歌声信息;
在所述参考歌声信息中提取出目标基频信息;
将所述目标文本信息转化为目标音素序列;
确定所述目标音素序列中各个音素的位置信息,得到目标位置序列;
将所述目标音素序列及所述目标位置序列输入预先训练好的声学参数预测模型中,生成目标频谱包络参数和目标非周期参数;
基于所述目标基频信息、所述目标频谱包络参数和所述目标非周期参数合成所述目标歌声。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标音素序列及所述目标位置序列输入预先训练好的声学参数预测模型中,生成目标频谱包络参数和目标非周期参数之前,还包括:
获取训练歌声及所述训练歌声的训练文本信息;
对所述训练歌声进行声学参数提取,得到训练频谱包络参数和训练非周期参数;
将所述训练文本信息转化为训练音素序列;
确定所述训练音素序列中各个音素的位置信息,得到训练位置序列;
将所述训练音素序列和所述训练位置序列作为所述声学参数预测模型的输入,将所述训练频谱包络参数和所述训练非周期参数作为所述声学参数预测模型的输出,对所述声学参数预测模型进行训练,得到训练好的所述声学参数预测模型。
3.根据权利要求2所述的方法,其特征在于,所述对所述训练歌声进行声学参数提取,得到训练频谱包络参数和训练非周期参数,包括:
对所述训练歌声进行分帧,得到分帧信号;
对所述分帧信号进行声学参数提取,得到所述训练频谱包络参数和所述训练周期参数。
4.根据权利要求3所述的方法,其特征在于,所述将所述训练文本信息转化为训练音素序列,包括:
对所述训练文本信息的发音信息进行音素转换,得到第一音素序列;
对所述第一音素序列中的音素进行拓展,得到音素与所述分帧信号中的声学特征一一对应的所述训练音素序列。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标文本信息转化为目标音素序列,包括:
对所述目标文本信息的发音信息进行音素转换,得到第二音素序列;
调整所述参考歌声信息中的发音长度,得到音频和所述第二音素序列中的音素相对应的调整歌声信息;
对所述第二音素序列中的音素进行拓展,得到音素与所述调整歌声信息中的声学特征一一对应的所述目标音素序列。
6.根据权利要求2所述的方法,其特征在于,所述确定所述训练音素序列中各个音素的位置信息,包括:
判断所述训练音素序列中的待确定音素是否为连续重复音素;
若所述待确定音素为连续重复音素,则确定所述待确定音素的连续重复总次数及实时连续重复次数,将所述实时连续重复次数与所述连续重复总次数的比值确定为所述待确定音素的位置信息;
若所述待确定音素并非连续重复音素,则将所述待确定音素的实时连续重复次数作为所述待确定音素的位置信息。
7.根据权利要求2所述的方法,其特征在于,所述将所述训练音素序列和所述训练位置序列作为所述声学参数预测模型的输入,包括:
对所述训练音素序列中的音素进行向量转换,得到训练向量序列;
将所述训练向量序列和所述训练位置序列进行拼接,得到训练条件序列;
将所述训练条件序列作为所述声学参数预测模型的输入。
8.根据权利要求7所述的方法,其特征在于,所述对所述训练音素序列中的音素进行向量转换,得到训练向量序列,包括:
基于词嵌入方法,对所述训练音素序列中的音素进行向量转换,得到所述训练向量序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯音乐娱乐科技(深圳)有限公司,未经腾讯音乐娱乐科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010920722.4/1.html,转载请声明来源钻瓜专利网。