[发明专利]语音合成方法、装置、可读介质及电子设备在审
申请号: | 202110075973.1 | 申请日: | 2021-01-20 |
公开(公告)号: | CN112786007A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 吴鹏飞;潘俊杰 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
主分类号: | G10L13/04 | 分类号: | G10L13/04;G10L13/033;G10L25/30;G10L25/63 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏云鹿 |
地址: | 101299 北京市平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 可读 介质 电子设备 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
获取待合成文本、指定声学特征和指定情感类型,所述指定声学特征用于指示音频的韵律特征;
提取所述待合成文本对应的音素序列;
将所述指定声学特征按照所述音素序列进行扩展,得到声学特征序列;
将所述音素序列、所述声学特征序列和所述指定情感类型,输入预先训练的语音合成模型,以得到所述语音合成模型输出的,所述待合成文本对应的具有所述指定情感类型的目标音频,所述目标音频的声学特征与所述指定声学特征匹配。
2.根据权利要求1所述的方法,其特征在于,所述将所述指定声学特征按照所述音素序列进行扩展,得到声学特征序列,包括:
根据所述指定声学特征,确定所述音素序列中每个音素对应的声学特征;
将每个所述音素对应的所述声学特征组成所述声学特征序列。
3.根据权利要求1所述的方法,其特征在于,所述语音合成模型用于:
根据所述音素序列确定所述待合成文本对应的文本特征序列,所述文本特征序列包括所述音素序列中每个音素对应的文本特征;
确定所述指定情感类型对应的指定情感特征,并将所述指定情感特征按照所述音素序列进行扩展,得到情感特征序列;
根据所述文本特征序列、所述声学特征序列和所述情感特征序列,生成所述目标音频。
4.根据权利要求1所述的方法,其特征在于,所述指定声学特征包括:基频、音量、语速中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述语音合成模型是通过如下方式训练获得的:
提取训练文本对应的训练音频的真实声学特征,所述真实声学特征用于指示所述训练音频的韵律特征;
将所述真实声学特征按照所述训练文本对应的训练音素序列进行扩展,得到训练声学特征序列;
将所述训练音素序列、所述训练声学特征序列和所述训练音频对应的训练情感类型,输入所述语音合成模型,并根据所述语音合成模型的输出与所述训练音频,训练所述语音合成模型。
6.根据权利要求5所述的方法,其特征在于,所述真实声学特征包括:基频、音量、语速中的至少一种;所述提取训练文本对应的训练音频的真实声学特征,包括:
若所述真实声学特征包括语速,根据所述训练音频和所述训练音素序列,确定所述训练音素序列中,每个训练音素对应的时长,以确定所述训练音频的语速;
若所述真实声学特征包括基频,提取所述训练音频包括的每个音频帧的基频,以确定所述训练音频的基频;
若所述真实声学特征包括音量,提取所述训练音频包括的每个音频帧的音量,以确定所述训练音频的音量。
7.根据权利要求6所述的方法,其特征在于,所述根据所述训练音频和所述训练音素序列,确定所述训练音素序列中,每个训练音素对应的时长,以确定所述训练音频的语速,包括:
根据所述训练音频和所述训练音素序列,确定每个所述训练音素对应的时长;
对每个所述训练音素对应的时长进行对数运算,以得到每个所述训练音素对应的对数时长;
将所述训练音素序列中每个所述训练音素对应的对数时长的统计值,作为所述训练音频的语速;
所述提取所述训练音频包括的每个音频帧的基频,以确定所述训练音频的基频,包括:
对每个所述音频帧对应的基频进行对数运算,以得到每个所述音频帧对应的对数基频;
将所述训练音频中每个所述音频帧对应的对数基频的统计值,作为所述训练音频的基频;
所述提取所述训练音频包括的每个音频帧的音量,以确定所述训练音频的音量,包括:
对每个所述音频帧对应的音量进行对数运算,以得到每个所述音频帧对应的对数音量;
将所述训练音频中每个所述音频帧对应的对数音量的统计值,作为所述训练音频的音量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110075973.1/1.html,转载请声明来源钻瓜专利网。