[发明专利]声音合成方法及系统、音频处理芯片、电子设备有效
申请号: | 202010052787.1 | 申请日: | 2020-01-17 |
公开(公告)号: | CN111435591B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 方桂萍;闫玉凤;肖全之 | 申请(专利权)人: | 珠海市杰理科技股份有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/033;G10L13/04 |
代理公司: | 深圳市君之泉知识产权代理有限公司 44366 | 代理人: | 黄燕霞 |
地址: | 519075 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 声音 合成 方法 系统 音频 处理 芯片 电子设备 | ||
1.一种声音合成方法,其特征在于,包括步骤:
设置默认音色链;
生成音色库;和
声音合成;
其中,所述生成音色库的步骤包括:
S1:获取声源信号,所述声源信号包括至少一个信号帧;
S2:将各所述信号帧转换为声源频域信号,然后对所述声源频域信号进行滤基频和幅度归一化处理,得到各所述信号帧对应的频谱包络线;
S3:根据所述频谱包络线之间的相关度对所述频谱包络线进行分组,每组形成一条生成音色链,所述生成音色链组成音色库;
所述声音合成的步骤包括:
S4:获取乐谱信号;
S5:提取所述乐谱信号中当前时刻的各发声事件,然后对各所述发声事件执行S6;
S6:判断是否生成所述音色库,若是,则执行S7;若否,则执行S8;
S7:按照音色链选取规律将各所述发声事件和与其对应的所述生成音色链合成,得到输出音频,之后再执行S9;
S8:将所述乐谱信号中的各发声事件与所述默认音色链合成,得到输出音频,之后再执行S9;
S9:将各所述发声事件对应的所述输出音频进行叠加得到合成声音,并输出所述合成声音;然后返回S5;
其中,所述步骤S3具体包括:若当前频谱包络线与上一个所述频谱包络线的相关度在第一阈值内,或者所述当前频谱包络线与预设的低通频谱包络线的相关度在第二阈值内,则所述当前频谱包络线与上一所述频谱包络线分为同一所述生成音色链,同时更新所述低通频谱包络线;
若当前频谱包络线与上一个所述频谱包络线的相关度不在第一阈值内,且所述当前频谱包络线与预设的低通频谱包络线的相关度不在第二阈值内,则所述当前频谱包络线与上一所述频谱包络线分为不同的生成音色链,所述低通频谱包络线置零。
2.根据权利要求1所述的声音合成方法,其特征在于,所述步骤S2具体包括:
S21:对所述信号帧加汉明窗后,再通过分裂基快速傅里叶变换转换为所述声源频域信号;
S22:对所述声源频域信号中各频段的值求能量绝对值,再求对数,得到对数幅度谱;
S23:对所述对数幅度谱进行离散余弦变换,调整直流分量幅度,滤除高频分量,得到滤波信号;
S24:对所述滤波信号进行离散余弦变换的反变换后,再求对数的反变换,得到所述信号帧对应的所述频谱包络线。
3.根据权利要求2所述的声音合成方法,其特征在于,所述步骤S21具体包括:先判断所述信号帧是否为静音帧,若是,则返回所述步骤S1;若否,则对所述信号帧加汉明窗后再通过分裂基快速傅里叶变换转换为所述声源频域信号。
4.根据权利要求1所述的声音合成方法,其特征在于,所述步骤S3具体包括:
S31:判断所述当前频谱包络线与上一所述频谱包络线的相关度是否在第一阈值内,若是,则执行S32;若否,则执行S33;
S32:将所述当前频谱包络线分组至当前生成音色链,且所述当前生成音色链的长度增加1,并按照env_lowpass=env_lowpass*0.6+env_now*0.4更新所述低通频谱包络线;
S33:判断所述当前频谱包络线与所述低通频谱包络线的相关度是否在第二阈值内,若是,则执行S34;否则执行S35;
S34:将所述当前频谱包络线分组至所述当前生成音色链中,且所述当前生成音色链的长度增加1,并按照
env_lowpass=env_lowpass*0.2+env_last*0.6+env_now*0.2更新所述低通频谱包络线;
S35:将所述低通频谱包络线设置为0,并将所述当前频谱包络线分组至下一个生成音色链中,同时下一个生成音色链的长度加1;
其中,env_now表示当前频谱包络线;env_last表示上一频谱包络线;env_lowpass表示低通频谱包络线,初始的低通频谱包络线默认为0。
5.根据权利要求1所述的声音合成方法,其特征在于,所述生成音色库步骤中,对于每一个所述信号帧执行完S2后即执行S3,然后再返回S1执行。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海市杰理科技股份有限公司,未经珠海市杰理科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010052787.1/1.html,转载请声明来源钻瓜专利网。