[发明专利]音频合成模型生成方法及装置、音频合成方法及装置有效

专利信息
申请号: 202110438286.1 申请日: 2021-04-22
公开(公告)号: CN113192522B 公开(公告)日: 2023-02-21
发明(设计)人: 张冉;王晓瑞 申请(专利权)人: 北京达佳互联信息技术有限公司
主分类号: G10L19/02 分类号: G10L19/02;G10L19/16;G10L13/027
代理公司: 北京中博世达专利商标代理有限公司 11274 代理人: 申健
地址: 100085 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 音频 合成 模型 生成 方法 装置
【说明书】:

本公开提供了音频合成模型生成方法及装置、音频合成方法及装置,涉及音频处理技术领域,以解决相关技术中歌声的音频合成的真实性较差的问题。该方法包括:获取第一音频数据的特征、第二音频数据的特征、样本音频的类型信息和频谱信息;基于第一音频数据的特征和第二音频数据的特征进行特征合并,得到目标特征,并基于该目标特征对目标音频的进行类型识别和频谱识别,分别得到目标音频的类型信息和频谱信息,可以与样本音频的类型信息和频谱信息进行比较,确定第一信息和第二信息,根据该第一信息和第二信息生成音频合成模型,从而确保得到的音频合成模型生成的目标音频相对于样本音频的真实度,提高音频合成模型生成合成音频的真实性。

技术领域

本公开涉及音频数据处理技术领域,尤其涉及一种音频合成模型生成方法及装置、音频合成方法及装置。

背景技术

近年来,音频合成技术及其应用中的歌声合成越来越受到人们的喜爱,例如,在虚拟唱歌应用程序、智能导航应用程序中,音频合成技术均被广泛应用。

现有技术中,歌声的音频合成主要是通过预先录制大量的歌曲,对这些录制歌曲进行标注训练,然后输入预先训练好的合成模型中进行训练,得到多种声学参数,基于这些声学参数,来合成歌声的音频。

但是,上述歌声的音频合成的过程,不仅需要预先录制大量的歌曲,还需要请专业的歌手在特定的环境进行录制,导致在没有大量标注的专业歌手录制的情况下,歌声的音频合成的真实性差。

发明内容

本公开提供一种音频合成模型生成方法及装置、音频合成方法及装置,以至少解决相关技术中歌声的音频合成的真实性差的技术问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种音频合成模型生成方法,包括:音频合成模型生成装置获取第一音频数据的特征、第二音频数据的特征、样本音频的类型信息和频谱信息;样本音频为第一音频数据和第二音频数据合成得到;第一音频数据包括语音音频和语音文本,第二音频数据包括唱歌音频和歌词文本;第一音频数据和第二音频数据基于第一音频数据的特征和第二音频数据的特征进行特征合并,得到目标特征,目标特征用于表征第一音频数据和第二音频数据所合成的目标音频的特征;基于目标特征对目标音频的进行类型识别和频谱识别,分别得到目标音频的类型信息和频谱信息;根据样本音频的类型信息和目标音频的类型信息,确定第一信息,并根据样本音频的频谱信息和目标音频的频谱信息,确定第二信息;第一信息用于表征样本音频的类型信息与目标音频的类型信息之间的反向差异,第二信息用于表征样本音频的频谱信息和目标音频的频谱信息之间的差异;根据第一信息和第二信息,生成音频合成模型。

可选的,音频合成模型生成装置获取第一音频数据的特征,包括:对第一音频数据进行音素识别,得到第一音频数据的音素特征;对第一音频数据进行基频识别,得到第一音频数据的基频特征;将第一音频数据的音素特征和第一音频数据的基频特征进行拼接,得到第一音频数据的特征。

可选的,本公开实施例中,音频合成模型生成装置获取第二音频数据的特征,包括:对第二音频数据进行音素识别,得到第二音频数据的音素特征;对第二音频数据进行基频识别,得到第二音频数据的基频特征;将第二音频数据的音素特征和第二音频数据的基频特征进行拼接,得到第二音频数据的特征。

可选的,本公开实施例中,音频合成模型生成装置在第一信息最小且第二信息最小的情况下,更新音频合成模型中的特征提取网络的参数。

可选的,本公开实施例中,音频合成模型生成装置根据样本音频的类型信息和目标音频的类型信息,确定第一信息,包括:根据样本音频的类型信息和目标音频的类型信息,计算样本音频的类型信息和目标音频的类型信息之间差异值;根据差异值以及反向传播算法得到第一信息。

可选的,本公开实施例中,根据样本音频的频谱信息和目标音频的频谱信息,确定第二信息,包括:根据样本音频的频谱信息和目标音频的频谱信息,计算样本音频的频谱信息和目标音频的频谱信息之间的差异值,差异值为第二信息。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110438286.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top