[发明专利]音频合成模型生成方法及装置、音频合成方法及装置有效
申请号: | 202110438286.1 | 申请日: | 2021-04-22 |
公开(公告)号: | CN113192522B | 公开(公告)日: | 2023-02-21 |
发明(设计)人: | 张冉;王晓瑞 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G10L19/02 | 分类号: | G10L19/02;G10L19/16;G10L13/027 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 合成 模型 生成 方法 装置 | ||
本公开提供了音频合成模型生成方法及装置、音频合成方法及装置,涉及音频处理技术领域,以解决相关技术中歌声的音频合成的真实性较差的问题。该方法包括:获取第一音频数据的特征、第二音频数据的特征、样本音频的类型信息和频谱信息;基于第一音频数据的特征和第二音频数据的特征进行特征合并,得到目标特征,并基于该目标特征对目标音频的进行类型识别和频谱识别,分别得到目标音频的类型信息和频谱信息,可以与样本音频的类型信息和频谱信息进行比较,确定第一信息和第二信息,根据该第一信息和第二信息生成音频合成模型,从而确保得到的音频合成模型生成的目标音频相对于样本音频的真实度,提高音频合成模型生成合成音频的真实性。
技术领域
本公开涉及音频数据处理技术领域,尤其涉及一种音频合成模型生成方法及装置、音频合成方法及装置。
背景技术
近年来,音频合成技术及其应用中的歌声合成越来越受到人们的喜爱,例如,在虚拟唱歌应用程序、智能导航应用程序中,音频合成技术均被广泛应用。
现有技术中,歌声的音频合成主要是通过预先录制大量的歌曲,对这些录制歌曲进行标注训练,然后输入预先训练好的合成模型中进行训练,得到多种声学参数,基于这些声学参数,来合成歌声的音频。
但是,上述歌声的音频合成的过程,不仅需要预先录制大量的歌曲,还需要请专业的歌手在特定的环境进行录制,导致在没有大量标注的专业歌手录制的情况下,歌声的音频合成的真实性差。
发明内容
本公开提供一种音频合成模型生成方法及装置、音频合成方法及装置,以至少解决相关技术中歌声的音频合成的真实性差的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种音频合成模型生成方法,包括:音频合成模型生成装置获取第一音频数据的特征、第二音频数据的特征、样本音频的类型信息和频谱信息;样本音频为第一音频数据和第二音频数据合成得到;第一音频数据包括语音音频和语音文本,第二音频数据包括唱歌音频和歌词文本;第一音频数据和第二音频数据基于第一音频数据的特征和第二音频数据的特征进行特征合并,得到目标特征,目标特征用于表征第一音频数据和第二音频数据所合成的目标音频的特征;基于目标特征对目标音频的进行类型识别和频谱识别,分别得到目标音频的类型信息和频谱信息;根据样本音频的类型信息和目标音频的类型信息,确定第一信息,并根据样本音频的频谱信息和目标音频的频谱信息,确定第二信息;第一信息用于表征样本音频的类型信息与目标音频的类型信息之间的反向差异,第二信息用于表征样本音频的频谱信息和目标音频的频谱信息之间的差异;根据第一信息和第二信息,生成音频合成模型。
可选的,音频合成模型生成装置获取第一音频数据的特征,包括:对第一音频数据进行音素识别,得到第一音频数据的音素特征;对第一音频数据进行基频识别,得到第一音频数据的基频特征;将第一音频数据的音素特征和第一音频数据的基频特征进行拼接,得到第一音频数据的特征。
可选的,本公开实施例中,音频合成模型生成装置获取第二音频数据的特征,包括:对第二音频数据进行音素识别,得到第二音频数据的音素特征;对第二音频数据进行基频识别,得到第二音频数据的基频特征;将第二音频数据的音素特征和第二音频数据的基频特征进行拼接,得到第二音频数据的特征。
可选的,本公开实施例中,音频合成模型生成装置在第一信息最小且第二信息最小的情况下,更新音频合成模型中的特征提取网络的参数。
可选的,本公开实施例中,音频合成模型生成装置根据样本音频的类型信息和目标音频的类型信息,确定第一信息,包括:根据样本音频的类型信息和目标音频的类型信息,计算样本音频的类型信息和目标音频的类型信息之间差异值;根据差异值以及反向传播算法得到第一信息。
可选的,本公开实施例中,根据样本音频的频谱信息和目标音频的频谱信息,确定第二信息,包括:根据样本音频的频谱信息和目标音频的频谱信息,计算样本音频的频谱信息和目标音频的频谱信息之间的差异值,差异值为第二信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110438286.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种可高效清洁面部的洁面膏
- 下一篇:一种可自动跟随的升降式输液架