[发明专利]声音转换方法、装置、可读存储介质及电子设备有效
申请号: | 202010611545.1 | 申请日: | 2020-06-29 |
公开(公告)号: | CN111798821B | 公开(公告)日: | 2022-06-14 |
发明(设计)人: | 顾宇 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G10H1/00 | 分类号: | G10H1/00 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 曹寒梅 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 声音 转换 方法 装置 可读 存储 介质 电子设备 | ||
本公开涉及一种声音转换方法、装置、可读存储介质及电子设备。所述方法包括:根据对应于目标歌曲的待转换歌唱音频,通过歌曲识别模型确定所述待转换歌唱音频的歌曲特征信息,其中,所述歌曲特征信息从所述歌曲识别模型的隐层获得;根据所述歌曲特征信息,通过与目标用户对应的目标歌唱合成模型获得目标声学特征信息;根据所述目标声学特征信息,获得所述目标用户对应于所述目标歌曲的歌唱音频。其中,待转换歌唱音频的歌曲特征信息从歌曲识别模型的隐层获得,兼具声学和语言学特征,从而,基于该歌曲特征信息得到的歌唱音频不但是由目标用户演唱的版本,还同时具有原歌唱者的歌唱特点,能够提升用户体验。
技术领域
本公开涉及计算机技术领域,具体地,涉及一种声音转换方法、装置、可读存储介质及电子设备。
背景技术
在歌唱领域,同一首歌曲可以有不同的唱法,不同的人对同一首歌也有不同的歌唱方式,在一些场景中,需要将一个人演唱的歌曲转换为由另一个人演唱的版本,也就是歌曲歌唱者的声音转换。相关技术中,若需要将由一个用户(第一用户)演唱的歌曲转换为由第二用户(除第一用户外的其他任一用户)演唱的版本,一般采用模板匹配的技术,通过这种方式得到的结果,由于采用了类似音乐检索的方式直接进行模板匹配,无法保留第一用户的歌唱特点(例如,唱腔、节奏等),与第一用户原始演唱的歌曲存在较大区别,结果并不理想。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种声音转换方法,所述方法包括:
根据对应于目标歌曲的待转换歌唱音频,通过歌曲识别模型确定所述待转换歌唱音频的歌曲特征信息,其中,所述歌曲特征信息从所述歌曲识别模型的隐层获得;
根据所述歌曲特征信息,通过与目标用户对应的目标歌唱合成模型获得目标声学特征信息;
根据所述目标声学特征信息,获得所述目标用户对应于所述目标歌曲的歌唱音频。
第二方面,本公开提供一种声音转换装置,所述装置包括:
第一确定模块,用于根据对应于目标歌曲的待转换歌唱音频,通过歌曲识别模型确定所述待转换歌唱音频的歌曲特征信息,其中,所述歌曲特征信息从所述歌曲识别模型的隐层获得;
第二确定模块,用于根据所述歌曲特征信息,通过与目标用户对应的目标歌唱合成模型获得目标声学特征信息;
歌唱合成模块,用于根据所述目标声学特征信息,获得所述目标用户对应于所述目标歌曲的歌唱音频。
第三方面,本公开提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
通过上述技术方案,根据对应于目标歌曲的待转换歌唱音频,通过歌曲识别模型确定待转换歌唱音频的歌曲特征信息,根据歌曲特征信息,通过与目标用户对应的目标歌唱合成模型获得目标声学特征信息,并根据目标声学特征信息,获得目标用户对应于目标歌曲的歌唱音频。其中,待转换歌唱音频的歌曲特征信息从歌曲识别模型的隐层获得,兼具声学和语言学特征,既能反映待转换歌唱音频的歌唱者的歌唱特点(如发音韵律、节奏、唱腔等),又能反映待转换歌唱音频的歌词内容,从而,基于该歌曲特征信息得到的歌唱音频不但是由目标用户演唱的版本,还同时具有原歌唱者的歌唱特点,能够提升用户体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010611545.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种刮板式垃圾压缩机构
- 下一篇:基于词向量的图片推荐方法及相关设备