[发明专利]音乐伴奏的分离方法和装置在审
申请号: | 202111262479.2 | 申请日: | 2021-10-28 |
公开(公告)号: | CN114005461A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 徐焕芬;周跃兵 | 申请(专利权)人: | 广州艾美网络科技有限公司 |
主分类号: | G10L21/028 | 分类号: | G10L21/028;G10H1/36 |
代理公司: | 广州市律帆知识产权代理事务所(普通合伙) 44614 | 代理人: | 余永文 |
地址: | 510000 广东省广州市海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音乐 伴奏 分离 方法 装置 | ||
1.一种音乐伴奏的分离方法,其特征在于,包括:
获取导入音乐,并将所述导入音乐转换为音乐频谱;
将所述音乐频谱分别输入所述人声网络、伴奏网络和乐器网络,获得人声频谱、初始伴奏频谱和各种乐器对应的乐器伴奏频谱;
根据所述人声频谱、初始伴奏频谱和乐器伴奏频谱分别获取人声文件、初始伴奏文件和各种乐器对应的乐器伴奏文件;
根据所述乐器伴奏文件获取各个乐器的乐器曲特征,并根据所述乐器曲特征对所述初始伴奏文件进行重塑得到高保真伴奏文件。
2.根据权利要求1所述的音乐伴奏的分离方法,其特征在于,还包括:
基于盲源分离技术构建人声网络、伴奏网络和乐器网络;
利用歌曲库中带伴奏的样本音乐输入人声网络、伴奏网络和乐器网络,并利用歌曲库中的纯人声、纯伴奏和纯乐器音色分别对人声网络、伴奏网络和乐器网络的输出进行比对;
根据比对结果优化所述人声网络、伴奏网络和乐器网络。
3.根据权利要求2所述的音乐伴奏的分离方法,其特征在于,所述利用歌曲库中带伴奏的样本音乐输入人声网络、伴奏网络和乐器网络,并利用歌曲库中的纯人声、纯伴奏和纯乐器音色分别对人声网络、伴奏网络和乐器网络的输出进行比对,包括:
将歌曲库中带伴奏的样本音乐、纯人声、纯伴奏和纯乐器音色分别进行STFT转换得到相应的样本音乐对数梅尔频谱、人声对数梅尔频谱、伴奏对数梅尔频谱和乐器对数梅尔频谱,并分别进行小波分析;
将所述样本音乐对数梅尔频谱通过所述人声网络、伴奏网络和乐器网络进行分析,得到相应的人声音轨幅度谱、伴奏音轨幅度谱和乐器音轨幅度谱;
对所述纯乐器音色进行ADSR分析,得到各种类型的乐器对应的包络特征,并依据所述包络特征修正所述乐器音轨幅度谱;
所述根据比对结果持续优化所述人声网络、伴奏网络和乐器网络,包括:
分别计算所述人声音轨幅度谱、伴奏音轨幅度谱和乐器音轨幅度谱与所述人声对数梅尔频谱、伴奏对数梅尔频谱和乐器对数梅尔频谱之间的曼哈顿距离;
以所述曼哈顿距离均值为所述人声网络、伴奏网络和乐器网络的损失函数,并依据所述曼哈顿距离调整优化所述损失函数。
4.根据权利要求3所述的音乐伴奏的分离方法,其特征在于,所述将所述导入音乐转换为音乐频谱,包括:
对所述导入音乐进行STFT频谱分析,并进行对数梅尔频谱转化得到导入音乐对数梅尔频谱;
所述将所述音乐频谱分别输入所述人声网络、伴奏网络和乐器网络,获得人声频谱、初始伴奏频谱和各种乐器对应的乐器伴奏频谱,包括:
将所述导入音乐对数梅尔频谱特分别输入人声网络、伴奏网络和乐器网络,获得人声频谱、伴奏频谱和乐器频谱;
分别计算所述人声谱和伴奏频谱在整体音乐频谱中所占的第一比例和第二比例,以及所述乐器频谱在所述伴奏频谱中所占的第三比例;其中,所述整体音乐频谱为人声频谱与伴奏频谱频率范围;
将所述第一比例与所述导入音乐对数梅尔频谱进行乘积得到人声对数梅尔频谱;将所述第二比例与所述导入音乐对数梅尔频谱进行乘积得到伴奏对数梅尔频谱;
将所述第三比例与所述伴奏对数梅尔频谱进行乘积得到乐器对数梅尔频谱;
所述根据所述人声频谱、初始伴奏频谱和乐器伴奏频谱分别获取人声文件、初始伴奏文件和各种乐器对应的乐器伴奏文件,包括:
分别对所述人声对数梅尔频谱、伴奏对数梅尔频谱和乐器对数梅尔频谱进行ISFTF分析得到人声文件、初始伴奏文件和各种乐器对应的乐器伴奏文件。
5.根据权利要求1-4任一项所述的音乐伴奏的分离方法,其特征在于,所述根据所述乐器伴奏文件获取各个乐器的乐器曲特征,并根据所述乐器曲特征对所述初始伴奏文件进行重塑得到高保真伴奏文件,包括:
分别从各个发声乐器的乐器伴奏文件中提取出乐器曲特征;其中,所述乐器曲特征包括当前音符及其持续时间和强度值;
从乐器音色库中搜索出一致的目标乐器,并利用所述目标乐器的乐器曲特征来对所述初始伴奏文件进行重构,得到高保真伴奏文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州艾美网络科技有限公司,未经广州艾美网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111262479.2/1.html,转载请声明来源钻瓜专利网。