[发明专利]基于佛乐的音轨分离方法、装置、设备及存储介质在审
申请号: | 202110284978.5 | 申请日: | 2021-03-17 |
公开(公告)号: | CN113012667A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 蒋慧军 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G10H1/00 | 分类号: | G10H1/00;G10L21/0272;G06N3/04;G06F17/14 |
代理公司: | 北京市京大律师事务所 11321 | 代理人: | 姚维 |
地址: | 518033 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 音轨 分离 方法 装置 设备 存储 介质 | ||
1.一种基于佛乐的音轨分离方法,其特征在于,所述基于佛乐的音轨分离方法包括:
获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;
将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;
将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;
按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
2.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据包括:
获取音乐数据,所述音乐数据为佛乐数据;
从所述音乐数据中读取多个时刻参数,并对所述多个时刻参数进行划分,得到多个时段;
按照每个时段对所述音乐数据进行拆分,得到多个时段音乐数据。
3.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述将所述音乐数据输入预置的权重参数生成器,得到多个参数权重包括:
对所述音乐数据进行特征提取,得到音乐特征向量;
将所述音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,所述多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
4.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器包括:
将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量;
根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;
根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
5.根据权利要求4所述的基于佛乐的音轨分离方法,其特征在于,所述将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量包括:
对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量;
将每个时段音乐特征向量依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量;
结合预置的短时傅里叶变换谱图依次对所述多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;
对所述多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;
将每个线性变换后的卷积向量与所述权重参数进行合并,得到多个频率待卷积向量。
6.根据权利要求4所述的基于佛乐的音轨分离方法,其特征在于,所述根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量包括:
从所述多个频率待卷积向量中读取多个分辨率,并所述多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;
采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;
采用所述膨胀卷积神经网络,结合所述第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;
按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;
整合所述第一膨胀卷积向量、所述第二膨胀卷积向量和所述其他膨胀卷积向量,得到多个膨胀卷积向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110284978.5/1.html,转载请声明来源钻瓜专利网。