[发明专利]一种音乐结构的确定方法、装置、设备及介质在审
申请号: | 202010783244.7 | 申请日: | 2020-08-06 |
公开(公告)号: | CN112037764A | 公开(公告)日: | 2020-12-04 |
发明(设计)人: | 张凯翔;朱一闻;曹偲;郑博 | 申请(专利权)人: | 杭州网易云音乐科技有限公司 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/05;G10L15/065;G10L15/08;G06F16/61;G06F16/65;G06F16/683;G06K9/62 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 王娜 |
地址: | 310052 浙江省杭州市萧山区钱江世*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 音乐 结构 确定 方法 装置 设备 介质 | ||
1.一种音乐结构的确定方法,其特征在于,所述方法包括:
获取待检测音乐的音频内容和歌词内容;
对所述音频内容进行分析,确定所述音频内容的边界分割信息;
对所述歌词内容进行分析,确定所述歌词内容的边界分割时间信息;
对所述边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息;
对所述融合边界信息进行聚类,确定所述待检测音乐中每个段落的段落类别以及所述待检测音乐的结构。
2.根据权利要求1所述的方法,其特征在于,所述对所述音频内容进行分析,确定所述音频内容的边界分割信息,包括:
对所述音频内容进行常Q变换谐波转换离散CQT变换,得到所述音频内容的CQT特征;
提取所述音频内容的梅尔倒谱系数MFCC特征;
基于所述CQT特征和所述MFCC特征确定所述音频内容的音频特征图;
计算所述音频特征图的拉普拉斯矩阵,并对所述拉普拉斯矩阵进行奇异值分解,得到分解结果;
对所述分解结果进行聚类,得到所述音频内容的第一类边界分割信息。
3.根据权利要求2所述的方法,其特征在于,所述对所述音频内容进行分析,确定所述音频内容的边界分割信息,包括:
提取所述音频内容的音级轮廓PCP特征;
基于所述PCP特征,计算所述音频内容的音频相似度矩阵,对所述音频相似度矩阵进行时滞变换,并对所述时滞变换的变换结果进行平滑处理,对所述平滑处理结果进行累加滤波处理,得到用于表征所述音频内容边界点重复度的频率统计曲线;
将所述频率统计曲线中统计值大于预设阈值的时刻作为分割点,得到所述音频内容的第二类边界分割信息。
4.根据权利要求1所述的方法,其特征在于,所述对所述边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息,包括:
分别计算所述边界分割信息的置信度和所述边界分割时间信息的置信度;
基于所述边界分割信息的置信度和所述边界分割时间信息的置信度,对所述边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息。
5.根据权利要求4所述的方法,其特征在于,若所述边界分割信息仅包括第一类边界分割信息,所述基于所述边界分割信息的置信度和所述边界分割时间信息的置信度,对所述边界分割信息和所述边界分割时间信息进行融合,包括:
分别计算所述第一类边界分割信息的置信度和所述边界分割时间信息的置信度;
基于所述第一类边界分割信息的置信度和所述边界分割时间信息的置信度,对所述第一类边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息。
6.根据权利要求4所述的方法,其特征在于,若所述边界分割信息包括第一类边界分割信息和第二类边界分割信息,所述基于所述边界分割信息的置信度和所述边界分割时间信息的置信度,对所述边界分割信息和所述边界分割时间信息进行融合,包括:
分别计算所述第一类边界分割信息的置信度、所述第二类边界分割信息的置信度和所述边界分割时间信息的置信度;
基于所述第一类边界分割信息的置信度、所述第二类边界分割信息的置信度和所述边界分割时间信息的置信度,对所述第一类边界分割信息、所述第二类边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一类边界分割信息的置信度、所述第二类边界分割信息的置信度和所述边界分割时间信息的置信度,对所述第一类边界分割信息、所述第二类边界分割信息和所述边界分割时间信息进行融合,得到融合边界信息,包括:
基于所述第一类边界分割信息的置信度和所述第二类边界分割信息的置信度,对所述第一类边界分割信息和所述第二类边界分割信息进行融合,得到中间融合信息;
基于所述边界分割时间信息的置信度,对所述中间融合信息和所述边界分割时间信息进行融合,得到融合边界信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州网易云音乐科技有限公司,未经杭州网易云音乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010783244.7/1.html,转载请声明来源钻瓜专利网。