[发明专利]一种基于双向卷积循环稀疏网络的音乐情感识别方法

说明书

本发明公开了一种基于双向卷积循环稀疏网络的音乐情感识别方法。本发明结合卷积神经网络和循环神经网络自适应地从原始音频信号的二维时频表示(即时频图)中学习内含时序信息的情感显著性特征。进一步地，本发明提出采用加权混合二进制表示法，通过将回归预测问题转化为多个二分类问题的加权联合来降低数值型真实数据的计算复杂度。实验结果表明，双向卷积循环稀疏网络提取的内含时序信息的情感显著性特征与MediaEval 2015中的最优特征相比表现出更优的预测性能；提出的模型与目前普遍的音乐情感识别网络结构和最优方法相比训练时间减少且预测精度提高。因此，本发明方法有效解决了音乐情感识别的精度和效率的问题，而且优于现有的识别方法。

技术领域

本发明属于机器学习与情感计算领域，具体涉及一种基于双向卷积循环稀疏网络的音乐情感识别方法。

背景技术

随着多媒体技术的发展，来自不同媒体的数字音乐数量的爆炸式增长使得对快速有效的音乐查询和检索方式的研究得到越来越多的关注。由于音乐可以传递情感相关的信息并且基于情感的音乐信息检索方式具有较高的普适性和用户满意度，通过识别音乐音频信号的情感来进行音乐信息检索已经成为了一个重要的研究趋势，其核心难点是如何进一步提高音乐情感识别的精度和效率。

音乐情感识别的目标是通过提取和分析音乐特征如节奏、音色和强度等，学习其感知情感状态。大量基于卷积神经网络(CNN)和循环神经网络(RNN)进行音乐情感的识别研究表现出一定的优越性。CNN可以自适应地从原始音频数据中学习高级不变特征的特性来消除特征提取过程对人类主观性或经验的依赖，RNN可以解决音乐信息的时序依赖问题。本发明采用一种基于双向卷积循环稀疏网络的音乐情感识别方法，结合了CNN自适应学习高级不变特征的特性与RNN学习特征时序关系的能力，用于激励(Arousal)和效价(Valence)情感值的预测，进而提高音乐情感识别的准确度。

发明内容

本发明的目的是提高音乐情感识别的精度和效率，提供了一种基于双向卷积循环稀疏网络的音乐情感识别方法，该方法结合了CNN和RNN来学习时频图中内含时序信息的情感显著性特征，同时采用一种加权混合二进制表示法将回归问题转为多个二分类问题，减少了模型的训练时间并提高了预测精度。

为了达到上述目的，本发明采用如下的技术方案来实现：

一种基于双向卷积循环稀疏网络的音乐情感识别方法，该方法首先将音频信号转化为时频图；其次采用卷积神经网络和循环神经网络内部融合的方式建立音频时序模型来学习内含时序信息的情感显著性特征，简称SII-ASF，同时结合加权混合二进制表示法将回归问题转化为多个二分类问题降低计算复杂度；最后进行音乐的连续情感识别。

本发明进一步的改进在于，具体包括以下步骤：

1)音频信号的时频图转化：包括音频文件的时频图转化和时频图的降维处理，具体有以下步骤，

1-1)音频文件的时频图转化：将每个时域音频文件分割为固定时长的不重叠片段，针对每个片段，设置固定帧长和步长的滑动窗口将其转化为时频图；

1-2)时频图的降维处理：采用PCA白化方法，设置99％的数据差异性保留度对时频图的频域维度进行降维；

2)建立音频时序模型学习内含时序信息的情感显著性特征：结合CNN自适应学习特征和RNN处理时序数据的能力构建双向卷积循环稀疏网络，简称BCRSN；通过CNN局部互连和权值共享的方式来改变模型输入层与隐藏层之间的连接，使用多个卷积核来获得双向卷积循环特征图组，简称BCRFMs；通过长短时记忆网络(LSTM)模块代替BCRFMs中的每个神经元来考虑BCRFMs之间的长期依赖关系，长短时记忆网络简称LSTM；

3)回归问题转化为二分类问题：包括二进制数值的表示和稀疏处理，具体有以下步骤，