[发明专利]一种基于模块化的加权融合神经网络的音乐情感识别方法

说明书

本发明属于音乐内容分析领域，提出一种基于模块化的加权融合神经网络的音乐情感识别方法，利用改进的多通道结构实现更具全局性的频谱图细节处理，利用上下文信息加权实现深度时序关系处理，提升音乐情感数值预测的识别精度和稳定性。根据相关文献中情感描述规则，完成数据库音乐片段长度和数值的规范化；切分原始音频并提取对应频谱图，采用数据增强技术实现融合规则数据库的构建；通过调整深度神经网络感受野实现更具全局性的信息处理，提取显著性特征；利用长短时记忆模块处理时序信息，采用注意力机制提取深度关系；采用具有双重特性的损失函数，利用反向传播完成模型的优化和训练；最后，利用训练好的模型进行音乐情感数值预测。

技术领域

本发明涉及音乐内容分析领域，尤其涉及一种基于模块化的加权融合神经网络的音乐情感识别方法。

背景技术

随着互联网技术和数字媒体技术的发展，互联网上的数据量日益增长，数据驱动的分析技术对人们的生活越来越重要。消费级的电子乐器和音频处理设备等使得音乐创作门槛逐渐降低，因此数字音乐数据量更是呈现了显著的增长趋势。为了更好地存储和利用音乐这种数据形式，对其进行内容分析能够更好地实现信息的管理和检索。基于数据的人工智能研究旨在构建更加和谐的交互环境，情感计算是人机交互研究中的重要课题，使得人们能够感受到更加智能化和人性化的交互体验。音乐能够传达和引导人的情感表达，情感是其最主要特性之一，因此，针对音乐信息进行情感分析研究在信息交互和融合中起着至关重要的作用，也成为了近年来的研究热点。音乐情感分析的研究不仅能为情感驱动的音乐信息管理和检索做贡献，还能作为众多智能化技术和手段的辅助工具，如：基于音乐情感的交互灯光设计、基于音乐情感的交互姿势设计、基于音乐情感的图像或视频配乐、基于音乐情感的生理或心理疾病治疗以及基于情感的音乐自动生成等。

音乐情感分析中，分类的方法存在情感划分细粒度问题，不能充分地表达随时间变化的音乐情感丰富性。现有的连续数值预测方法主要是对原始音乐信息进行处理：部分方法仅对循环神经网络进行改进，针对音乐特性进行内容分析，该类方法仍需进行音乐手工特征的提取，面临特征提取和选择的难点以及人工操作的不确定性；部分方法采用简单的卷积神经网络提取音乐频谱图的浅层特征，进一步采用循环神经网络进行时序信息处理，该类研究方法未考虑音乐的高层语义特征以及时间序列的深度关系。

发明内容

针对上述音乐情感数值预测方法技术上存在的不足，本发明提出一种基于模块化的加权融合神经网络的音乐情感识别方法，该方法使用改进后的深层卷积神经网络从原始音乐频谱图中提取显著性特征，进一步采用加权的循环神经网络学习时域和频域的深层关系，将两个模块化的结构进行融合以实现语义特征级别的音乐情感识别，该方法能够有效提升音乐情感数值预测结果的准确性和稳定性。

为达到上述目的，本发明采用如下技术方案：

本发明提出的基于模块化的加权融合神经网络的音乐情感识别方法，包括以下步骤：

步骤1：收集相关音乐情感数据库，按照音乐情感数据库人工提取学习音乐情感数值表达知识，根据音乐片段情感和不同维度数值之间的对应关系，规范情感数值范围，将情感数值和时间维度进行映射，提取相关内容并规范成统一的音乐情感数值表示数据库；

步骤2：对数据库中的原始音频进行处理，提取音乐文件对应频谱图，并采用数据增强技术对频谱图进行预处理，根据原始频谱图和标记数值生成新的频谱图-数值对，增强情感分析数据量并强化知识映射，构建规范化融合音乐情感数据库；

步骤3：对深度卷积网络进行改进处理，通过控制网络卷积核以及池化层实现网络感受野的控制，从而提取频谱图全局性的信息，对网络每个输出分支进行规范化，从整体上把控输出特征矩阵数值范围，实现具代表性的显著特征提取；

步骤4：根据音乐情感数据库中的数值和时间对应关系，采用基于注意力机制的循环神经网络模块按照时间顺序对提取到的显著性特征矩阵进行处理，学习时域和频域的深层关系，通过对信息进行过滤筛选，实现具有内容针对性的音乐情感数值预测；