[发明专利]基于Valence-Arousal情感空间的图像-音乐匹配系统

权利要求书

1.一种基于Valence-Arousal情感空间的图像-音乐匹配系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有图像V-A值提取模型和音乐V-A值提取模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

将电子乐谱文件渲染成Wav音频文件，并基于Wav音频文件提取电子乐谱的音频特征，将该音频特征输入至音乐V-A值提取模型中，经计算获得电子乐谱V-A值；

提取输入图像的面部表情特征和美学特征，将面部表情特征和美学特征输入至图像V-A值提取模型经计算，获得图像V-A值；

根据图像V-A值对电子乐谱V-A值进行搜索匹配，搜索匹配时，将电子乐谱V-A值和图像V-A值进行空间划分，在与根据图像V-A值所在的空间相同的空间，搜索与该图像V-A值相对最接近的至多10个电子乐谱V-A值对应的电子乐谱，作为匹配结果并输出；或采用最小堆的方式进行匹配，即以图像V-A值所在最小堆内所有的电子乐谱V-A值对应的电子乐谱，作为匹配结果并输出；

其中，所述电子乐谱V-A值提取模型的构建过程为：

首先，构建带有V-A值标注的训练样本集，具体过程为：

选取包含有音频特征和对应的标准情感打分(V-A值)的音频数据集，其中，每首音频的每个小节都会有对应的音频特征和标准V-A值；

将音频数据集中的每首曲子的音频按照一定的时间区间截取成多干段音频；

计算每段音频包含的所有小节对应的标准V-A值的均值，将该均值作为该段音频的标准V-A值，同时计算每段音频包含的所有小节对应的音频特征的均值，每段音频的音频特征与对应的标准V-A值作为一个训练样本，组成训练样本集；

然后，利用训练样本训练选取的回归模型，获得音频V-A提取模型，其中，回归模型为MLR、SVM、KNN或NN；

其中，所述图像V-A值提取模型的构建过程为：

选择包含有图像面部表情特征、美学特征以及情感标注(V-A值)的图像作为训练样本；

以图像面部表情特征以及美学特征按照一定的权重组成特征向量，利用特征向量和对应的V-A值训练选取的回归模型，获得图像V-A提取模型，其中，回归模型为MLR、SVM、KNN、或NN。

2.如权利要求1所述的基于Valence-Arousal情感空间的图像-音乐匹配系统，其特征在于，根据设定的乐器种类，采用开源软件FluidSynth将电子乐谱文件渲染成Wav音频文件。

3.如权利要求1所述的基于Valence-Arousal情感空间的图像-音乐匹配系统，其特征在于，采用开源软件OpenSMILE提取电子乐谱的音频特征。

4.如权利要求1所述的基于Valence-Arousal情感空间的图像-音乐匹配系统，其特征在于，所述美学特征包括平衡度，显著度，丰富度，渐变度，纹理，色调，饱和度，亮度，其中：

平衡度，采用G.Loy提出的检测对称特征的方法，提取了图像的镜像平衡和旋转平衡特征作为图像平衡度的考量；

显著度，根据X.Sun关于视觉注意力的研究计算图像的关于显著性的特征图及掩值，然后定义R用来表达图像的显著度特征，其中，W、H分别表示图像的宽度和高度，Saliency(x,y)和Mask(x,y)分别代表了像素点(x,y)的显著特征值和掩值；

丰富度，通过统计图像内部色彩种类及各色比例作为丰富度特征；

渐变度，通过计算图像的垂直和水平梯度来表达；

纹理特征，采用Tamura纹理特征的粗糙度，对比度，方向度三个分量作为衡量指标。