[发明专利]一种短视频音乐推荐方法

权利要求书

1.一种短视频音乐推荐方法，其特征是该方法包括以下步骤：

第一步：用带内容标签的视频集，训练视频分类模型；

第二步：转换用以训练模型的音乐库中的音乐文件格式为同一个所需要的格式，并选择合适的音乐特征组合，提取出音乐的特征，得到音乐库中每首音乐的特征集；

第三步：获取音乐的V-A真值，并根据第一步中视频集的内容标签为音乐贴标签，得到贴好内容标签的音乐集；

第四步：根据第二步中得到的音乐库特征集和第三步中得到的V-A真值输入情感回归算法训练得到音乐情感预测模型，将第三步中贴好内容标签的音乐集和V-A真值输入多标签分类算法训练得到基于V-A预测内容的模型，保存这两个模型；将待分析音频库按照第二步预处理并提取特征之后，将待分析音频库中每一个音乐文件的特征依次输入上面训练出来的两个模型中，预测出内容标签和V-A值，结果表示为songid、label、Valence、Arousal；

第五步：由第一～四步所计算出来的模型和第四步预测出的内容标签和V-A值，成为短视频音乐推荐系统的后台和数据，以便用户根据视频内容推荐合适的配乐。

2.如权利要求1所述的一种短视频音乐推荐方法，其特征是所述的第一步中带内容标签的视频集由志愿者打分或从网上下载。

3.如权利要求1所述的一种短视频音乐推荐方法，其特征是所述的第二步中转换音乐库中的音乐文件格式为22050Hz,16bits,and mono channel PCM WAV，利用Marsyas、MIRToolbox for Matlab、PsySound或openSMILE方法选择合适的音乐特征组合，音乐的特征包括：音乐的音色特征，即MFCC梅尔频率倒谱系数、DWCHs小波系数直方图、SC光谱对比度和SSDs统计频谱描述特征；韵律特征，即节拍、旋律和频率；强度特征，即音高、响度和子带能量。

4.如权利要求1所述的一种短视频音乐推荐方法，其特征是所述的第三步中音乐的V-A真值由MTurk网站或者个人组织志愿者进行打分得到，V、A值域为(-1,1)。

5.如权利要求1-4任一项所述的一种短视频音乐推荐方法，其特征是所述的第五步中，短视频音乐推荐系统根据视频内容推荐合适的配乐的方法，包括以下步骤：

1)首先根据V-A值的在Arousal-Valence情感维度空间模型的坐标轴中的分布确定音乐的情感情绪，当Valence>0时，音乐情绪为积极，当Valence<0时，音乐情绪为消极；

2)然后输入待分析短视频到视频分类算法，并进行分析输出视频内容标签，内容标签输入短视频音乐推荐系统，选择所需要的音乐情绪，从音乐库输出相应的音乐集；

3)再根据Arousal值对取出的音乐集进行排序，先推荐中间N首音乐，再根据用户自己选择“节奏增强”或者“节奏减弱”推荐所需不同节奏的音乐。

6.如权利要求5所述的一种短视频音乐推荐方法，其特征是所述的短视频音乐推荐系统根据视频内容推荐合适的配乐的方法中，用户根据需要导入音乐库，导入的音乐库经过多标签分类算法和情感回归算法预测出对应的V-A值和对应的内容标签，补充短视频音乐推荐系统的后台数据。