[发明专利]音乐与图像间语义相似度的估计方法和估计系统

权利要求书

1.一种音乐与图像间语义相似度的估计方法，包括以下步骤：

构建一个具有匹配关系音乐与图像对的数据库；

从所述数据库中获取具有匹配关系的音乐和图像对，并从获取到的所述音乐和图像中分别抽取特征表示；

根据所述获取到的所述音乐和图像的特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型；

获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计；

所述获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计，包括：

选取一部分具有匹配关系的音乐和图像对作为参考音乐和图像对；

分别计算目标音乐的音乐特征和所述目标图像的图像特征；

利用所述音乐特征和所述图像特征计算参考距离特征，所述参考距离特征包括第一参考距离特征和第二参考距离特征，所述第一参考距离特征为利用所述音乐特征计算所得的所述目标音乐与各所述参考音乐和图像对中的音乐之间的距离，所述第二参考距离特征为利用所述图像特征计算所得的所述目标图像与各所述参考音乐和图像对中的图像之间的距离；

通过所述估计模型对所述参考距离特征进行相关分析或典型相关分析，得到所述目标音乐与所述目标图像间的相似度估计结果。

2.根据权利要求1所述的音乐与图像间语义相似度的估计方法，其特征在于，所述构建一个具有匹配关系音乐与图像对的数据库包括步骤：

预先标定音乐图像对相似度的比较信息，包括步骤：

获取音视频文件，并从所述音视频文件中提取相对应的音乐和不同场景的图像；

匹配每一帧图像对应的音乐段；

对图像和音乐段的相似度进行标定，得到音乐图像对相似度的比较信息。

3.根据权利要求1至2中任一项所述的音乐与图像间语义相似度的估计方法，其特征在于，所述根据所述特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型的步骤包括：

根据音乐的语义特征对音乐进行聚类得到音乐类；

根据音乐类对相应的图像进行划分和聚类得到图像类；

从每个类中选取参考音乐和相应的图像构成参考对；

计算训练数据与每个类中参考对之间的语义距离；

根据所述语义距离及预先标定的音乐图像对相似度的比较信息构建典型相关分析模型；

所述根据音乐的语义特征对音乐进行聚类的步骤包括：

从音乐库获取音乐文件及语义标签属性，计算所述语义标签属性的概率，所述语义标签属性的概率作为音乐的语义特征，根据所述语义标签属性的概率采用归一化分割法对音乐进行聚类。

4.根据权利要求1至2中任一项所述的音乐与图像间语义相似度的估计方法，其特征在于，所述利用所述估计模型对目标图像和目标音乐进行语义相似度估计包括：

由各类相似度估计函数加权获得所述目标音乐与所述目标图像间的相似度估计函数。