[发明专利]音乐与图像间语义相似度的估计方法和估计系统

摘要

一种音乐与图像间语义相似度的估计方法及系统。该方法包括构建一个具有匹配关系音乐与图像对的数据库；从音乐和图像中分别抽取特征表示；根据所述特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型；获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计。上述音乐与图像间语义相似度的估计方法和系统，根据特征表示及匹配关系构建音乐和图像间语义相似度的估计模型，通通过估计模型自动计算目标音乐与目标图像之间的语义相似度，能够较为准确的估算音乐与图像间的关系广泛用于音乐配图、图像配乐、根据音乐自动生成MV以及图像音乐联合检索等音乐图像交互领域。

主权项

1.一种音乐与图像间语义相似度的估计方法，包括以下步骤：构建一个具有匹配关系音乐与图像对的数据库；从所述数据库中获取具有匹配关系的音乐和图像对，并从获取到的所述音乐和图像中分别抽取特征表示；根据所述获取到的所述音乐和图像的特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型；获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计；所述获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计，包括：选取一部分具有匹配关系的音乐和图像对作为参考音乐和图像对；分别计算目标音乐的音乐特征和所述目标图像的图像特征；利用所述音乐特征和所述图像特征计算参考距离特征，所述参考距离特征包括第一参考距离特征和第二参考距离特征，所述第一参考距离特征为利用所述音乐特征计算所得的所述目标音乐与各所述参考音乐和图像对中的音乐之间的距离，所述第二参考距离特征为利用所述图像特征计算所得的所述目标图像与各所述参考音乐和图像对中的图像之间的距离；通过所述估计模型对所述参考距离特征进行相关分析或典型相关分析，得到所述目标音乐与所述目标图像间的相似度估计结果。