[发明专利]音乐与图像间语义相似度的估计方法和估计系统

说明书

一种音乐与图像间语义相似度的估计方法及系统。该方法包括构建一个具有匹配关系音乐与图像对的数据库；从音乐和图像中分别抽取特征表示；根据所述特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型；获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计。上述音乐与图像间语义相似度的估计方法和系统，根据特征表示及匹配关系构建音乐和图像间语义相似度的估计模型，通通过估计模型自动计算目标音乐与目标图像之间的语义相似度，能够较为准确的估算音乐与图像间的关系广泛用于音乐配图、图像配乐、根据音乐自动生成MV以及图像音乐联合检索等音乐图像交互领域。

技术领域

本发明涉及计算机应用技术，特别是涉及一种音乐与图像间语义相似度的估计方法和估计系统。

背景技术

人们对图像和音乐的感知和理解具有很强的相关性，可根据图像将对应的音乐关联或根据音乐将对应的图像关联。

传统的算法中往往只能对音乐领域或图像领域进行有限的语义识别。例如在图像领域中，语义信息由文本表示。语义信息主要分为三类：1.具体的物体，譬如马、汽车等；2.情景、景象，譬如自然景观、动物园等；3.属性，主要指描述性词汇，譬如高兴、悲伤、人造的、自然的等。最早的识别算法旨在识别出图片中具体的物体，计算机通过计算不同的颜色特征、纹理特征等来识别不同的物体。基于这个基础，还可根据不同词语相关联的图像集之间的距离来定义语义距离，包括同义词、概念相似性、整体部分关系以及并发性关系等。近年来，人们提出一系列新的特征和方法来识别图像中不同的情景，譬如提出有关图像的几何特性，使用降低维度之后的原始图像等。人们也在尝试定义对图像的描述性语义的定义，但这一任务是主观而困难的。通常的方法是人们首先定义出一系列描述性的词汇，其次雇佣人力来对大量图片是否满足某个词汇而进行标定，大部分标定人员一致同意的词汇可被视为真相，针对描述性词汇的识别算法和分类算法与前两类对应的算法类似。

在音乐领域中，语义信息多由描述性词汇构成，包括情绪类(悲伤，激动等)、事件类(聚会，工作等)、风格类(爵士，蓝调等)等。识别音乐的语义的算法包括两个要素：1.音乐特征的采用：目前人们通常采用频谱特征，譬如MFCC(Mel-frequency cepstralcoefficient，美尔倒谱系数)，底层音乐特征(节奏、主调、音高等)等；2.识别算法，包括GMM(Gaussian Mixture Model，高斯混合模型)，HMM(Hidden Markov Model，隐马尔科夫模型)等。

因音乐和图像属于不同的领域，不同领域的特征和语义属性很难公用，且两个非常复杂的空间，它们之间的关系是非线性的，所以两者之间的关系很难被精准的识别出来。

发明内容

基于此，有必要针对目前音乐和图像之间的关系无法精准识别的问题，提供一种音乐与图像间语义相似度的估计方法，能较为准确的识别出音乐与图像间的关系。

此外，还有必要提供一种音乐与图像间语义相似度的估计系统，能较为准确的识别出音乐与图像间的关系。

一种音乐与图像间语义相似度的估计方法，包括以下步骤：

构建一个具有匹配关系音乐与图像对的数据库；

从音乐和图像中分别抽取特征表示；

根据所述特征表示和匹配关系，利用机器学习的方法，建立音乐与图像间语义相似度的估计模型；

获取目标图像和目标音乐，利用所述估计模型对目标图像和目标音乐进行语义相似度估计。

一种音乐与图像间语义相似度的估计系统，包括：

构建模块，用于构建一个具有匹配关系音乐与图像对的数据库；

提取模块，用于从音乐和图像中分别抽取特征表示；