[发明专利]一种基于局部关联图的跨媒体相似性度量方法和检索方法

说明书

本发明涉及一种基于局部关联图的跨媒体相似性度量方法和检索方法，包括以下步骤：建立包含多种媒体类型的跨媒体数据集，对其中所有数据进行分块处理，在得到局部分块的同时保留整体数据；对跨媒体数据集中每种媒体类型的整体数据和局部分块，都提取其特征向量；通过训练集中的整体数据，利用跨媒体统一特征表示方法为不同媒体类型学习得到统一特征映射矩阵，将不同媒体类型的整体数据与局部分块都映射到统一空间；在统一空间中构造局部关联图，计算媒体数据间的相似性。本发明在度量跨媒体数据的相似性时，既使用局部信息来挖掘细粒度的跨媒体关联，又利用整体信息有效屏蔽局部信息带来的噪声，从而优化了跨媒体相似性度量的全面性和准确性。

技术领域

本发明涉及多媒体检索领域，具体涉及一种基于局部关联图的跨媒体相似性度量方法和跨媒体检索方法。

背景技术

随着多媒体技术和互联网技术的飞速发展，网络上的图像、文本、视频、音频等多媒体数据快速增长，多媒体的相关应用也越来越多，用户需要更加灵活有效的信息检索技术。传统的信息检索技术主要是基于文本的检索，即对数据进行人工标注，通过对用户输入文本进行匹配来返回检索结果。这种检索方式耗时耗力，无法应对大规模的多媒体数据。因此，许多学者提出了基于内容的多媒体检索，根据内容的相似性返回相关的检索结果。然而，该方法无法满足用户的跨媒体检索需求，比如对于图像查询，只能返回相关的图像，而无法得到文本、视频等其它媒体的数据，缺少灵活性。

跨媒体检索可以描述为：使用任意一种媒体作为查询，得到另外一种(或多种)媒体的相关结果。如输入为一段音频，不仅能够返回音频，也可以根据用户需求返回图像、文本等其它媒体结果，这就大大提高了信息检索的灵活性。实现有效的跨媒体检索系统，不仅能够满足用户日益增长的检索需求，对于互联网多媒体数据的管理、标注与统计等工作也有重要帮助。

跨媒体检索的主要问题是如何度量不同媒体之间的相似性。目前一种主要的跨媒体检索方法是基于统一特征表示的跨媒体检索，即通过变换把不同媒体的数据从各自的特征空间中映射到一个统一特征空间，从而进行直接的相似性度量。

典型相关分析(Canonical Correlation Analysis，简称CCA)是这类方法的一个代表，也是一种自然的选择方案。CCA通过分析两组向量之间的关系，学习能够最大化两组异构数据关联性的空间，从而完成向统一特征空间的映射。CCA被Kidron等人在文献“Pixels that Sound”中用来定位视频中与音源有关的事件，Bredin等人则在文献“Audio-visual Speech Synchrony Measure for Talking-face Identify Verification”中利用CCA综合视觉和音频信息，实现身份检测的目标。Li等人在文献“Multimedia ContentProcessing through Cross-modal Association”中提出了跨模态因子分析(Cross-modalFactor Analysis，简称CFA)方法。该方法在转换后的域中最小化一对数据间的弗罗贝尼乌斯范数(Frobenius Norm)，取得了比CCA更好的效果。

在文献“A New Approach to Cross-Modal Multimedia Retrieval”，Rasiwasia等人针对CCA等方法未对高层语义进行建模的不足，提出将CCA与语义表示相结合，即高层语义映射方法。他们先对不同媒体数据应用CCA得到统一特征表示，再使用逻辑回归得到语义表示。该方法由于利用了高层语义信息，得到了更好的检索效果。

得到统一特征表示后，可以直接计算数据的距离得到相似度。Zhai等人在文献“Effective Heterogeneous Similarity Measure with Nearest Neighbors for Cross-media Retrieval”中提出了一种基于k近邻分类器的相似性度量方法，通过在统一空间中计算k近邻属于同一类别的概率，得到两个数据的相似性。