[发明专利]一种基于局部关联图的跨媒体相似性度量方法和检索方法

权利要求书

1.一种基于局部关联图的跨媒体相似性度量方法，包括以下步骤：

(1)建立包含多种媒体类型的跨媒体数据集，对跨媒体数据集中的所有数据进行分块处理，在得到局部分块的同时保留其整体数据；

(2)对跨媒体数据集中每种媒体类型的整体数据和局部分块，都提取其特征向量；

(3)通过整体数据，利用跨媒体统一特征表示方法为不同媒体类型学习得到统一特征映射矩阵；

(4)根据统一特征映射矩阵，将不同媒体类型的整体数据与局部分块都映射到统一空间，在统一空间中构造局部关联图，根据该局部关联图计算媒体数据间的相似性；首先构建局部关联图，将不同媒体类型的整体数据与局部分块都映射到统一空间作为点集V，求出所有数据两两之间的欧氏距离来构造边集E，再将整体数据与整体数据、局部数据与局部数据之间的距离乘上一个小于1的系数α，显示相同粒度的相关性；然后在局部关联图中，计算两个媒体数据属于同一类别的概率作为相似性，最终的跨媒体相似性为整体数据相似性与局部分块相似性的和。

2.如权利要求1所述的方法，其特征在于，步骤(1)所述的多种媒体类型包括三种媒体类型：图像、文本和音频。

3.如权利要求1所述的方法，其特征在于，步骤(1)中的分块处理的方法为：图像使用3×3网格进行固定分块；文本将标点符号作为分隔符，每两个标点符号之间的部分作为一个局部分块；音频按照固定的时间长度进行分割。

4.如权利要求1所述的方法，其特征在于，步骤(2)中的特征向量具体为：文本数据是提取隐狄雷克雷分布特征向量；图像数据是提取词袋特征向量；音频数据是提取其梅尔频率倒谱系数特征向量。

5.如权利要求1所述的方法，其特征在于，步骤(3)中的统一特征映射矩阵学习方法，为现有的跨媒体统一特征表示学习方法，包括CCA、CFA以及其它以统一特征映射矩阵为学习目标的方法。

6.如权利要求1所述的方法，其特征在于，步骤(4)所述局部关联图的构造方式为：

a)令代表第r种媒体的第p个数据的统一特征表示，P^(r)代表第r种媒体的统一特征映射矩阵，代表第r种媒体的第p个数据；设要求第r种媒体的第p个数据的统一特征表示，则由于在统一空间中已经不存在媒体类型的区别，在后面的公式中省略媒体类型r，仅用x_p代表一个媒体数据，S(x_p)代表其局部分块的集合；相应地，用y_p代表其语义类别，o_p代表其统一特征表示，S(o_p)代表局部分块在统一空间中的点；

b)对于测试集中的每个数据o_p，以及S(o_p)中的每个数据s_i(o_p)，分别定义局部关联图G＝{V,E}；其中V,E的构造方法分别为：

V：令训练集的所有数据映射到统一空间后的点集合为O_tr，其局部分块的集合为S(O_tr)，则V＝O_tr∪S(O_tr)∪{o_p}；

E：通过求出V中所有数据两两之间的欧氏距离来构造E，考虑到整体数据、局部数据在信息粒度上存在不同，将整体数据与整体数据、局部数据与局部数据之间的距离乘上一个小于1的系数α，从而显示这种相关性，即：

其中，d_ij为o_i和o_j的欧氏距离。