[发明专利]用于无监督跨模态检索的充分场景表达生成方法

权利要求书

1.用于无监督跨模态检索的充分场景表达生成方法，其特征在于，包括以下步骤：

1)对不同模态的数据分别提取局部特征，并构造相对应的局部特征集；

2)基于各模态数据的局部特征集，分别为不同模态的数据生成对应的统计表达，具体如下：

基于步骤1)中所生成的文本和图像模态数据的局部特征集W和V，分别使用高斯混合模型生成文本和图像模态数据的统计表达；

对于文本模态，先使用高斯混合模型对该模态对应的局部特征集W进行建模：

其中，p(x|π^T)代表当高斯混合模型的参数π^T已知时，词向量x从中抽样出来的概率，K₁表示该模型中所使用到的高斯密度函数的数量，表示第i个高斯密度函数所对应的权重，而上标T则是文本模态的标记；在该高斯混合模型中，表示其中的第i个高斯密度函数，而和则分别是这个高斯密度函数的均值和方差；针对上述高斯混合模型中的所有参数均能够通过EM算法迭代学习得到；在获得上述参数后，能够直接在该高斯混合模型的基础上计算出任意文本数据的统计表达；给定任意文本及其所有词向量x_i代表其中的第i个词向量，根据如下计算过程生成它对应的统计表达：

其中，p(x|X,ξ)表示当知道文本的词向量集X及其对应的参数ξ时词向量x出现的概率，也能够看做是文本的统计表达，s是文本中包含的局部特征数；而ξ_i作为统计表达中的第i个高斯密度函数所对应的权重，通过如下计算获得：

其中，j是用来指定不同高斯密度函数的下标参数，所以代表文本模态下的第j个高斯密度函数的对应参数；

对于图像模态，同样用高斯混合模型先对该模态的局部特征集进行建模：

其中，p(y|π^I)代表当高斯混合模型的参数π^I已知时，图像的局部特征y从中抽样出来的概率，K₂表示模型中所使用到的高斯核函数的数量，表示第i个高斯核函数所对应的权重，而上标I则是文本模态的标记；与文本模态相类似，为图像模态中的第i个高斯密度函数，而和则分别是这个高斯密度函数的均值和方差；给定任意图像及其所有局部特征y_i代表其中的第i个图像局部特征，获得其对应的统计表达：

其中，p(y|Y,η)表示当知道图像的局部特征集Y及其对应的参数η时图像局部特征y出现的概率，也能够看做是图像的统计表达，t是图像中包含的局部特征数；而η_i作为统计表达中的第i个高斯密度函数所对应的权重，通过如下计算获得：

其中，代表图像模态下的第j个高斯密度函数的对应参数；

3)基于步骤2)中生成的各模态数据的统计表达定义各模态对应的统计流形，并据此构造相应的公共统计流形；

4)通过搭建多个浅层神经网络来学习不同模态间的投影，从而为多模态数据补齐自身所缺失的其它模态下的统计表达；

5)将多模态数据自身的统计表达与步骤4)中所学习到的其它模态下的统计表达进行级联，从而获得一个包含充分的场景信息的表达，简称为充分场景表达，并相应地将各模态的数据统一嵌入到公共统计流形中以进行跨模态检索。

2.根据权利要求1所述的用于无监督跨模态检索的充分场景表达生成方法，其特征在于：在步骤1)中，使用词向量模型word2vec和Sift算法分别提取文本模态和图像模态的局部特征，具体步骤为：给定一个文本集，对该文本集中的文本进行过滤停用词和无效词的操作后，使用该文本集去训练word2vec模型并生成相应的词向量集合其中x_i表示第i个词向量，m则表示词向量的总数，而该词向量集合也正是文本模态所对应的局部特征集；对于图像模态，给定一个图像集，对该图像集中的每幅图像分别提取Sift特征，然后使用k-means对提取出来的所有Sift特征进行聚类，最终生成的n个聚类簇中心所组成的集合则是图像的局部特征集，其中y_i表示图像模态的第i个局部特征。