[发明专利]一种基于生成性对抗网络的模态一致性跨模态检索方法

权利要求书

1.一种基于生成性对抗网络的模态一致性跨模态检索方法，其特征在于，该方法包括步骤：

(1)获取训练数据集，其中每个样本包括文本和图像；

(2)对训练数据集里图像和文本分别进行特征提取；

(3)基于生成性对抗网络，将文本特征映射到图像特征空间；

(4)通过模态一致性哈希网络生成对应模态样本的哈希码；

(5)根据生成性对抗网络的损失函数及哈希码的分类损失函数训练网络；

(6)根据步骤(5)中训练完成的网络对模态样本进行检索，

所述步骤(2)特征提取包括：

(21)利用VGG-19网络提取第七部分FC-7层的图像特征，所述VGG-19最后3层全连接层，前两层设置dropout层，比例为0.5，激活函数为ReLU，第3层的激活函数为Softmax；

(22)采用词袋模型提取文本特征，

所述步骤(3)将文本特征映射到图像特征空间包括：

(31)基于生成性对抗网络将文本特征映射到图像特征空间，得到N对图像和文本特征实例的集合分别得到图像特征数据集V＝[v₁，...，v_N]和文本特征训练集T＝[t₁，...，t_N]；其中，每个实例o_n＝(v_n，t_n)包含了一个图像特征向量和一个文本特征向量d_v和d_t分别表示两个模态的特征的维度；

(32)设置生成性对抗网络的生成器，所述生成器获取图像特征的分布，将文本特征作为输入获得生成的图像特征，包含3层全连接层，每一层的神经元数量分别为2000、3000、4096，激活函数为Tanh；

(33)设置生成性对抗网络的判别器，所述判别器用于区分真实图像特征和生成的图像特征，包含2层全连接层，每一层的神经元数量分别为1000、2，激活函数为ReLU；

(34)生成器通过对抗性的训练策略生成逼近真实图像特征的生成特征生成器的损失函数定义为：

其中，G()为生成器，D()为判别器，θ和ω分别表示为生成器和判别器的参数，T为文本，p_T为文本T的特征分布，为数学期望；

(35)定义判别器的损失函数：

其中，是真实图像特征V和生成图像特征的线性插值；λ是执行Lipschitz约束的梯度惩罚的惩罚系数；

(36)通过最小化判别器输出概率D(V；ω)和D(V；ω)的分类误差区分输入特征是否为真实图像特征，

所述步骤(4)通过模态一致性哈希网络生成哈希码包括：

(41)设置模态一致性哈希网络，包括两层的全连接层，神经元个数分别为1000，K，其中K为哈希码位数，第一层的激活函数为Tanh，第二层的激活函数为Tanh，后接一个sign函数生成哈希码；

(42)模态一致性哈希网络将成对的特征映射到汉明空间中，同时在模态间和模态内加入相似性保持策略，运用标签信息对相似性进行建模，

所述步骤(42)运用标签信息对相似性进行建模包括如下步骤：

(421)定义模态一致性哈希网络的输出为和φ为网络的参数，h()为哈希函数；

(422)定义哈希码分类损失函数为：

其中，L_Cv为图像模态的哈希码分类损失，为文本模态的哈希码分类损失，y_n是每一个特征的真实标签，表现形式为0-1向量，

(423)定义用于计算相同类别哈希码的相似性的语义相关性损失函数：

其中，为和图像哈希码同类别的生成哈希码，为和图像哈希码异类的生成哈希码；

(424)获取模态一致性哈希网络的优化损失：

L_emb＝L_C+ζL_m

其中，ζ为平衡参数。

2.根据权利要求1所述的基于生成性对抗网络的模态一致性跨模态检索方法，其特征在于：所述训练数据集包括Wikipedia数据集、NUS-WIDE数据集。

3.根据权利要求1所述的基于生成性对抗网络的模态一致性跨模态检索方法，其特征在于，所述步骤(5)包括：

(51)对于判别器、生成器和模态一致性哈希网络的参数ω，θ和φ的优化问题分别如下：

其中，α和β为权衡参数；

(52)通过Pytorch的自动求导反向传播对步骤(51)中更新后的三个参数ω、θ和φ进行优化。