[发明专利]基于多角度自注意力机制的图像-文本检索系统及方法

权利要求书

1.一种多角度自注意力机制的图像-文本检索系统，其特征在于，包括：深度卷积网络，双向循环神经网络，图像自注意力网络，文本自注意力网络，多模态空间映射网络，及多阶段训练模块；所述深度卷积网络用于获取图像区域特征在图像嵌入空间的嵌入向量，并输入至图像自注意力网络；所述双向循环神经网络用于获取单词特征在文本空间的嵌入向量，并输入至文本自注意力网络；所述图像自注意力网络用于获取图像关键区域的嵌入表示；所述文本自注意力网络用于获取句子中关键单词的嵌入表示；所述多模态空间映射网络用于获取图像文本的在多模态空间的嵌入表示；所述多阶段训练模块用于学习网络中的参数。

2.根据权利要求1所述的图像-文本检索系统，其特征在于，所述深度卷积网络采用152层ResNet；ResNet将所述图像表示为7x7x2048的特征映射，特征映射的计算公式为V＝CNN_Enc(I_i；θ_CNN)，其中，θ_CNN是ResNet中包含的所有参数，I_i为输入图像，V＝{v₁,v₂,…,v_R}为图像区域表示，为2048维，R(7x7)为区域的个数；

所述双向循环网络采用门控循环单元(GRU)；双向循环网络将所述文本中每个单词表示为1024维向量，特征映射的计算公式为：U＝GRU_Enc(T_i；θ_GRU)，其中，θ_GRU是双向循环网络中包含的所有参数，T_i为输入文本，U＝{u₁,u₂,…,u_T}为单词表示，T为单词个数。

3.根据权利要求1所述的图像-文本检索系统，其特征在于，所述图像、文本自注意力网络，其输入分别为图像区域表示V和单词表示U；每个区域或单词的权重通过两层全连接以及softmax函数获得，即：

然后，对每个区域进行加权求和，获得每个角度的特征表示：

其中，m为角度数，v⁽ⁱ⁾和u⁽ⁱ⁾分别为第i个角度图像和文本的特征表示；V为图片区域特征表示，P^v，Q^v，为其参数，W^v为求得的权重；与之对应，U为单词特征表示，P^u，Q^u，为其参数，W^u为求得的权重。

4.根据权利要求1所述的图像-文本检索系统，其特征在于，所述多模态映射网络把图像特征和文本特征映射到多模态空间中，其计算公式为：

v＝L2norm(F^v[v⁽⁰⁾；v⁽¹⁾；…；v^(m)]+b^v)

u＝L2norm(F^u[u⁽⁰⁾；u⁽¹⁾；…；u^(m)]+b^u)

其中，F^v和F^u为映射矩阵，b^v和b^u为偏置权重，v和u分别为多模态空间图像与文本的嵌入表示。

5.根据权利要求1所述的图像-文本检索系统，其特征在于，所述多阶段训练模块，其中，先采用第一阶段损失函数训练，然后采用第二阶段损失函数进行训练，最后以一个较小的学习率联合所有模块包括ResNet网络进行微调；

第一阶段损失函数为：

第二阶段损失函数为：

其中，I为单位向量，S为图片与文本的相似矩阵，对角线上的元素即为匹配的图像文本对的相似性，非对角线上的元素为不匹配的图像文本对的相似性，相似性的计算为图片特征表示v和文本特征表示u的余弦相似性，即为s(v,u)＝v^Tu，[x]₊≡max(x,0)。

6.一种基于权利要求1-5之一所述图像-文本检索系统的图像-文本检索方法，其特征在于，具体步骤为：

步骤一、由深度卷积网络获取图像区域在嵌入空间中的嵌入向量，并输出至图像自注意力网络中；

由双向循环网络获取文本单词在嵌入空间中的嵌入向量，并输出至文本自注意力网络中；

步骤二、由图像、文本多角度自注意力网络，提取图像、文本中关键区域的表示和关键单词的表示；

步骤三、由多模态空间映射网络把图像文本映射至一个多模态空间中；

步骤四、由多阶段训练模块，采用不同的损失函数进行参数学习。