[发明专利]基于多层语义监督式注意力模型的细粒度零样本分类方法

权利要求书

1.一种基于多层语义监督式注意力模型的细粒度零样本分类方法，其特征在于，首先，利用卷积神经网络提取在细粒度图像中所选定部位的局部视觉特征，利用类别的文本描述信息作为类别语义特征对所述细粒度图像的局部视觉特征的分类进行监督，为细粒度图像的局部视觉特征逐步赋予权重，得到语义监督注意力模型，其中，与语义信息相关性越高的局部视觉特征，对应的权重就越大；用类别语义特征引导映射到隐空间局部视觉特征，得到多层语义监督注意力模型的损失函数；将细粒度图像的全局视觉特征与经过多层语义监督注意力模型赋予权重后的局部视觉特征结合，作为图像的新的视觉特征；最后将类别语义特征嵌入到新的视觉特征空间，将多层语义监督注意力网络输出的视觉特征与语义特征进行对齐，利用softmax函数进行分类，得到图像分类。

2.根据权利要求1所述的基于多层语义监督式注意力模型的细粒度零样本分类方法，其特征在于，具体包括如下步骤：

1)获取来自细粒度图像的n个可见类别的N张图像的局部视觉特征V_I，类别语义特征向量s以及真实标签矩阵Y；

2)利用公式f(V_I)＝h(W_I,AV_I)将局部视觉特征V_I映射到隐空间；

式中：代表图像的局部视觉特征，其中p为局部视觉特征的维度，m为局部视觉特征的个数，v_i为对应的第i个区域的局部视觉特征向量；h为非线性函数；W_I,A∈R^d×p为从局部视觉特征空间到隐空间的映射矩阵，d为隐空间的维度；

3)将局部视觉特征V_I压缩为视觉特征向量v_G，利用公式g(v_G)＝h(W_G,Ah(W_G,Sv_G))将视觉特征向量v_G映射到隐空间；

式中：W_G,A∈R^d×q为语义空间到隐空间的映射矩阵；W_G,S∈R^q×p为从视觉特征空间到语义空间的映射矩阵，q为语义空间的维度；

4)利用公式将f(V_I)和g(v_G)进行特征融合，得到融合后的特征向量h_A；

5)利用公式p_I＝softmax(W_ph_A+b_p)计算出图像每个局部区域的注意力权重

式中：W_p∈R^d为softmax函数的权重向量；b_p为常数偏置项；p_i为每个局部视觉特征对应的注意力权重；

6)利用公式u_i＝v_i+p_iv_i计算出单层语义监督注意力网络输出的视觉特征向量u_i，进而得到m个视觉区域的局部特征的集合以及单层语义监督注意力网络输出的压缩后的视觉特征向量u_G；

7)将局部特征的集合U_I和压缩后的视觉特征向量u_G分别代替图像的局部视觉特征V_I和视觉特征向量v_G，重复步骤2)～步骤6)得到多层语义监督注意力网络输出的视觉特征向量u_i″；

8)为实现以语义信息为监督，引导注意力模型对细粒度图像的局部视觉特征进行选择，将语义信息嵌入到两层注意力网络中，分别得到损失函数Loss1和Loss2：

Loss1＝||h(W_G,Sv_G)-s||₂

Loss2＝||h(W_G,Su_G)-s||₂；

9)将每张图像m个区域的多层语义监督注意力网络输出的视觉特征向量u_i″依次串联起来得到图像的全局视觉特征向量u_G′，进而得到N张可见类别图像经过多层语义监督注意力网络后输出的全局视觉特征向量的集合U_G＝{u_G′}；

10)利用公式v_s＝h(W_Es+b_E)将类别语义特征向量s嵌入到视觉特征空间得到v_s，进而得到n个可见类别的语义特征向量嵌入到视觉特征空间的集合V_s＝{v_s}；

式中：W_E∈R^l×q为嵌入矩阵，b_E∈R^l为嵌入偏置，其中l＝m×p，为全局特征向量的长度；

11)使视觉特征和语义特征在视觉特征空间进行对齐，得到损失函数Loss3：

Loss3＝||v_s-u_G′||₂

12)利用公式P_c＝softmax(U_GV_s^T)计算每张可见类别图像属于每个可见类别的预测概率P_c；

13)利用公式得到分类损失函数Loss_c；

14)整个网络的损失函数为：

min Loss＝Loss1+Loss2+Loss3+Loss_c

在训练过程中通过多次迭代，使网络的损失函数不断下降，最终达到收敛，训练完成。

15)在测试阶段，输入来自t个未见类别的测试图像的局部视觉特征V_U，未见类别的测试图像的视觉特征向量v_T，得到多层语义监督注意力网络输出的视觉特征向量u_t；将未见类别的类别语义特征S_T利用视觉语义对齐网络嵌入到视觉特征空间得到语义嵌入特征V_T；根据下式计算多层语义监督注意力网络输出的视觉特征向量u_t与语义嵌入特征V_T的距离D，距离最小的类别即为测试图像的预测类别：