[发明专利]基于图注意力网络的多标签图像识别方法

权利要求书

1.一种基于图注意力网络的多标签图像识别方法，其特征在于，该方法包括以下步骤：

第一步，待识别的多标签图像经过卷积神经网络输入层的预处理后进入到卷积神经网络中，利用全局共现特征提取模块提取共现特征矩阵X；全局共现特征提取模块包括压缩和扩充两个过程；

设全局共现特征提取模块的初始输入为大小为h×w×c的3D张量，h代表空间高度，w代表空间宽度，c为通道数；全局共现特征提取模块的初始输入经过卷积操作，得到矩阵N；设N^T为矩阵N的转置矩阵，常量q＝h×w，I是大小为q×q的单位矩阵，J是大小为q×q的全1矩阵，变换矩阵利用式(1)计算协方差矩阵K；

对协方差矩阵K进行标准化，得到标准化后的协方差矩阵K′，至此完成全局共现特征提取模块的压缩过程；

将标准化后的协方差矩阵K′进行组卷积操作，得到矩阵R，矩阵R经过卷积操作得到权重向量；

然后将全局共现特征提取模块的初始输入与权重向量每个通道对应的元素相乘，得到变换后的3D张量；变换后的3D张量经过最大池化操作，得到共现特征矩阵X，至此完成全局共现特征提取模块的扩充过程；

第二步，利用待识别的多标签图像的标签节点之间的条件概率，构建标签节点之间的邻接矩阵A；

第三步，将邻接矩阵A作为图注意力网络的输入，经过图注意力网络学习得到矩阵A′；

第四步，按照式(7)将第一步得到的共现特征矩阵X与第三步得到的矩阵A′进行线性相乘，得到预测值即识别结果；

通过上述第一步至第四步完成多标签图像的识别。

2.根据权利要求1所述的基于图注意力网络的多标签图像识别方法，其特征在于，卷积神经网络为ResNet残差网络，ResNet残差网络包含layer1～layer4四个残差模块；每个残差模块之后嵌入全局共现特征提取模块或者选择性地在相应残差模块之后嵌入全局共现特征提取模块；在layer4残差模块之后嵌入全局共现特征提取模块的识别效果优于在其他残差模块之后嵌入全局共现特征提取模块的识别效果。

3.根据权利要求2所述的基于图注意力网络的多标签图像识别方法，其特征在于，ResNet残差网络输入层包括卷积核大小为7×7、通道数为64、步长为2的卷积操作和卷积核大小为3×3，步长为2的最大池化操作。

4.根据权利要求2或3所述的基于图注意力网络的多标签图像识别方法，其特征在于，ResNet残差网络的layer4残差模块的输出经过卷积核大小为14×14，步长为1的最大池化操作，得到大小为d×1的共现特征矩阵X，d为特征嵌入的维度。