[发明专利]基于图注意力网络的混凝土坝缺陷图像描述自动生成方法

权利要求书

1.一种基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，其特征在于，包括如下步骤：

1)全局特征和网格特征提取，利用多层卷积神经网络分别提取缺陷图像的全局特征和网格特征；

2)构建网格特征交互图，将全局特征和网格特征作为节点输入；

3)全局特征和网格特征更新，利用图注意力网络更新优化2)中构建的网格特征交互图中的节点信息，得到更新后的全局特征和网格特征；

4)基于Transformer的解码模块利用更新后的全局特征和网格特征序列自动生成图像描述；

所述3)中，基于网格特征交互图的图注意力网络：结合网格特征交互图和图注意力网络，将图注意力网络的节点与缺陷图像的网格相对应，节点的特征为局部图像嵌入，图的边对应网格特征交互图的边，并且利用多头自注意力机制对网格特征交互图中相邻节点的缺陷信息进行融合更新。

2.根据权利要求1所述的基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，其特征在于，所述1)中，利用在Visual Genome数据集上预训练的Faster R-CNN模型进行全局特征和网格特征提取，Faster R-CNN模型使用步长为1的卷积层C5和带有两个FC层的1×1RoIPool作为检测头，其中C5层的输出作为缺陷图像的网格特征。

3.根据权利要求1所述的基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，其特征在于，所述2)中，引入网格特征之间的依赖关系和全局特征，借助全局节点机制建立网格特征交互图，构建网格特征交互图过程为：将1)得到的全局特征和网格特征作为网格特征交互图的节点输入，得到一个全局节点和多个局部节点；全局节点用作虚拟中心，与图中的所有节点连接；局部节点根据网格的相对中心坐标建立连接，即将两个相邻的网格节点i和j在邻接矩阵A中的值(i,j)赋为1，表示直接交互，不相邻的节点则赋为0，表示无交互；全局节点从局部节点中收集并分发通用信息。

4.根据权利要求1所述的基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，其特征在于，所述1)中，利用多层卷积神经网络提取缺陷图像的网格特征和全局特征，进行图像编码：在融合各网格特征的基础上加入特征图的全局特征，提取缺陷图像的全局特征和网格特征；定义输入为一幅缺陷图像p₀＝full_image和n个固定大小的网格Grids＝(p₁,p₂,...,p_n)，利用在Visual Genome数据集上预训练的Faster R-CNN模型进行缺陷特征提取，使用步长为1的卷积层C5和带有两个FC层的1×1RoIPool作为检测头，其中C5层的输出作为提取的缺陷图像嵌入IE_0:n＝CNN(p_0:n；Θ_CNN)；其中，Θ_CNN表示CNN模型的参数，IE包括全局图像嵌入IE_Global＝IE₀和局部图像嵌入IE_Local＝[IE₁,IE₂,...,IE_n]。

5.根据权利要求1所述的基于图注意力网络的混凝土坝缺陷图像描述自动生成方法，其特征在于，所述4)中，Transformer的解码模块包括基准解码模块和优化解码模块，基准解码模块和优化解码模块的训练都分为两个阶段：交叉熵损失优化阶段和强化学习阶段；其中，交叉熵损失优化阶段基于负对数似然估计的损失函数；强化学习阶段基于强化学习的优化策略，将CIDEr得分作为奖励函数。