[发明专利]一种基于图注意力网络的葡萄疏果识别方法

权利要求书

1.一种基于图注意力网络的葡萄疏果识别方法，其特征在于：包括以下步骤：

步骤S1，实例分割数据集制作：采集葡萄果穗图片数据，并对果粒进行实例分割标注，用标注工具标注葡萄果穗图片中每颗果粒的多边形区域，将采集的葡萄果穗图片数据划分为训练集、验证集与测试集；

步骤S2，图注意力网络数据集制作：对步骤S1中的训练集、验证集分别进行疏果分类标注，标注人员对葡萄果穗图片进行分析判断，标注为已疏果或未疏果，并建立图结构，得到图注意力网络模型的训练集与验证集；所述葡萄果穗图片为一个完全图，设该完全图包括N个顶点，所有顶点由一条边相互连接，每个顶点代表一个果粒；

步骤S3，实例分割模型训练：将步骤S1中的训练集输入实例分割模型中进行训练，训练过程中，将步骤S1中的验证集输入至训练好的实例分割中间模型进行验证；当训练好的实例分割中间模型的识别正确率大于等于预设值时，则将训练好的实例分割中间模型作为最终的实例分割模型输出，若是实例分割中间模型的识别正确率小于预设值，则重复步骤S3，直至训练好的实例分割中间模型的识别正确率大于等于预设值；

步骤S4，图注意力网络构建：构建图注意力网络模型，所述图注意力网络包括输入层、图注意力模块、输出层；所述输入层为包含顶点特征的图结构，每个顶点包含F个特征，所述特征至少包括归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标、归一化后的果粒像素面积；通过归一化后的果粒像素面积表征果粒大小一致性，通过归一化后的果粒之间的距离表征果粒间隙；所述归一化后的果粒之间的距离通过归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标计算得到；

所述图注意力模块通过多头注意力机制加权求和的方式实现特征学习；所述输出层用于对葡萄是否疏果进行识别；

步骤S5，图注意力网络损失函数构建：采用交叉熵作为整图分类训练的损失函数；

步骤S6，图注意力网络模型训练：将步骤S2中处理好的图注意力网络训练集输入至步骤S4中构建的图注意力网络模型，并采用步骤S5构建的损失函数进行监督训练，训练过程中，将步骤S2中的图注意力网络验证集输入至训练好的图注意力网络中间模型进行验证；

当训练好的图注意力网络中间模型的识别正确率大于等于预设值时，则将训练好的图注意力网络中间模型作为最终的图注意力网络模型输出，若是图注意力网络中间模型的识别正确率小于预设值，则重复步骤S6，直至训练好的图注意力网络中间模型的识别正确率大于等于预设值；

步骤S7，模型推理：将步骤S1中的测试集的葡萄果穗图片输入至步骤S3中训练好的实例分割模型进行推理，得到实例分割结果；对实例分割结果进行图结构的特征选择，最后将图结构及其特征输入至步骤S6中训练好的图注意力网络模型进行判断是否疏果，最终得到葡萄疏果整图分类结果。

2.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法，其特征在于：所述步骤S1中将采集的葡萄果穗图片数据按照0.8：0.1：0.1的比例划分为训练集、验证集与测试集。

3.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法，其特征在于：所述步骤S2中图注意力网络数据集制作具体包括：采用opencv的convexHull函数对步骤S1中每张葡萄果穗图片对应的实例分割标注计算出果穗轮廓，通过contourArea函数得到果穗轮廓的面积A，通过minAreaRect函数计算得到果穗轮廓的宽w和果穗轮廓的高h；通过opencv的moments函数计算得到果粒中心点横坐标x；通过opencv的moments函数计算得到果粒中心点纵坐标y；通过opencv的contourArea函数计算得到单个果粒的像素面积a。

4.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法，其特征在于：所述步骤S3中采用的实例分割模型选择ResNet-50的Mask R-CNN模型。