[发明专利]一种基于采摘机器人视觉系统的目标采摘方法

权利要求书

1.一种基于采摘机器人视觉系统的目标采摘方法，其特征在于：该方法包括下列顺序的步骤：

(1)使用相机采集原始果实图像；

(2)对采集到的原始果实图像进行预处理，经过预处理后的果实图像组成数据集，将数据集划分为训练集、验证集和测试集；

(3)建立Mask R-CNN模型，将训练集输入Mask R-CNN模型进行训练，得到训练好的MaskR-CNN模型；

(4)对训练过程进行优化，得到训练精度最高的Mask R-CNN模型；

(5)在采摘机器人CPU上加载训练精度最高的Mask R-CNN模型，最终基于采摘机器人的视觉系统实现目标识别采摘。

2.根据权利要求1所述的基于采摘机器人视觉系统的目标采摘方法，其特征在于：所述步骤(2)具体包括以下步骤：

(2a)初步筛选：根据实际需求筛选出图像清晰且含有果实目标的原始果实图像1056张；

(2b)标注：使用labelme工具对经过初步筛选后的果实图像进行标注，将成熟的果实标注为1，将不成熟的果实标注为0，除果实外的区域为背景，背景无需标注，建立标签图像，作为目标检测的标签；

(2c)数据集分类：将经过标注的果实图像组成数据集，将数据集按照8：1：1的比例划分为训练集、验证集和测试集；

(2d)数据扩增：对训练集和验证集中的每一幅图像进行5种数据扩增，分别是旋转90°、180°、270°水平、垂直翻转色彩抖动和高斯噪声，最终使得训练集含有4000幅图像，验证集含有640幅图像，测试集含有640幅图像。

3.根据权利要求1所述的基于采摘机器人视觉系统的目标采摘方法，其特征在于：在步骤(3)中，所述Mask R-CNN模型包括用于提取输入图像特征图的主干网络、区域候选网络、感兴趣区域对齐层和区域卷积神经网络，Mask R-CNN模型采用残差网络和特征金字塔作为主干网络的提取特征，主干网络输出特征图至区域候选网络，区域候选网络生成感兴趣区域，提出候选对象边界框，感兴趣区域对齐层将感兴趣区域和主干网络输出的特征图进行匹配，完成特征图特征聚集并池化为固定大小，再经过全连接层输出到区域卷积神经网络中，区域卷积神经网络包括第一分支、第二分支和第三分支，所述第一分支通过softmax分类器实现果实的分类，所述第二个分支经过边界框回归器实现更精确的目标定位，所述第三个分支通过全卷积网络完成对成熟果实的轮廓分割，并生成掩膜，最后将各个分支输出信息综合，得到包含类别、定位边界框、分割掩膜的果实图像，实现对果实的精准定位识别。

4.根据权利要求1所述的基于采摘机器人视觉系统的目标采摘方法，其特征在于：所述步骤(4)具体是指：在训练过程中加入马赛克增强方法，改进Mask R-CNN模型的局部容量，优化数据集的长尾分布，提高训练精度，当训练精度达到98.7％时，对应得到训练精度最高的Mask R-CNN模型。

5.根据权利要求1所述的基于采摘机器人视觉系统的目标采摘方法，其特征在于：所述步骤(5)具体是指：利用采摘机器人的摄像头获取待采摘的果实图像，基于训练精度最高的Mask R-CNN模型处理待采摘的果实图像，训练精度最高的Mask R-CNN模型输出目标识别提取结果，采摘机器人根据目标识别提取结果进行采摘。