[发明专利]果实分割识别方法及系统、果实采摘机器人

权利要求书

1.一种果实分割识别方法，其特征在于，包括：

步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；

步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；

步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；

步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；

步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。

2.根据权利要求1所述的果实分割识别方法，其特征在于，所述步骤S120具体包括：

步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；

步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；

步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。

3.根据权利要求2所述的果实分割识别方法，其特征在于，所述步骤S130具体包括：

步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；

步骤S132：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；

步骤S133：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoI Align层采样至相同尺寸。

4.根据权利要求3所述的果实分割识别方法，其特征在于，所述步骤S140具体包括：

步骤S141：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；

步骤S142：与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。

5.根据权利要求4所述的果实分割识别方法，其特征在于，所述步骤S150具体包括：

将果实置信度、边框坐标与分割掩膜与标注值之间的损失相加，得到最终的损失函数，利用随机梯度下降法进行反向传播，不断优化模型参数至稳定，拟合训练数据，得到识别模型。

6.一种果实分割识别系统，其特征在于，包括：

采集模块，用于采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；

第一提取模块，用于提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征，得到特征图；

第二提取模块，用于结合区域候选网络，经非极大值抑制获取特征图中相同尺度的感兴趣区域；

预测模块，用于将相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；

识别模块，用于计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。

7.根据权利要求6所述的果实分割识别系统，其特征在于，所述第一提取模块包括：

采样单元，用于将标注后的果实图像结合到残差网络中，通过卷积操作进行连续下采样；

特征表示单元，用于引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；

平衡单元，用于采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。