[发明专利]果实分割识别方法及系统、果实采摘机器人

说明书

本发明提供一种果实分割识别方法及系统、果实采摘机器人，属于果实采摘机器人技术领域，标注果实图像中的目标果实的轮廓；提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；将得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型进行分割识别。本发明实现了端到端的检测流程，且精度高、鲁棒性强，在存在各种干扰的果园环境下均能实现果实的有效分割，为推动苹果采摘机器人部署到实际应用打下基础。

技术领域

本发明涉及果实采摘机器人技术领域，具体涉及一种果实分割识别方法及系统、果实采摘机器人。

背景技术

果实采摘机器人的真正应用，对于推动果蔬产业的生产自动化与管理智能化具有重要意义，而视觉系统作为其中最基础且重要的环节，能够在复杂果园环境下实现目标果实的精准分割，将直接关联到采摘机器人的作业质量与运行效率。自上世纪中叶智能采摘问世以来，目标果实的识别算法就吸引了众多国内外学者的关注，并已在机器学习和深度学习等技术范畴积累了一定的研究基础与成果，然而，目前的分割方法尚难以应对自然环境下存在的诸多干扰，比如果实重叠、枝叶遮挡、光照与天气变化、混合噪声及同色系背景等因素，极大限制了各模型的分割效果。因此，应进一步提升模型的检测精度与抗干扰能力，完善视觉系统的高效性与稳定性。

而造成模型检测效果下降的主要原因，通常在于模型自身的特征提取能力不足，加之果园环境下存在的各种干扰，导致目标果实在形状、颜色、纹理等方面的特征发生缺失，难以支撑模型的后续步骤做出正确判断，从而误检、漏检目标果实。

发明内容

本发明的目的在于提供一种能有效提升模型对成簇或重叠目标果实的分割效果、有效提升模型对不同尺度目标果实的分割效果、提升模型对特征缺失目标果实的分割效果、可适应复杂果园环境下不同类型的目标果实识别的果实分割识别方法及系统、果实采摘机器人，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种果实分割识别方法，包括：

步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；

步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；

步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；

步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；

步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。

优选的，所述步骤S120具体包括：

步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；

步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；

步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。

优选的，所述步骤S130具体包括：

步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；