[发明专利]基于深度学习的柑橘类果实采摘定位方法、系统及设备

说明书

本发明公开了一种基于深度学习的柑橘类果实采摘定位方法、系统及设备，包括：利用目标检测模型对摄像头拍摄的场景进行果实检测；基于果实检测结果对拍摄场景进行近景、远景场景的判定；对远景场景的果实进行聚类算法，实现镜头由远景场景向近景场景的转换；利用先验法，获取果实与枝条的相对位置；对近景场景内与果实相连接的枝条通过改进的实例分割算法进行分割；根据果实检测结果、果实与枝条的相对位置和枝条分割结果，通过采摘点定位算法，得到果实采摘点的坐标，并控制机械臂完成果实的自动化采摘。本发明通过添加图像亮度、果叶长势先验改进SparseInst算法的IAM部分，让聚合实例特征的位置准确聚焦于目标枝条，提高分割算法的准确性与实时性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的柑橘类果实采摘定位方法、系统及设备。

背景技术

果实自动化采摘技术是智慧农业的关键技术之一，随着深度学习的快速发展，由传统农业向智慧农业的转变也愈加迫切。近年来，很多农场都出现了丰收季节招人难的问题，果实面临着因采摘不及时坏死在果树的危机，这就为果实的自动化采摘研究创造了巨大的市场需求。目前绝大多数的果实自动化采摘点定位技术都受限于果实垂直生长、枝条背景裸露清晰等条件，难以适用于很多的复杂果实生长情况。因此本发明利用目标检测以及实例分割算法结合农学知识，研究设计出了一种能够适用于各种复杂环境与条件下的果实自动采摘点定位方法，因为沃柑果实的生长环境复杂、且其果实生长习性不定，因此将具体将以沃柑果实的自动采摘为例，具体介绍设计的果实自动化采摘点定位方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的柑橘类果实采摘定位方法，通过添加图像亮度先验以及果叶长势先验改进了SparseInst算法的IAM部分，让聚合实例特征的位置更加准确的聚焦于目标枝条处，提高了整个分割算法的准确性与实时性。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于深度学习的柑橘类果实采摘定位方法，包括下述步骤：

利用改进的YOLOV5目标检测模型对深度摄像头所拍摄的场景进行果实检测，得到果实检测结果；所述改进的YOLOV5目标检测模型是使用大核卷积来替换原本的卷积操作；所述大核卷积包括空间局部卷积、空间长距离卷积和通道卷积；所述空间局部卷积用于通过将传统卷积用separable Conv和Point-wise Conv替代，节省了卷积的参数量大小；所述空间长距离卷积用于在空间局部卷积的基础上融合了空洞卷积的特点，增加了卷积的长程依赖性；所述通道卷积用于获取每个像素不同通道之间的特征关联；

基于所述果实检测结果对所拍摄的场景进行近景场景、远景场景的判定；

对所述远景场景的果实进行密度聚类算法，实现镜头由远景场景向近景场景的转换；

利用先验法，获取果实与枝条的相对位置；根据所述果实与枝条的相对位置，对近景场景内与果实相连接的枝条通过改进的实例分割算法进行实例分割，得到枝条分割结果；

根据所述果实检测结果、果实与枝条的相对位置以及枝条分割结果，通过采摘点定位算法，得到果实采摘点的坐标，并控制机械臂完成果实的自动化采摘。

作为优选的技术方案，所述利用改进的YOLOV5目标检测模型对深度摄像头所拍摄的场景进行果实检测是由于果实的生长场景存在复杂的遮挡问题，因此利用改进的YOLOV5目标检测模型对目标遮挡区域的特征进行处理，以突出果实与背景之间的特征差异，同时区分重叠果实，具体为：

首先对输入图像进行数据增强，即对每一张输入图像进行一次颜色与亮度混合的增强方式，并将原图图像与增强之后的图像分别进行特征采摘后输入到改进的YOLOV5目标检测模型中，对改进的YOLOV5目标检测模型中输出不同的检测结果进行相互校正，最终输出校正后的检测结果并进行后续的果实点数操作；