[发明专利]基于深度学习的柑橘类果实采摘定位方法、系统及设备

权利要求书

1.基于深度学习的柑橘类果实采摘定位方法，其特征在于，包括下述步骤：

利用改进的YOLOV5目标检测模型对深度摄像头所拍摄的场景进行果实检测，得到果实检测结果；所述改进的YOLOV5目标检测模型是使用大核卷积来替换原本的卷积操作；所述大核卷积包括空间局部卷积、空间长距离卷积和通道卷积；所述空间局部卷积用于通过将传统卷积用separable Conv和Point-wise Conv替代，节省了卷积的参数量大小；所述空间长距离卷积用于在空间局部卷积的基础上融合了空洞卷积的特点，增加了卷积的长程依赖性；所述通道卷积用于获取每个像素不同通道之间的特征关联；

基于所述果实检测结果对所拍摄的场景进行近景场景、远景场景的判定；

对所述远景场景的果实进行密度聚类算法，实现镜头由远景场景向近景场景的转换；

利用先验法，获取果实与枝条的相对位置；根据所述果实与枝条的相对位置，对近景场景内与果实相连接的枝条通过改进的实例分割算法进行实例分割，得到枝条分割结果；

根据所述果实检测结果、果实与枝条的相对位置以及枝条分割结果，通过采摘点定位算法，得到果实采摘点的坐标，并控制机械臂完成果实的自动化采摘。

2.根据权利要求1所述基于深度学习的柑橘类果实采摘定位方法，其特征在于，所述利用改进的YOLOV5目标检测模型对深度摄像头所拍摄的场景进行果实检测是由于果实的生长场景存在复杂的遮挡问题，因此利用改进的YOLOV5目标检测模型对目标遮挡区域的特征进行处理，以突出果实与背景之间的特征差异，同时区分重叠果实，具体为：

首先对输入图像进行数据增强，即对每一张输入图像进行一次颜色与亮度混合的增强方式，并将原图图像与增强之后的图像分别进行特征采摘后输入到改进的YOLOV5目标检测模型中，对改进的YOLOV5目标检测模型中输出不同的检测结果进行相互校正，最终输出校正后的检测结果并进行后续的果实点数操作；

所述改进的YOLOV5目标检测模型是使用大核卷积来替换原本的卷积操作，大核卷积LKA结合了卷积和自注意力的优点，通过空间局部卷积获得特征图局部上下文信息，并通过空间空洞卷积获得大感受野和长程依赖，同时，通过通道卷积获通道维度的适应性，不会因计算量过大而严重影响算法实时性，计算公式为：

LKA＝Con_1x1(DW-D-Conv(DW-Conv(X)))

Output＝LKA(X)

其中，LKA表示大核卷积，X表示输入的特征图，DW-D-Conv为空间长距离卷积、DW-Conv为空间局部卷积、Con_1x1为通道卷积。

3.根据权利要求2所述基于深度学习的柑橘类果实采摘定位方法，其特征在于，还包括基于果实检测结果，对输入图像内果实进行点数操作以帮助对场景的远近进行判断，所述果实进行点数操作是在输入图像输入改进的YOLOV5目标检测模型之前，会先将图像等大小裁剪成多张图像，并且分别输入到改进的YOLOV5目标检测模型中进行检测，对多张图像分别进行点数，最终求和作为每个场景内的果实数量。

4.根据权利要求1所述基于深度学习的柑橘类果实采摘定位方法，其特征在于，所述对所述远景场景的果实进行密度聚类算法，实现镜头由远景场景向近景场景的转换，具体过程为：

根据果实检测的结果，改进的YOLOV5目标模型将会返回每个目标的(x,y,h,w)四个参数，其中x、y表示检测框的中心坐标值，h、w分别表示检测框的高、宽；接着由四个参数绘出检测框，通过返回的目标参数，得到每个果实的中心坐标值；根据每个果实的中心坐标值来进行聚类，将中心坐标值的距离在预设范围内的果实归类为同一团簇，从而获得不同的果实团簇，并且控制摄像头转移至果实数目多的团簇方向来进行转移，完成由远景场景向近景场景的转移。

5.根据权利要求1所述基于深度学习的柑橘类果实采摘定位方法，其特征在于，所述先验法是在进行枝条分割之前，通过添加图像亮度先验和果叶长势先验，定位目标枝条的相对位置，使目标检测模型在光线较差场景下的表现更好，提高目标检测模型的鲁棒性以及实例分割的精确性。