[发明专利]基于目标识别的苹果采摘方法、系统、设备及存储介质

权利要求书

1.一种基于目标识别的苹果采摘方法，其特征在于，包括：

通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；

通过深度相机获得苹果果树的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；

将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；

将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。

2.根据权利要求1所述的基于目标识别的苹果采摘方法，其特征在于，成熟苹果图像数据集的制作，包括：

在自然光照条件下采集预定数量的苹果果实图像；

使用LabelImg标注工具对采集的图像进行标注；

依次通过几何变换、颜色空间变换和像素点操作对苹果果实图像进行数据扩增，最终得到三倍数量的图像，并对背景的复杂程度增加，避免数据的过拟合。

3.根据权利要求2所述的基于目标识别的苹果采摘方法，其特征在于，所述几何变换包括翻转、缩放和组合，所述颜色空间变换包括：颜色扰动、亮度变化（变暗）和饱和度变化，所述像素点操作包括：模糊、添加椒盐噪声和添加高斯噪声。

4.根据权利要求3所述的基于目标识别的苹果采摘方法，其特征在于，对Yolov5神经网络模型的改进包括：

修改Yolov5中的激活函数，将原激活函数替换为AconC激活函数；

在Yolov5中加入CABM注意力机制，引入CBAM注意力机制以提高目标检测的精度。

5.根据权利要求4所述的基于目标识别的苹果采摘方法，其特征在于，所述在Yolov5中加入CABM注意力机制，包括：

在Yolov5的common.py文件中加入CBAM注意力机制的代码；

在yolo.py文件中添加该注意力机制的类别；

修改训练时需要用到的yaml配置文件，添加CABM层和from系数。

6.根据权利要求5所述的基于目标识别的苹果采摘方法，其特征在于，所述将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标，包括：

将所述二维彩色图像帧传入Yolov5神经网络模型中检测获取苹果目标的像素坐标确定目标果实；

根据所述三维深度信息帧确定所述目标果实的中心点的深度值；

根据所述深度值结合相机坐标系下的目标果实中心点的三维坐标确定目标果实中心点处的三维坐标。

7.根据权利要求6所述的基于目标识别的苹果采摘方法，其特征在于，所述将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取，包括：

所述Delta机械臂端接收到所述目标果实中心点处的三维坐标后通过机械臂标定得到坐标系转换时用到的旋转、平移矩阵；

根据所述旋转、平移矩阵得到机械臂坐标系下的目标果实中心点三维坐标，所述目标果实中心点三维坐标用于实现目标果实的抓取。

8.一种基于目标识别的苹果识别采摘系统，其特征在于，包括：

模型训练模块，用于通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；

图像获取模块，用于通过深度相机获得苹果果树的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；

目标果实位置确定模块，用于将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；

果实摘取模块，用于将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。