[发明专利]基于目标识别的苹果采摘方法、系统、设备及存储介质

说明书

本发明涉及一种基于目标识别的苹果采摘方法、系统、设备及存储介质，涉及图像识别技术领域，通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；通过深度相机获得苹果果树的三维图像，利用三维图像获得二维彩色图像帧和三维深度信息帧；将二维彩色图像帧和三维深度信息帧导入Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；将三维坐标传输给Delta机械臂端实现对目标果实的摘取。在采摘苹果时，通过深度相机获取的苹果果树三维图像，可准确确定需要摘取的目标果实三维坐标，从而实现了成熟苹果果实的精确采摘，提高了采摘成功率与采摘速度。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于目标识别的苹果采摘方法、系统、设备及存储介质。

背景技术

我国是世界上最大的苹果生产国，苹果总产量占全球50%左右。在苹果采摘过程中，如何将成熟的苹果准确、无损、快速的采摘下来成为了关键性问题。我国苹果种植区绝大部分集中在丘陵、高原、山地等地区，依旧保持着原始的人工采摘方式。人工采摘方式费时费力，仅人工成本就占苹果生产成本的50%。

随着机械化的普及，市场上出现了各式各样的苹果采摘机器人，传统的采摘机器人一般是采用履带式底盘上设置采摘机构，采摘机构上设置摄像头以实现对苹果果实的获取，然后在控制器的控制下实现对苹果的采摘。但是如果仅仅实现果实的识别采摘，不能有效识别果实的成熟与否，不能满足苹果的采摘要求。

因此，如何准确识别采摘成熟苹果果实是本领域亟待解决的技术问题。

发明内容

针对现有技术的不足，本发明提供一种基于目标识别的苹果采摘方法、系统、设备及存储介质，以利于解决现有技术中不能准确识别采摘成熟苹果果实的问题。

本发明通过如下技术方案实现，提供了一种基于目标识别的苹果采摘方法，该包括：

通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；

通过深度相机获得苹果果实的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；

将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；

将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。

在一种可能的实现方式中，成熟苹果图像数据集的制作，包括：

在自然光照条件下采集预定数量的苹果果实图像；

使用LabelImg标注工具对采集的图像进行标注；

依次通过几何变换、颜色空间变换和像素点操作对苹果果实图像进行数据扩增，最终得到三倍数量的图像，并对背景的复杂程度增加，避免数据的过拟合。

作为优化，所述几何变换包括翻转、缩放和组合，所述颜色空间变换包括：颜色扰动、亮度变化（变暗）和饱和度变化，所述像素点操作包括：模糊、添加椒盐噪声和添加高斯噪声。

作为优化，对Yolov5神经网络模型的改进包括：

修改Yolov5中的激活函数，将原激活函数替换为AconC激活函数；

在Yolov5中加入CABM注意力机制，引入CBAM注意力机制以提高目标检测的精度。

作为优化，所述在Yolov5中加入CABM注意力机制，包括：

在Yolov5的common.py文件中加入CBAM注意力机制的代码；

在yolo.py文件中添加该注意力机制的类别；

修改训练时需要用到的yaml配置文件，添加CABM层和from系数。