[发明专利]一种基于深度学习的苹果采摘机器人果实目标检测方法

说明书

技术领域

本发明涉及一种利用深度学习目标检测算法实现苹果采摘机器人果实目标检测的方法，具体涉及一种利用深度学习算法对采摘机器人视觉图像进行识别与检测，并标定果实区域的方法，属于机器视觉领域。

背景技术

中国是苹果生产大国，苹果生产过程中采摘的工作量最大，大约占全部劳动量的40％左右，采摘质量的优劣会对水果的存储、处理、加工及销售等多方面均会有影响。由于采摘作业要求较高，因此大部分采摘工作是手工完成，但手工采摘的成本较高、耗时长难以适应规模化种植的需要。因此为了提高生产效益、将农民从繁重的采摘作业中解放出来，果实机械收获是一个急需解决的问题。苹果果实采摘机器人一个关键环节是果实目标的正确识别与定位，视觉系统的好坏对整个机器人的性能具有相当重要的影响。因此采摘机器人视觉系统的研究，对于解决我国农村劳动力短缺问题，提高农民的生产力，促进社会主义新农村的建设均具有最要的意义。

多年来国内外大量的科技工作者致力于收获机器人视觉系统的研究工作，但由于机器人的工作环境复杂多变，作业对象(果实、树叶、树枝)生长状态复杂多样，导致捕获的图像存在大量噪声及干扰信息，这些为机器视觉系统检测和接近果实变得异常困难。因此，在光线多变的复杂环境中如何使用有效的分割、识别、定位方法是一个亟待解决的问题。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于深度学习的苹果采摘机器人果实目标检测方法。

本发明使用移动式智能机器人搭载的相机拍摄足够多的苹果树及其果实图像，训练不同尺度的分类器，通过滑动窗口对待捡图像进行滑动检测，确定疑是存在果实窗口，并将该窗口输入卷积神经网络进行果实检测。

本发明的一种基于深度学习的苹果采摘机器人果实目标检测方法，具体步骤如下：

1.选取试点果园，使用移动式智能机器人搭载的相机，分别拍摄顺光、逆光条件下，成熟苹果果实图片。

2.提取RGB或LUV色彩及梯度方向直方图的融合特征作为特征池，采用多个不同标准尺度的AdaBoost分类器。

3.使用不同尺度的分类器，通过滑动窗口对待捡图像进行滑动检测，确定疑是存在果实窗口。

4.构建卷积神经网络模型，将上一步确定的疑是存在果实窗口图像归一化，输入该模型进行果实检测。

本发明的优点是：避免了在检测过程中构建图像金字塔，极大提高了果实检测速度。检测结果具有较高的鲁棒性与泛化性。

附图说明

图1是本发明的疑是存在果实窗口检测流程图。

图2是本发明的卷积神经网络结构图。

图3是本发明的实验模型训练流程图。

图4是本发明的实际检测流程图。

图5是本发明的检测结果示例图，其中图5a是单个无遮挡果实的原图，图5b是单个无遮挡果实的检测结果；图5c是有枝叶遮挡果实的原图，图5d是有枝叶遮挡果实的的检测结果；图5e是多个有重叠果实的原图，图5f是多个有重叠果实的原图。

图6是本发明方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

本发明的一种基于深度学习的苹果采摘机器人果实目标检测方法，具体包括如下步骤：

步骤1(样本数据采集)：在苹果收获季节前往苹果种植园，使用移动式智能机器人搭载的相机，选取尽可能多的角度，分别拍摄顺光、逆光条件下的果树果实图片。将图片中的苹果果实部分裁剪为统一大小的正样本，不含苹果果实的部分裁剪为统一大小的负样本，正样本数与负样本数均至少为5000。

步骤2(提取融合特征)：使用matlab中image函数提取RGB或LUV色彩分量，通过梯度方向直方图提取检测目标的边缘梯度信息，提取方式如下：

将图像I划分成若干个块状结构(记为BLOCK)，然后对每一个划分的BLOCK按照“田字格”规则均分成四个子块(记为CELL)，并统计每个CELL所属区域内像素点的梯度在不同方向上的分布得到了CELL的特征，最后将分别属于四个CELL的特征组合在一起形成了BLOCK的特征向量。设(x,y)为任意一个CELL中的像素点坐标，则其水平方向的梯度为G_x(x,y)，垂直方向的梯度为G_y(x,y)，梯度幅值为G(x,y)，以及梯度的方向为θ(x,y)，分别由公式(1)、(2)、(3)、(4)计算得出：

G_x(x,y)＝I(x+1,y)-I(x-1,y)(1)