[发明专利]一种基于深度目标检测的待采摘水果识别和定位方法

说明书

本发明公开一种基于深度目标检测的待采摘水果识别和定位方法，包括以下步骤：图像采集。图像标注。数据集准备。特征提取，使用深度卷积神经网络CNN首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络。模型训练，对于所有训练样本首先提取每个卷积层上的特征图，对于抽取得到的特征图生成预测框，计算预测框中目标的类别，计算预测框和真实标注框之间的距离，在训练的过程中联合类别损失和预测框偏移损失作为训练的目标损失函数。基于上述完整的一次计算过程完成一次训练，当训练次数达到预定阈值或者损失小于预定阈值训练结束。

技术领域

本发明涉及一种待采摘水果识别和定位方法，尤其涉及一种一种基于深度目标检测的待采摘水果识别和定位方法。

背景技术

水果采摘作业所处自然环境的复杂性导致水果采摘仍然依靠人力，水果采摘环节所需的劳动力占整个生产过程投入劳动力的一半以上。随着我国农业从业人口的不断下降和人工成本的不断上升，水果自动化采摘对于解决水果产业中劳动力不足，保证水果适时采摘，提高采摘品质等方面具有重要的意义。因此，研究水果的自动采摘技术迫在眉睫。

在水果的自然生长环境下快速而可靠的发现水果目标并确定待采摘水果的位置是实现自动采摘的关键技术。近年来，很多水果检测识别和定位算法相继提出。有基于超红图像和2R-G-B色差增强苹果特征，利用自适应阈值分割方法从图像中提取苹果区域；有研究了基于区域生长和颜色特征分割的方法，通过支持向量机识别提取的苹果颜色和形状特征，但是对于叶面遮挡引起的平均误差率较大；有应用残差变换绝对值和块匹配方法检测潜在的柑橘果实像素，构建一个支持向量机实现了较高的识别精确率，但是对于遮挡以及光照不均匀水果的识别表现不佳。

在水果的自然生长环境下，果树的枝叶与果实、果实与果实之间存在复杂的相互位置关系，导致果实被枝叶或其他果实随机遮挡。现有算法的思路主要是针对待采摘水果的纹理、颜色和形态等人工设计并抽取特征，当在自然条件下遮挡情况和光照条件随场景变化而变化，与之对应的待采摘水果的特征也随之变化，因此基于人工特征设计的水果特征提取算法鲁棒性有待提高；自然生产条件下，获取的水果图像通常都存在遮挡或者光照不均匀等复杂背景，上述的水果识别和定位算法对于自然生长条件下的水果识别率和定位精度有待提高。

发明的内容

针对以上问题，本发明提供了一种可实现复杂环境下水果特征自动提取、复杂自然环境下的水果自动识别、复杂自然环境下的水果自动定位的基于深度目标检测的待采摘水果识别和定位方法。

为了解决以上问题，本发明采用了如下技术方案：一种基于深度目标检测的待采摘水果识别和定位方法，其特征在于，包括以下步骤：

步骤1图像采集

本图像采集基于普通的RGB图像实现，图像采集目标是实际自然生长环境下的待采摘水果；图像通过普通的单反相机获取，成像时模拟人工采摘的视角，保持相机的高度和水果目标基本持平，水果目标保持在图像中心位置；

步骤2图像标注

对步骤1中采集的原始数据进行人工标注；人工的将图像中的待采摘水果通过最小外接矩形标出，记录框处目标水果的类别(如苹果)，记录最小外接矩形在图片中左上角和右上角的顶点坐标；数据记录标注的格式与目前广泛使用的ImageNet图像数据集的标注格式相同；

步骤3数据集准备

将步骤1的原始图像和步骤2对应的标记数据共同作为一条可训练数据，将所有的可训练数据组成原始的数据集；将原始数据按照5:3:2的比例，人为随机的切分为3个子集，分别作为后续的检测模型的训练集、验证集和测试集；训练集、验证集和测试集基于原始的数据集，且三个子集合之间在图像空间上独立分布没有重复；

步骤4网络训练