[发明专利]基于深度学习的立体栽培模式下小型西瓜识别与定位方法

说明书

本发明涉及一种基于深度学习的立体栽培模式下小型西瓜识别与定位方法，通过建立基于深度学习的第一级SSD目标检测模型和基于伪彩色深度图像分割的第二级目标质心提取模型对检测目标进行识别，标记检测目标质心点，即泛化兴趣点；确定采摘点在图像坐标系下的坐标，再确定采摘点在相机坐标系下的坐标，完成西瓜识别与定位。本发明能够满足真实采摘作业时小型西瓜实时检测的需要，识别检测速度快；实现了小型西瓜收获作业的实时检测及识别定位功能，解决了在温室立体栽培环境下目标信息的获取鲁棒性差的问题。

技术领域

本发明属于温室果蔬自动化采摘机器人技术开发领域和计算机视觉技术领域，具体涉及一种基于深度学习的立体栽培模式下小型西瓜识别与定位方法。

背景技术

我国是世界上最大的西瓜种植国和消费国，近年来，小型西瓜开始受到人们的青睐，单果重量一般为1-2kg，直径约为15cm，其外形美观、口感甜美、栽培周期短、生产适应性强，价格比普通西瓜高一到两倍，生产效益明显高于普通西瓜。温室立体栽培采用吊蔓或搭架的方式，使藤蔓向空中立体生长，可充分利用空间，透光均匀、通风良好、品质优良。我国在小型西瓜的生产方面仍然主要依靠人工，收获作业成本高、采摘环境恶劣、作业空间小、劳动强度大。所以，加快实现温室环境下小型西瓜自动化、智能化、精准化采收具有极其重要的意义。

近年，基于传统视觉算法的西瓜检测识别算法被相继提出，温室立体栽培模式下存在光照变化、果实与背景相近、目标遮挡层叠等问题，检测效果略差。为了提高小型西瓜采摘信息获取的鲁棒性和精确性，进而提高自动化采摘效率，传统算法逐渐被深度学习检测算法所取代。SSD是一种one-stage的目标检测算法，使用VGG16作为主干网络，并在此基础上新增了卷积层来获得更多的特征层用于检测，其检测速度快、精度较高，适用于温室环境立体栽培模式下小型西瓜检测。

发明内容

针对上述技术问题，本发明的目的是提供一种基于深度学习的立体栽培模式下小型西瓜识别与定位方法，满足真实采摘作业时小型西瓜实时检测的需要，识别定位精准、检测速度快。

为了实现上述目的，本发明提供了如下技术方案：

一种基于深度学习的立体栽培模式下小型西瓜识别与定位方法，包括如下步骤：

S1、建立基于深度学习的第一级SSD目标检测模型和基于伪彩色深度图像分割的第二级目标质心提取模型；

S2、将一幅含有一个或多个检测目标的待检测图像输入到第一级SSD目标检测模型进行第一级目标检测，获得包含一个或多个最佳预测框的检测图像；

S3、将待检测图像渲染为伪彩色深度图；将伪彩色深度图与步骤S2获得包含最佳预测框的检测图像进行匹配，获得包含最佳预测框的伪彩色深度图；滤除最佳预测框之外的背景信息，提取最佳预测框内RGB图像和最佳预测框内伪彩色深度图；

S4、将最佳预测框内RGB图像和最佳预测框内伪彩色深度图输入到第二级目标质心提取模型，标记椭圆轮廓的长轴长度y_b以及检测目标质心点，即泛化兴趣点；

所述检测目标质心点坐标为：

式中，x_i、y_i分别为检测目标质心点所在连通区域i内像素横、纵坐标，分别为检测目标质心点所在连通区域i内像素横、纵坐标的平均值，即检测目标质心点坐标；n为检测目标质心点所在连通区域i内的像素个数；

S5、将步骤S4标记的泛化兴趣点与步骤S2获得检测图像中最佳预测框的中心点对齐，确定采摘点在图像坐标系下的坐标，再确定采摘点在相机坐标系下的坐标，完成西瓜识别与定位；

采摘点在图像坐标系下的坐标为: