[发明专利]基于深度学习的立体栽培模式下小型西瓜识别与定位方法

权利要求书

1.一种基于深度学习的立体栽培模式下小型西瓜识别与定位方法，其特征在于，包括如下步骤：

S1、建立基于深度学习的第一级SSD目标检测模型和基于伪彩色深度图像分割的第二级目标质心提取模型；

S2、将一幅含有一个或多个检测目标的待检测图像输入到第一级SSD目标检测模型进行第一级目标检测，获得包含一个或多个最佳预测框的检测图像；

S3、将待检测图像渲染为伪彩色深度图；将伪彩色深度图与步骤S2获得包含最佳预测框的检测图像进行匹配，获得包含最佳预测框的伪彩色深度图；滤除最佳预测框之外的背景信息，提取最佳预测框内RGB图像和最佳预测框内伪彩色深度图；

S4、将最佳预测框内RGB图像和最佳预测框内伪彩色深度图输入到第二级目标质心提取模型，标记椭圆轮廓的长轴长度y_b以及检测目标质心点，即泛化兴趣点；

所述检测目标质心点坐标为：

式中，x_i、y_i分别为检测目标质心点所在连通区域i内像素横、纵坐标，分别为检测目标质心点所在连通区域i内像素横、纵坐标的平均值，即检测目标质心点坐标；n为检测目标质心点所在连通区域i内的像素个数；

S5、将步骤S4标记的泛化兴趣点与步骤S2获得检测图像中最佳预测框的中心点对齐，确定采摘点在图像坐标系下的坐标，再确定采摘点在相机坐标系下的坐标，完成西瓜识别与定位；

采摘点在图像坐标系下的坐标为:

式中，u_p、v_p分别为采摘点在图像坐标系下的横坐标与纵坐标，y_b为椭圆轮廓的长轴长度；为检测目标质心点坐标；

采摘点在相机坐标系下的坐标值为：

式中，(x_p，y_p，z_p)为采摘点在相机坐标系下的坐标，x_b为图像坐标系下椭圆轮廓的长轴半径，y_τ为最佳预测框所构成的切平面与检测目标的切点在在相机坐标系下的y轴的坐标值，d为使用双目测距理论测得的双目深度相机拍摄的深度图像的相机坐标系下像素深度值；r为检测目标半径，y_r为最佳预测框的右侧边框上像素点的y轴的坐标值；y_l为最佳预测框的左侧边框上像素点的y轴的坐标值。

2.根据权利要求1所述的基于深度学习的立体栽培模式下小型西瓜识别与定位方法，其特征在于，所述步骤S1包括如下步骤：

S1.1、采集多幅小型西瓜目标图像，图像尺寸统一为512×512像素后创建一个温室立体栽培模式下小型西瓜的一级检测样本库；在一级检测样本库的各图像中标注小型西瓜的特征信息，所述特征信息包括目标区域的位置、目标区域的尺寸和目标类别；

S1.2、建立第一级SSD目标检测网络，根据步骤S1.1获得的一级检测样本库训练得到第一级SSD目标检测模型；第一级SSD目标检测模型使用VGG16作为主干网络，新增卷积层来获得更深层次的语义信息；

S1.3、将一级检测样本库内的图像转换为伪彩色深度图，作为二级检测样本库；建立第二级目标质心提取网络，根据二级检测样本库训练得到第二级目标质心提取模型。

3.根据权利要求2所述的基于深度学习的立体栽培模式下小型西瓜识别与定位方法，其特征在于，所述步骤S1.1中，使用数据增强方法，提高最终训练模型的鲁棒性，降低训练过程中的过拟合问题。

4.根据权利要求2所述的基于深度学习的立体栽培模式下小型西瓜识别与定位方法，其特征在于，所述步骤S1.1中，将处理后的样本数据随机划分为训练集、测试集、验证集，样本集比例为6：2：2；训练样本集用于训练网络模型，测试样本集用于评估模型，验证集用于训练过程中优化超参数。