[发明专利]基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法

权利要求书

1.一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征是，包括以下步骤：

第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练；

步骤(1)，利用图像采集设备拍摄果树图像实现果实目标检测数据采集；

步骤(2)，利用图像采集设备拍摄果树图像实现结果枝关键点检测数据采集；

步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注；针对目标检测，对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx₁,fy₁),(fx₂,fy₂)}；针对关键点检测，对结果枝上的三个关键点进行标注，标注果柄关键点P₁，标注结果枝与短分枝的连接点P₂，标注结果枝上的剪切点P₃，每组结果枝的标注结果为P₁、P₂、P₃三个关键点的坐标{(px₁,py₁),(px₂,py₂),(px₃,py₃)}；如果不存在短分枝，P₂和P₁同坐标；

第二步，模型训练；

步骤(1)，目标检测模型训练，将所述第一步获得的果实目标检测数据通过深度卷积神经网络进行训练，得到目标检测模型；

步骤(2)，关键点检测模型训练，第一步生成结果枝检测区域，利用果实矩形区域，训练果柄关键点P₁检测模型，基于检测得到的P₁坐标，扩展生成结果枝检测区域；第二步定位结果枝上的三个关键点，利用结果枝检测区域，训练结果枝关键点检测模型，获得P₁、P₂和P₃的位置；

第三步，采摘用结果枝剪切点识别过程；

步骤(1)，利用图像采集设备拍摄果树果实及其结果枝的图像集合x_o；

步骤(2)，使用目标检测模型，对图像集合x_o进行目标检测，目标检测模型和训练出的模型参数共同构成函数F_o，在图像集合x_o中得到n个果实矩形区域坐标及对应置信得分：

步骤(3)，使用关键点检测模型对图像集合x_o进行采摘用结果枝剪切点的定位，首先，对图像集合x_o和n个果实矩形区域及对应置信得分生成结果枝检测区域，果柄关键点检测模型和训练出的模型参数共同构成函数F_a，在果实图像集合x_o和n个果实矩形区域及对应置信得分上，得到n个果柄关键点坐标：

其次，将果实矩形区域向果实果柄方向扩展，得到n个结果枝检测区域坐标：

；

然后，对图像集合x_o和结果枝检测区域，进行结果枝关键点检测，结果枝关键点检测模型和训练出的模型参数共同构成函数F_b，在果实图像集合x_o和n个结果枝检测区域及对应置信得分上，得到n组结果枝的P₁、P₂和P₃关键点坐标，其中，结果枝上距离果实最远的关键点P₃即为采摘用结果枝剪切点：